70배 빠른 상용 빅데이터 분석기술 개발

KISTI, 다차원 빅데이터 분석
해양과기원·극기연에 기술이전
대용량 다차원 데이터를 지금보다 70배 가량 빠르게 분석할 수 있는 빅데이터 분석기술이 개발됐다.

한국과학기술정보연구원(KISTI)은 빅데이터 환경에서 데이터 처리와 분석에 걸리는 시간을 획기적으로 줄일 수 있는 빅데이터 분석 시스템 '투픽스(TuPiX)'를 개발했다고 16일 밝혔다.

이 시스템은 데이터 저장과 계산 방식을 변화시켜 대용량 데이터를 병렬·분산 처리할 때 발생하는 원형 데이터를 전처리·불러오기·재구성 등의 과정 없이 접근해 처리할 수 있다. 또 컴퓨팅 노드를 추가·확장하면 개인용 컴퓨터 수준의 사양으로 클러스터를 구성, 기존에 처리할 수 없었던 대용량 다차원 빅데이터를 분석할 수 있다. 고가의 컴퓨팅 자원 등을 도입하지 않고도 개인용 컴퓨터 수준의 사양으로 클러스터를 구성할 수 있어 인프라 구축 비용도 크게 절감할 수 있다.

이와 함께 빅데이터 분석 결과를 고해상도로 시각화하고 다양한 방식으로 표현할 수 있으며, 데이터 획득부터 분석, 시각화까지의 모든 과정을 단일 사용자환경(UI)에서 수행할 수 있다.

KISTI는 한국해양과학기술원과 극지연구소에 맞춤형 분석과 가시화 기능을 추가한 '투픽스 오션 컬러 시스템'을 무상 기술이전했다. 두 기관은 이를 기반으로 식물 플랑크톤 번성 패턴 모델과 한반도 연안의 유해 적조 발생 모델을 개발, 자연재해로 발생하는 피해를 줄이기 위한 협업연구를 하고 있다.

박경석 KISTI 과학데이터기술연구실장은 "투픽스는 데이터 검색과 관리에 필요한 비용과 시간을 크게 줄여 연구 생산성과 빅데이터 분석·관리 효율성을 높일 것"이라며 "투픽스 기반의 특화 시스템을 기관들에 제공할 계획"이라고 말했다.

대전=이준기기자 bongchu@