PC의 그래픽처리장치(GPU)를 활용해 300배 이상 빠르게 빅데이터를 분석할 수 있는 기술이 개발됐다. 웹과 SNS 등 일상생활과 관련된 분야부터 생명과학, 뇌과학 등 기초과학 분야에 이르기까지 수많은 데이터를 처리해야 하는 다양한 분야에서 널리 활용될 전망이다.
대구경북과학기술원(DGIST)은 정보통신융합공학전공 김민수 교수(사진) 연구팀은 그래프와 같은 복잡한 형태의 빅데이터를 GPU 기반으로 분석·처리할 수 있는 '지스트림(GStream) 기술'을 개발하는 데 성공했다고 11일 밝혔다.
이 기술은 다양한 분야에서 사용되는 그래프 형태의 빅데이터를 두 개의 GPU가 장착된 PC 한 대를 이용해 초당 14억개를 분석하는 세계 최고 수준의 성능을 자랑한다.
현재 미국 카네기멜론대학의 그래프랩 (GraphLab) 기술은 64개의 고성능 서버들과 10기가 고속 네트워크로 구성된 5억원 규모의 대규모 분산 시스템을 이용해 14억개의 데이터를 3.6초만에 분석하는 성능을 지녔다. 지스트림 기술을 적용하면 GPU 두 개가 장착된 500만원 상당의 PC 1대로 1초 만에 분석해 낼 수 있어 비용 대비 성능 측면에서 360배 가량 우수한 성능을 발휘할 수 있다. 그동안 GPU는 CPU에 비해 이론적 성능이 수 십 배 이상 뛰어난 것으로 알려져 왔으나, 수 기가바이트 정도에 지나지 않는 GPU로 수 십 배 이상 더 큰 규모의 그래프와 같은 복잡한 형태의 데이터를 처리할 수 있는 기술은 개발이 어려워 활용되지 못해왔다.
김 교수팀은 그래프 데이터를 페이지 단위로 나누고 주메모리부터 GPU 메모리로 비동기적인 방식으로 스트리밍하는 동시에 GPU의 수 천개 계산 코어들을 분석하는 방식으로 GPU 메모리 크기와 제한 없이 빅데이터를 고속 처리하는 방식을 개발했다.
김민수 교수는 "지스트림은 그래프와 같은 복잡한 형태의 빅데이터를 GPU 기반으로 고속 분석하는 기술로, 향후 일상생활 속에서 나오는 빅데이터를 소형 컴퓨팅 장치로 분석하는 토대가 될 것"이라고 말했다.
이 연구결과는 병렬 프로그래밍 분야의 세계적 학술대회인 'ACM PPoPP 2015'에서 발표됐다.
