■ 빅데이터, 미래를 연다
◇ 빅 데이터 Q&A- 맵 리듀스 기술
맵 리듀스(MapReduce, 이하 MR)란 하둡 프로젝트의 2가지 요소(하둡 분산 파일 시스템 HDFS, 맵리듀스 MR) 중 하나로, 최근에는 빅 데이터 관련 화두로 부상하며 기술영역의 절반 이상을 차지하는 중요한 기술이다.
MR은 지난 2004년 구글에서 자체적으로 개발한 병렬처리 소프트웨어 프레임워크로, 구글이 제공하는 다양한 웹 서비스(인덱싱, 검색, 배치작업 등)의 데이터 량이 폭발적으로 늘어남에 따라 이에 대한 효율적이고 신속한 처리를 위해 개발됐다.
이 병렬처리 모델은 최근 고성능 컴퓨팅(HPC: High Performance Computing)보다는 대량의 저가 하드웨어를 지향하는 빅데이터 및 클라우드 기술이 컴퓨팅 분야의 주요 화두가 되면서 각광받기 시작했다.
근래 들어 MR은 텍스트 분석, 인덱싱 뿐 아니라 데이터 마이닝, 머신러닝, 금융, 바이오-인포매틱스(Bio-Informatics), 정부 및 군사 시스템에까지 널리 사용되면서 빅데이터 병렬처리의 표준 모델이 되어가고 있다.
일반적인 MR의 동작과정을 살펴보면, 맵퍼(Mapper)과정에서 사용자 정의 함수(UDF)를 병렬처리하며 각 노드(node)마다 계산된 결과를 결과 값의 키(Key)를 기준으로 정렬(merge/sort)해 리듀스(Reduce) 과정으로 넘기고, 이후 각각의 리듀서(Reducer)는 해당 결과값을 취합해 최종 결과로 정리 및 저장하는 역할을 한다.
심화영기자 dorothy@
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
◇ 빅 데이터 Q&A- 맵 리듀스 기술
맵 리듀스(MapReduce, 이하 MR)란 하둡 프로젝트의 2가지 요소(하둡 분산 파일 시스템 HDFS, 맵리듀스 MR) 중 하나로, 최근에는 빅 데이터 관련 화두로 부상하며 기술영역의 절반 이상을 차지하는 중요한 기술이다.
MR은 지난 2004년 구글에서 자체적으로 개발한 병렬처리 소프트웨어 프레임워크로, 구글이 제공하는 다양한 웹 서비스(인덱싱, 검색, 배치작업 등)의 데이터 량이 폭발적으로 늘어남에 따라 이에 대한 효율적이고 신속한 처리를 위해 개발됐다.
이 병렬처리 모델은 최근 고성능 컴퓨팅(HPC: High Performance Computing)보다는 대량의 저가 하드웨어를 지향하는 빅데이터 및 클라우드 기술이 컴퓨팅 분야의 주요 화두가 되면서 각광받기 시작했다.
근래 들어 MR은 텍스트 분석, 인덱싱 뿐 아니라 데이터 마이닝, 머신러닝, 금융, 바이오-인포매틱스(Bio-Informatics), 정부 및 군사 시스템에까지 널리 사용되면서 빅데이터 병렬처리의 표준 모델이 되어가고 있다.
일반적인 MR의 동작과정을 살펴보면, 맵퍼(Mapper)과정에서 사용자 정의 함수(UDF)를 병렬처리하며 각 노드(node)마다 계산된 결과를 결과 값의 키(Key)를 기준으로 정렬(merge/sort)해 리듀스(Reduce) 과정으로 넘기고, 이후 각각의 리듀서(Reducer)는 해당 결과값을 취합해 최종 결과로 정리 및 저장하는 역할을 한다.
심화영기자 dorothy@
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
