오픈소스SW 기반 공통점
최근 적용기업 크게 늘어
최근 적용기업 크게 늘어
최근 빅 데이터 분석을 위한 대표적인 기술로 분산처리 기술 프로젝트인 `하둡(Hadoop)', 분석엔진인 `R', 비관계형 데이터베이스관리시스템(DBMS)인 `NoSQL'이 꼽힌다. 이들 기반기술은 오픈소스 소프트웨어(SW)라는 공통된 특징이 있다.
하둡은 오픈소스 분산처리 기술 프로젝트로, 정형과 비정형의 빅 데이터 분석에서 가장 선호되고 있다.
이 프로젝트는 대량의 자료를 처리할 수 있는 대규모의 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 기술이다. 야후, 페이스북 등에 사용되고 있으며, 최근 이를 적용하는 기업이 크게 늘어나고 있다.
기본적으로 비용효율적인 x86 서버로 가상화된 대형 스토리지를 구성하고, 저장된 거대한 데이터 세트를 간편하게 분산처리 할 수 있는 자바 기반의 프레임워크를 제공한다.
R은 주로 대학, 연구소, 바이오산업을 중심으로 사용돼왔다. 하지만 최근 구글, 페이스북, 아마존 등이 기본 분석 플랫폼으로 사용하는 것이 알려지면서 많은 기업이 분석 업무에 R을 도입하기 시작했다.
R은 통계 계산과 시각화를 위한 언어와 개발환경을 제공한다. R 언어와 개발환경을 통해 기본적인 통계 기법부터 모델링, 최신 데이터 마이닝 기법까지 구현하고 개선할 수 있다. 자바나 C, 파이썬(Python) 등의 다른 프로그래밍 언어와 연결하는 것도 쉽다.
NoSQL은 전통적인 관계형 DBMS(RDBMS)와는 다르게 설계된 비관계형 DBMS로, 대규모의 데이터를 유연하게 처리할 수 있는 것이 강점이다.
RDBMS의 경우 일관성(모든 노드는 같은 시간에 같은 데이터를 보여줘야 한다)과 유효성(일부 노드가 다운돼도 다른 노드에 영향을 주지 않아야 한다)에 중점을 두고 있다. 반면, NoSQL기술은 분산가능성(네트워크 전송 중 일부 데이터를 손실하더라도 시스템은 정상적으로 동작해야 한다)에 중점을 두며, 일관성과 유효성은 보장하지 않는다.
오픈소스 진영에서 HBase, 카산드라, 몽고DB 등과 같은 대표적인 NoSQL 프로젝트가 큰 관심을 모으고 있다.
강동식기자 dskang@
▶강동식기자의 블로그 : http://blog.dt.co.kr/blog/?mb_id=dskang
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
하둡은 오픈소스 분산처리 기술 프로젝트로, 정형과 비정형의 빅 데이터 분석에서 가장 선호되고 있다.
이 프로젝트는 대량의 자료를 처리할 수 있는 대규모의 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 기술이다. 야후, 페이스북 등에 사용되고 있으며, 최근 이를 적용하는 기업이 크게 늘어나고 있다.
기본적으로 비용효율적인 x86 서버로 가상화된 대형 스토리지를 구성하고, 저장된 거대한 데이터 세트를 간편하게 분산처리 할 수 있는 자바 기반의 프레임워크를 제공한다.
R은 주로 대학, 연구소, 바이오산업을 중심으로 사용돼왔다. 하지만 최근 구글, 페이스북, 아마존 등이 기본 분석 플랫폼으로 사용하는 것이 알려지면서 많은 기업이 분석 업무에 R을 도입하기 시작했다.
R은 통계 계산과 시각화를 위한 언어와 개발환경을 제공한다. R 언어와 개발환경을 통해 기본적인 통계 기법부터 모델링, 최신 데이터 마이닝 기법까지 구현하고 개선할 수 있다. 자바나 C, 파이썬(Python) 등의 다른 프로그래밍 언어와 연결하는 것도 쉽다.
NoSQL은 전통적인 관계형 DBMS(RDBMS)와는 다르게 설계된 비관계형 DBMS로, 대규모의 데이터를 유연하게 처리할 수 있는 것이 강점이다.
RDBMS의 경우 일관성(모든 노드는 같은 시간에 같은 데이터를 보여줘야 한다)과 유효성(일부 노드가 다운돼도 다른 노드에 영향을 주지 않아야 한다)에 중점을 두고 있다. 반면, NoSQL기술은 분산가능성(네트워크 전송 중 일부 데이터를 손실하더라도 시스템은 정상적으로 동작해야 한다)에 중점을 두며, 일관성과 유효성은 보장하지 않는다.
오픈소스 진영에서 HBase, 카산드라, 몽고DB 등과 같은 대표적인 NoSQL 프로젝트가 큰 관심을 모으고 있다.
강동식기자 dskang@
▶강동식기자의 블로그 : http://blog.dt.co.kr/blog/?mb_id=dskang
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
