국내에 빅데이터 바람이 분지 2년이 넘어서면서 각 분야별로 도입 사례들이 하나 둘 나타나고 있다. 이들 사례가 베스트 레퍼런스로 자리잡으면서 시장 확산에 촉매제가 될 전망이다.
◇대용량 데이터,`하둡'을 주목하라=대량의 데이터를 보유한 국내 기업과 공공이 주목한 기술은 `하둡'이었다.
NHN은 빅데이터 개념이 국내에 도입되기 훨씬 이전인 2006년 9월 하둡 시스템을 내부에 도입했다. NHN의 검색 사업인 네이버에서 발생하는 대량의 데이터를 더이상 기존 데이터베이스 시스템으로 감당하기 어려웠던 것이다.
이윤식 NHN 검색본부장은 "당시 대용량 데이터를 처리할 수 있는 기술들을 고민하다가 하둡과 R(데이터분석 툴)을 선택했었는데 최근 이들 기술이 각광받는 걸 미뤄봤을 때 탁월한 선택이었다"며 "NHN 내부에서도 이들 기술을 활용해 많은 일을 하고 있지만 하둡을 개발하는 오픈소스 진영에 많은 기대를 갖고 있다"고 말했다.
NHN은 국내 다른 기업들 대비 5년 전부터 이들 기술을 직접 도입해 활용하면서 검색 분석력을 높이고 있다.
교통안전공단은 자동차에서 발생하는 각종 운행정보들을 수집해 분석하고 관리하는 시스템을 구축하고자 했다. 과속, 진로변경, 급회전 등 다양한 운행기록을 분석할 경우 위험 운전 패턴을 분석해 사고를 막을 수 있고, 차종 별 일일 운행시간 등을 분석해 대기오염물질 배출량도 파악하고 관리할 수 있기 때문이다. 도입 시 효과가 크지만 교통안전공단의 고민은 대량의 데이터를 어떻게 수집하고 분석하느냐였다. 또 데이터웨어하우스(DW)로는 비용 대비 효율성 측면에서 많은 어려움이 있었다. 이를 해결하기 위해 교통안전공단이 선택한 기술이 하둡이다.
배중철 교통안전공단 운행기록분석팀장은 "전국 2000만대의 등록차량이 하루 평균 발생하는 운행기록 데이터는 98기가바이트(GB)에 달할 정도로 방대하다"며 "하둡의 병렬 분산 저장, 처리 기술을 십분 활용해 다수의 차량이 운행기록을 전송하더라도 실시간에 가깝게 정보들을 처리할 수 있도록 구성했다"고 말했다.
교통안전공단은 현재 10만대의 차량에서 하루에 누적되고 있는 30억개의 로그(개수)를 2시간 이내에 저장, 분석할 수 있도록 초기 시스템을 구현했다. 향후 1800만대의 차량에서 하루에 발생하는 5300억개의 로그를 수집, 분석하겠다는 계획이다.
◇다양한 분야에서 도전..무조건 도입은 금물=비씨카드와 GS샵 역시 지난해부터 준비한 빅데이터 시스템이 내부에서 자리잡아 가고 있다.
지난해부터 총 4단계에 걸쳐 빅데이터 시스템 구축을 준비한 비씨카드는 넥스알의 대용량 데이터 처리 플랫폼 `NDAP'을 도입해 2단계까지 빅데이터 플랫폼 구축을 완료했다. 이후 기술 내재화 등을 거쳐 최종적으로 신규 비즈니스 기회 창출을 위한 인사이트 도출까지 노린다는 계획이다.
GS샵은 상품추천 시스템을 구축하기 위해 지난해부터 빅데이터 분석 체계를 구축했다. 실시간으로 고객들의 행동 로그를 수집하고 이를 분석해 맞춤형 상품 추천을 진행하고 있다.
김준식 GS샵 인터넷사업부 상무는 "현재 빅데이터 자체 기술력을 확보하기 위해 내부 교육도 강화하고 있다"며 "향후 다양한 분야에서 빅데이터 기술을 활용하고 내재화할 수 있도록 노력하고 있다"고 말했다.
올해 더욱 다양한 공공과 기업에서 빅데이터 시스템을 도입할 것으로 예상되지만 무조건 빅데이터를 도입해선 안 된다고 업계는 조언했다.
한재선 넥스알 대표는 "빅데이터 도입에 앞서 회사가 당면한 문제점이 무엇이고 이를 해결하기 위해 어떤 부분이 필요한지 고민부터 해야한다"며 "회사 규모에 맞게 점차적으로 빅데이터 시스템을 도입해 나가야한다"고 말했다.
장동인 빅데이터전문가협의회 의장은 "비즈니스 이슈가 없는 빅데이터는 성공하기 어렵다"며 "무조건 돈을 투자하지 말고 작은 시범 사업부터 시작해서 회사에 맞는 빅데이터 방향을 찾아야 한다"고 말했다.
김지선기자 dubs45@
사진=김민수기자 ultrartist@
▶김지선기자의 블로그 바로가기
◇대용량 데이터,`하둡'을 주목하라=대량의 데이터를 보유한 국내 기업과 공공이 주목한 기술은 `하둡'이었다.
NHN은 빅데이터 개념이 국내에 도입되기 훨씬 이전인 2006년 9월 하둡 시스템을 내부에 도입했다. NHN의 검색 사업인 네이버에서 발생하는 대량의 데이터를 더이상 기존 데이터베이스 시스템으로 감당하기 어려웠던 것이다.
이윤식 NHN 검색본부장은 "당시 대용량 데이터를 처리할 수 있는 기술들을 고민하다가 하둡과 R(데이터분석 툴)을 선택했었는데 최근 이들 기술이 각광받는 걸 미뤄봤을 때 탁월한 선택이었다"며 "NHN 내부에서도 이들 기술을 활용해 많은 일을 하고 있지만 하둡을 개발하는 오픈소스 진영에 많은 기대를 갖고 있다"고 말했다.
NHN은 국내 다른 기업들 대비 5년 전부터 이들 기술을 직접 도입해 활용하면서 검색 분석력을 높이고 있다.
교통안전공단은 자동차에서 발생하는 각종 운행정보들을 수집해 분석하고 관리하는 시스템을 구축하고자 했다. 과속, 진로변경, 급회전 등 다양한 운행기록을 분석할 경우 위험 운전 패턴을 분석해 사고를 막을 수 있고, 차종 별 일일 운행시간 등을 분석해 대기오염물질 배출량도 파악하고 관리할 수 있기 때문이다. 도입 시 효과가 크지만 교통안전공단의 고민은 대량의 데이터를 어떻게 수집하고 분석하느냐였다. 또 데이터웨어하우스(DW)로는 비용 대비 효율성 측면에서 많은 어려움이 있었다. 이를 해결하기 위해 교통안전공단이 선택한 기술이 하둡이다.
배중철 교통안전공단 운행기록분석팀장은 "전국 2000만대의 등록차량이 하루 평균 발생하는 운행기록 데이터는 98기가바이트(GB)에 달할 정도로 방대하다"며 "하둡의 병렬 분산 저장, 처리 기술을 십분 활용해 다수의 차량이 운행기록을 전송하더라도 실시간에 가깝게 정보들을 처리할 수 있도록 구성했다"고 말했다.
교통안전공단은 현재 10만대의 차량에서 하루에 누적되고 있는 30억개의 로그(개수)를 2시간 이내에 저장, 분석할 수 있도록 초기 시스템을 구현했다. 향후 1800만대의 차량에서 하루에 발생하는 5300억개의 로그를 수집, 분석하겠다는 계획이다.
◇다양한 분야에서 도전..무조건 도입은 금물=비씨카드와 GS샵 역시 지난해부터 준비한 빅데이터 시스템이 내부에서 자리잡아 가고 있다.
지난해부터 총 4단계에 걸쳐 빅데이터 시스템 구축을 준비한 비씨카드는 넥스알의 대용량 데이터 처리 플랫폼 `NDAP'을 도입해 2단계까지 빅데이터 플랫폼 구축을 완료했다. 이후 기술 내재화 등을 거쳐 최종적으로 신규 비즈니스 기회 창출을 위한 인사이트 도출까지 노린다는 계획이다.
GS샵은 상품추천 시스템을 구축하기 위해 지난해부터 빅데이터 분석 체계를 구축했다. 실시간으로 고객들의 행동 로그를 수집하고 이를 분석해 맞춤형 상품 추천을 진행하고 있다.
김준식 GS샵 인터넷사업부 상무는 "현재 빅데이터 자체 기술력을 확보하기 위해 내부 교육도 강화하고 있다"며 "향후 다양한 분야에서 빅데이터 기술을 활용하고 내재화할 수 있도록 노력하고 있다"고 말했다.
올해 더욱 다양한 공공과 기업에서 빅데이터 시스템을 도입할 것으로 예상되지만 무조건 빅데이터를 도입해선 안 된다고 업계는 조언했다.
한재선 넥스알 대표는 "빅데이터 도입에 앞서 회사가 당면한 문제점이 무엇이고 이를 해결하기 위해 어떤 부분이 필요한지 고민부터 해야한다"며 "회사 규모에 맞게 점차적으로 빅데이터 시스템을 도입해 나가야한다"고 말했다.
장동인 빅데이터전문가협의회 의장은 "비즈니스 이슈가 없는 빅데이터는 성공하기 어렵다"며 "무조건 돈을 투자하지 말고 작은 시범 사업부터 시작해서 회사에 맞는 빅데이터 방향을 찾아야 한다"고 말했다.
김지선기자 dubs45@
사진=김민수기자 ultrartist@
▶김지선기자의 블로그 바로가기
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
