다음, 하둡 기반 `티아라` 모든 트래픽 관리
넥스알, CDR고급분석 KT 통화품질 리포팅
비씨카드, TB급 거래로그 병렬처리 효율화
분당서울대병원, 진료 전산화 DW 2.0 구축
넥스알, CDR고급분석 KT 통화품질 리포팅
비씨카드, TB급 거래로그 병렬처리 효율화
분당서울대병원, 진료 전산화 DW 2.0 구축
빅데이터 열풍이 불고 있지만 그동안 국내 사례는 찾아보기 힘들었다. 대부분 미국 등 해외사례가 주를 이뤘던 빅데이터 시장에 국내 사례들이 등장해 주목된다.
다음은 지난달 기준(출처 코리안클릭)으로 월 검색 쿼리수 10억1741만건, 월 톱페이지 프리뷰 20억7468만건 등 방대한 양의 데이터들을 처리하고 있다. 특정 이슈가 발생하면 데이터는 평소대비 기하급수적으로 늘어나는 등 다음이 처리하는 데이터는 그야말로 빅(BIG)데이터이다. 이 빅데이터를 처리하기 위해 다음은 하둡 플랫폼을 기반으로 데이터 분석 시스템을 자체 개발했다.
다음의 일 로그 사이즈는 70TB에 이른다. 다음은 자체 개발한 로그분석 시스템인 `티아라'를 통해 다음 서비스 내 발생하는 모든 트래픽을 수집해 분석 및 리포팅하고 있다. 티아라를 도입하기 전 일 로그 분석을 위해 10시간이 소요됐지만, 도입 후 3시간까지 처리 시간이 빨라졌다.
이밖에 다음은 △광고 및 클릭 로그 분석을 통한 타깃팅 △다음 톱 토픽 분석 및 추천 서비스 △UCC 문서의 스팸 유저 필터링 분석 등을 진행하고 있으며, 24시간 소요되던 데이터 분석을 10분만에 처리하는 등 획기적인 분석 속도를 보여준다고 강조했다.
넥스알은 KT의 CDR(Call Detail Records) 데이터를 분석하고 있다. 이 시스템은 RDB 기반의 분석시스템으로 하이엔드 서버 위에 관계형 데이터베이스로 구현돼 있다.
기존 KT의 CDR 분석 시스템은 △고성능장비 의존 △수직 확장성 △고비용구조 등 한계가 있었다. 넥스알은 하둡 등 오픈소스기반으로 분석 시스템을 구축해 △저비용 구축 △데이터확장에 따른 기능별 확장 △수평적 확장성 등 효과를 거뒀다. 또 10초마다 데이터의 수집 및 변화가 이뤄지고, 인덱스 컬럼(전화번호)에 대한 실시간(수초이내) 검색이 가능하다. 이밖에 R하이브를 이용한 CDR고급분석을 진행, 어떤 지역, 어느 시간대에 통화품질에 이상이 있는지 리포팅도 가능해졌다.
비씨카드는 총 두 가지의 빅데이터 파일럿 프로젝트를 진행했다. 비씨카드는 우선 대용량 온라인 거래로그 분석을 통해 구축 이전과 성능을 비교했다. 대상데이터는 비씨카드 거래로그 7억여건으로 약 2TB 정도 규모다. 비씨카드는 거래로그 분석결과 x86기반의 저가형 장비로 구성된 클러스터 환경아래에서 병렬처리를 통한 효율화를 입증했다고 설명했다. 또 대용량 로그 분석을 통한 사전, 사후 온라인 서비스 품질 개선 및 감사정보 제공을 위한 과거 데이터 분석 등에 활용 가능할 것으로 전망했다.
비씨카드가 추진한 두번째 빅데이터 프로젝트는 중복매출 모델 개선 프로젝트다. 신용카드 승인 데이터 약 2개월 분량으로 약 4억건, 120GB에 달한다. 빅데이터 시스템 도입을 통해 비씨카드는 기존 180분 소요되던 분석 시간을 46분까지 단축시키는 효과를 거뒀다고 설명했다. 비씨카드는 이 시스템이 향후 FDS(Fraud Detection System), 소득추정, 가맹점 승인 한도 변경 등 다양한 카드 업무 비즈니스에 활용될 수 있을 것으로 평가했다. 비씨카드는 곧 실증 검증 작업을 통해 구체적인 도입을 추진할 예정이다.
분당서울대병원은 2000년대 초반부터 데이터 분석 시스템을 도입해 운영해 왔다. 분당서울대병원은 지난 2월 기준으로 총 248개 항목의 진료 지표들이 전산화돼 있다. 이들 데이터는 해당 진료과 또는 부서의 요구와 업무에 따라 시스템이 구축돼있으며, 일반진료, 부서통계, 부서별 장부, 의무기록 열람분석 등의 카테고리로 운영된다. 분당서울대병원은 이같은 방대한 양의 의료 데이터를 분석하기 위해서는 의료 데이터 특성에 맞춰 데이터웨어하우스(DW) 어플라이언스 패키지를 구성하거나 개발해야한다고 조언했다.
분당서울대병원 역시 현 시스템의 이관과 사용자 요구를 반영한 진료, 간호 중심의 연구검색을 구축하기 위해 빅데이터 시스템 도입을 구상중이다. 이를 통해 데이터를 더욱 체계적으로 구축하고 DW 2.0 형식으로 내부 DB구조를 재구축한다는 계획이다.
김지선기자 dubs45@
▶김지선기자의 블로그 : http://blog.dt.co.kr/blog/?mb_id=dubsrep
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
다음은 지난달 기준(출처 코리안클릭)으로 월 검색 쿼리수 10억1741만건, 월 톱페이지 프리뷰 20억7468만건 등 방대한 양의 데이터들을 처리하고 있다. 특정 이슈가 발생하면 데이터는 평소대비 기하급수적으로 늘어나는 등 다음이 처리하는 데이터는 그야말로 빅(BIG)데이터이다. 이 빅데이터를 처리하기 위해 다음은 하둡 플랫폼을 기반으로 데이터 분석 시스템을 자체 개발했다.
다음의 일 로그 사이즈는 70TB에 이른다. 다음은 자체 개발한 로그분석 시스템인 `티아라'를 통해 다음 서비스 내 발생하는 모든 트래픽을 수집해 분석 및 리포팅하고 있다. 티아라를 도입하기 전 일 로그 분석을 위해 10시간이 소요됐지만, 도입 후 3시간까지 처리 시간이 빨라졌다.
이밖에 다음은 △광고 및 클릭 로그 분석을 통한 타깃팅 △다음 톱 토픽 분석 및 추천 서비스 △UCC 문서의 스팸 유저 필터링 분석 등을 진행하고 있으며, 24시간 소요되던 데이터 분석을 10분만에 처리하는 등 획기적인 분석 속도를 보여준다고 강조했다.
넥스알은 KT의 CDR(Call Detail Records) 데이터를 분석하고 있다. 이 시스템은 RDB 기반의 분석시스템으로 하이엔드 서버 위에 관계형 데이터베이스로 구현돼 있다.
기존 KT의 CDR 분석 시스템은 △고성능장비 의존 △수직 확장성 △고비용구조 등 한계가 있었다. 넥스알은 하둡 등 오픈소스기반으로 분석 시스템을 구축해 △저비용 구축 △데이터확장에 따른 기능별 확장 △수평적 확장성 등 효과를 거뒀다. 또 10초마다 데이터의 수집 및 변화가 이뤄지고, 인덱스 컬럼(전화번호)에 대한 실시간(수초이내) 검색이 가능하다. 이밖에 R하이브를 이용한 CDR고급분석을 진행, 어떤 지역, 어느 시간대에 통화품질에 이상이 있는지 리포팅도 가능해졌다.
비씨카드는 총 두 가지의 빅데이터 파일럿 프로젝트를 진행했다. 비씨카드는 우선 대용량 온라인 거래로그 분석을 통해 구축 이전과 성능을 비교했다. 대상데이터는 비씨카드 거래로그 7억여건으로 약 2TB 정도 규모다. 비씨카드는 거래로그 분석결과 x86기반의 저가형 장비로 구성된 클러스터 환경아래에서 병렬처리를 통한 효율화를 입증했다고 설명했다. 또 대용량 로그 분석을 통한 사전, 사후 온라인 서비스 품질 개선 및 감사정보 제공을 위한 과거 데이터 분석 등에 활용 가능할 것으로 전망했다.
비씨카드가 추진한 두번째 빅데이터 프로젝트는 중복매출 모델 개선 프로젝트다. 신용카드 승인 데이터 약 2개월 분량으로 약 4억건, 120GB에 달한다. 빅데이터 시스템 도입을 통해 비씨카드는 기존 180분 소요되던 분석 시간을 46분까지 단축시키는 효과를 거뒀다고 설명했다. 비씨카드는 이 시스템이 향후 FDS(Fraud Detection System), 소득추정, 가맹점 승인 한도 변경 등 다양한 카드 업무 비즈니스에 활용될 수 있을 것으로 평가했다. 비씨카드는 곧 실증 검증 작업을 통해 구체적인 도입을 추진할 예정이다.
분당서울대병원은 2000년대 초반부터 데이터 분석 시스템을 도입해 운영해 왔다. 분당서울대병원은 지난 2월 기준으로 총 248개 항목의 진료 지표들이 전산화돼 있다. 이들 데이터는 해당 진료과 또는 부서의 요구와 업무에 따라 시스템이 구축돼있으며, 일반진료, 부서통계, 부서별 장부, 의무기록 열람분석 등의 카테고리로 운영된다. 분당서울대병원은 이같은 방대한 양의 의료 데이터를 분석하기 위해서는 의료 데이터 특성에 맞춰 데이터웨어하우스(DW) 어플라이언스 패키지를 구성하거나 개발해야한다고 조언했다.
분당서울대병원 역시 현 시스템의 이관과 사용자 요구를 반영한 진료, 간호 중심의 연구검색을 구축하기 위해 빅데이터 시스템 도입을 구상중이다. 이를 통해 데이터를 더욱 체계적으로 구축하고 DW 2.0 형식으로 내부 DB구조를 재구축한다는 계획이다.
김지선기자 dubs45@
▶김지선기자의 블로그 : http://blog.dt.co.kr/blog/?mb_id=dubsrep
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
