데이터 '양보다 질' 효과적 분석ㆍ활용 화두
세계 디지털 정보량 1조2000억GB… 2020년엔 44배 성장
소셜분석ㆍ인공지능 기법 필요… 기업경영 효율화 촉진
"급증하는 데이터 문제는 데이터베이스관리시스템(DBMS)의 처리속도를 높이는 것만으로 해결되지 않는 것 같습니다. 어떻게 더 다듬고 재정의한 데이터를 빠른 시간 안에 가져올 수 있는지, 또 그 정보를 활용할 수 있도록 재정의할 수 있는지가 중요합니다. 미래 지향적인 기술과 현재 활용되는 시스템간 적절한 연계가 필요합니다."
마이크로소프트의 씽크탱크인 `테크니컬 펠로' 중 한사람인 데이비드 캠벨은 최근 인터뷰에서 급증하고 있는 데이터 문제에 대한 자신의 견해를 이렇게 밝혔습니다.
최근 디지털 공간에서의 활동이 늘어나면서 과거와는 비교할 수 없을 정도로 빠르게 데이터가 늘어나고 있습니다. 특히 영상, 음성, 소셜 미디어 등 비정형 데이터가 크게 늘고 있어 각종 데이터에서 유용한 정보를 뽑아내 의사결정에 활용해야 하는 기업의 고민도 커지고 있습니다.
실제로 소셜 네트워크 서비스(SNS)를 이용하는 사람이 빠르게 늘어나면서 1인당 평균 보유 데이터양은 지난해 128기가바이트에 달했고, 2020년에 130테라바이트로 증가할 것으로 예상됩니다. 트위터에서는 2011년 1월 현재 매일 약 1억1000만개의 트위트가 발신되고 있습니다.
시장조사기업인 IDC는 지난해 전 세계적으로 생성된 디지털 정보량이 1조2000억기가바이트에 이를 것으로 추정했습니다. 월마트의 경우만 봐도 시간당 100만건 이상의 거래기록이 저장되고, 2008년까지 약 2500테라바이트의 정보를 축적했다고 합니다. IDC는 2020년 전 세계 디지털 정보의 양이 2009년보다 44배 성장할 것으로 예측했습니다.
최근 여러 연구기관과 IT 기업에서는 이처럼 방대한 데이터를 `빅 데이터(Big Data)'라고 지칭하고, 이와 관련한 자료를 잇따라 내놓고 있습니다. 그렇다면 빅 데이터는 구체적으로 어떤 의미가 있을까요? 또 기업은 빅 데이터에 어떻게 접근해야 하고, 빅 데이터 분석을 통해 어떤 효과를 얻을 수 있을까요?
지난달 삼성경제연구소가 발표한 보고서(빅 데이터 분석과 활용, 채승병 수석연구원)에 따르면, 빅 데이터는 기존의 관리 및 분석체계로는 감당하기 어려운 정도의 막대한 데이터를 지칭합니다. 빅 데이터는 당초 수십에서 수천 테라바이트에 달하는 거대한 데이터 집합 자체만을 지칭하던 말이었으나 점차 관련 도구, 플랫폼, 분석기법까지 포괄하는 용어로 변화하고 있다고 합니다.
또 머브 에이드리언 가트너 부사장은 최근 테라데이타 매거진에 기고한 글에서 빅 데이터의 전통적인 개념은 구글과 같은 대기업이나 NASA의 연구과학 프로젝트에서 분석하는 대용량의 데이터를 일컫는 것이었지만, 대부분의 기업에게 빅 데이터는 상대적인 개념이라고 설명했습니다. `빅'이 기업 규모에 따라 달라지기 때문이라는 것이 그 이유입니다.
빅 데이터는 기존의 분석 방법과 다른 접근 기법이 필요하다고 합니다.
삼성경제연구소는 보고서에서 웹사이트의 방문기록, 온라인 서비스의 이용기록, 검색 사이트의 검색통계, 소셜 미디어의 소통기록 등 막대한 데이터는 기존의 관리 및 분석체계로는 감당할 수 없기 때문에 이와는 다른 분석이 필요하다고 설명했습니다.
기존의 경영정보 분석은 일정한 양식에 따라 정제된 데이터를 주로 취급하지만, 웹사이트의 방문기록, 소셜 미디어의 소통정보를 망락한 빅 데이터는 양식이 제각기 다르고 구조화된 수준도 낮기 때문입니다. 이같은 점에서 빅 데이터 분석은 더 진보된 분산처리 기술, 정제되지 않은 막대한 양의 정보를 분석하는 소셜 분석기법 등 최신 통계기법과 인공지능 기법 등이 동원돼야 한다고 합니다.
이같은 트렌드 변화에 따라 글로벌 IT 벤더들도 발빠른 대응 움직임을 보이고 있습니다. 최근 데이터웨어하우징 기업인 테라데이타가 비정형 데이터의 고급 분석 및 관리 기업인 애스터데이터시스템을 인수한 것을 비롯해 오라클, HP, IBM 등 주요 IT기업들이 빅 데이터 분석을 위한 핵심기술을 확보하기 위해 인수합병을 확대하고 있습니다.
앞으로 빅 데이터를 효과적으로 분석할 수 있는가, 그렇지 못한가가 기업에게 매우 중요한 문제로 부상할 것으로 보입니다.
삼성경제연구소 보고서에 따르면, 빅 데이터 분석을 잘 수행함으로써 고객간 정보 전달의 통로가 되는 소셜 네트워크의 구조를 파악하고 잠재적 소비자군을 도출해낼 수 있습니다.
또 검색엔진이 제공하는 통계와 소셜 미디어에 떠다니는 메시지를 통해 중요사건에 대한 징후와 경과를 파악할 수 있으며, 객관적인 분석과 검증결과를 제공함으로써 경영자의 직관을 보완해 효과적인 의사결정을 촉진합니다.
정보의 수집 및 분석을 체계화해 현황 파악에 걸리는 시간을 단축하고 전략실행 효과의 예측모형과 시나리오를 도출할 수 있으며, 감지하기 어려웠던 소비자의 의견을 빠르게 수렴함으로써 리스크를 최소화하고 기업 평판을 개선할 수 있는 것도 빅 데이터 분석을 통해 얻을 수 있는 혜택입니다.
강동식기자 dskang@
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
소셜분석ㆍ인공지능 기법 필요… 기업경영 효율화 촉진
"급증하는 데이터 문제는 데이터베이스관리시스템(DBMS)의 처리속도를 높이는 것만으로 해결되지 않는 것 같습니다. 어떻게 더 다듬고 재정의한 데이터를 빠른 시간 안에 가져올 수 있는지, 또 그 정보를 활용할 수 있도록 재정의할 수 있는지가 중요합니다. 미래 지향적인 기술과 현재 활용되는 시스템간 적절한 연계가 필요합니다."
마이크로소프트의 씽크탱크인 `테크니컬 펠로' 중 한사람인 데이비드 캠벨은 최근 인터뷰에서 급증하고 있는 데이터 문제에 대한 자신의 견해를 이렇게 밝혔습니다.
최근 디지털 공간에서의 활동이 늘어나면서 과거와는 비교할 수 없을 정도로 빠르게 데이터가 늘어나고 있습니다. 특히 영상, 음성, 소셜 미디어 등 비정형 데이터가 크게 늘고 있어 각종 데이터에서 유용한 정보를 뽑아내 의사결정에 활용해야 하는 기업의 고민도 커지고 있습니다.
실제로 소셜 네트워크 서비스(SNS)를 이용하는 사람이 빠르게 늘어나면서 1인당 평균 보유 데이터양은 지난해 128기가바이트에 달했고, 2020년에 130테라바이트로 증가할 것으로 예상됩니다. 트위터에서는 2011년 1월 현재 매일 약 1억1000만개의 트위트가 발신되고 있습니다.
시장조사기업인 IDC는 지난해 전 세계적으로 생성된 디지털 정보량이 1조2000억기가바이트에 이를 것으로 추정했습니다. 월마트의 경우만 봐도 시간당 100만건 이상의 거래기록이 저장되고, 2008년까지 약 2500테라바이트의 정보를 축적했다고 합니다. IDC는 2020년 전 세계 디지털 정보의 양이 2009년보다 44배 성장할 것으로 예측했습니다.
최근 여러 연구기관과 IT 기업에서는 이처럼 방대한 데이터를 `빅 데이터(Big Data)'라고 지칭하고, 이와 관련한 자료를 잇따라 내놓고 있습니다. 그렇다면 빅 데이터는 구체적으로 어떤 의미가 있을까요? 또 기업은 빅 데이터에 어떻게 접근해야 하고, 빅 데이터 분석을 통해 어떤 효과를 얻을 수 있을까요?
지난달 삼성경제연구소가 발표한 보고서(빅 데이터 분석과 활용, 채승병 수석연구원)에 따르면, 빅 데이터는 기존의 관리 및 분석체계로는 감당하기 어려운 정도의 막대한 데이터를 지칭합니다. 빅 데이터는 당초 수십에서 수천 테라바이트에 달하는 거대한 데이터 집합 자체만을 지칭하던 말이었으나 점차 관련 도구, 플랫폼, 분석기법까지 포괄하는 용어로 변화하고 있다고 합니다.
또 머브 에이드리언 가트너 부사장은 최근 테라데이타 매거진에 기고한 글에서 빅 데이터의 전통적인 개념은 구글과 같은 대기업이나 NASA의 연구과학 프로젝트에서 분석하는 대용량의 데이터를 일컫는 것이었지만, 대부분의 기업에게 빅 데이터는 상대적인 개념이라고 설명했습니다. `빅'이 기업 규모에 따라 달라지기 때문이라는 것이 그 이유입니다.
빅 데이터는 기존의 분석 방법과 다른 접근 기법이 필요하다고 합니다.
삼성경제연구소는 보고서에서 웹사이트의 방문기록, 온라인 서비스의 이용기록, 검색 사이트의 검색통계, 소셜 미디어의 소통기록 등 막대한 데이터는 기존의 관리 및 분석체계로는 감당할 수 없기 때문에 이와는 다른 분석이 필요하다고 설명했습니다.
기존의 경영정보 분석은 일정한 양식에 따라 정제된 데이터를 주로 취급하지만, 웹사이트의 방문기록, 소셜 미디어의 소통정보를 망락한 빅 데이터는 양식이 제각기 다르고 구조화된 수준도 낮기 때문입니다. 이같은 점에서 빅 데이터 분석은 더 진보된 분산처리 기술, 정제되지 않은 막대한 양의 정보를 분석하는 소셜 분석기법 등 최신 통계기법과 인공지능 기법 등이 동원돼야 한다고 합니다.
이같은 트렌드 변화에 따라 글로벌 IT 벤더들도 발빠른 대응 움직임을 보이고 있습니다. 최근 데이터웨어하우징 기업인 테라데이타가 비정형 데이터의 고급 분석 및 관리 기업인 애스터데이터시스템을 인수한 것을 비롯해 오라클, HP, IBM 등 주요 IT기업들이 빅 데이터 분석을 위한 핵심기술을 확보하기 위해 인수합병을 확대하고 있습니다.
앞으로 빅 데이터를 효과적으로 분석할 수 있는가, 그렇지 못한가가 기업에게 매우 중요한 문제로 부상할 것으로 보입니다.
삼성경제연구소 보고서에 따르면, 빅 데이터 분석을 잘 수행함으로써 고객간 정보 전달의 통로가 되는 소셜 네트워크의 구조를 파악하고 잠재적 소비자군을 도출해낼 수 있습니다.
또 검색엔진이 제공하는 통계와 소셜 미디어에 떠다니는 메시지를 통해 중요사건에 대한 징후와 경과를 파악할 수 있으며, 객관적인 분석과 검증결과를 제공함으로써 경영자의 직관을 보완해 효과적인 의사결정을 촉진합니다.
정보의 수집 및 분석을 체계화해 현황 파악에 걸리는 시간을 단축하고 전략실행 효과의 예측모형과 시나리오를 도출할 수 있으며, 감지하기 어려웠던 소비자의 의견을 빠르게 수렴함으로써 리스크를 최소화하고 기업 평판을 개선할 수 있는 것도 빅 데이터 분석을 통해 얻을 수 있는 혜택입니다.
강동식기자 dskang@
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
