이성희 LG엔시스 최고기술책임자(CTO)
최근 들어 가치가 높아지고 있는 빅데이터는 빠르게 변화하는 사업환경을 분석하고 이에 적합한 대응전략을 제시하는 도구로써 중요한 역할을 수행하고 있다. 이제는 매일 증가하는 데이터의 홍수를 어떻게 이용하는지가 기업의 성패를 좌우한다고 여겨질 정도이다. 분석 기법과 기술들이 발달하고 이를 도입하는 조직들이 늘어나고는 있지만 이에 앞서 빅 데이터에 대한 근본적인 이해와 포괄적인 전략이 필요하다.
정보시스템의 고도화, 모바일, 클라우드 컴퓨팅, 소셜네트워크 서비스가 일상화되면서 데이터의 양은 매년 60%씩 늘어가는 추세이다. 2020년에는 약 35제타바이트(Zettabyte)까지 폭증할 것으로 예측되는 반면, 분석 능력은 전체의 3분의 1수준에 그칠 것으로 예상된다.
특히 이렇게 증가하는 데이터를 분류해보면 정형 데이터가 15%, 비정형 데이터가 85%로 나누어진다고 한다. 정형 데이터는 기존 관계형 데이터베이스로 잘 관리돼 왔으며 분석도구 역시 알려진 데이터 마이닝(Data Mining) 분석툴이 활용되고 있다. 그러나 85%에 이르는 비정형 데이터, 비구조적인 데이터는 그 양이 기하급수적으로 늘어날 뿐 아니라, 문자 그대로 일정 구조를 가지고 있지 않기 때문에 기존 방식으로 이를 분석하는 것은 더욱 어렵다.
다시 말하면 빅 데이터는 기업이나 조직에서 꼭 분석해야 하지만 기존의 분석기술로는 처리할 수 없거나 지금까지는 분석을 시도하진 않았던 데이터라고 할 수 있다. 새로운 분석 도구와 인프라 투자라는 부담이 있지만, 이미 경쟁사나 고객의 관점에서 빅 데이터를 활용한 성공사례가 나타나고 있어 이제는 전략적인 분석이 꼭 필요한 시점이다.
가치 있는 빅 데이터가 되기 위해서는 크게 두 가지 요건이 있다. 첫 번째, 즉시성(Agility)이다. 이벤트감지, 데이터 확보, 분석수행, 의사결정 등 일련의 행동 과정을 남보다 빠르게 수행하고 신속하게 행동해야만 경쟁우위를 점할 수 있다. 두 번째, 연계성(Relevance)이다. VOC, 감성분석, 위치정보와의 연계, 웹 로그분석을 통한 고객 구매심리 파악, 장바구니 분석을 통한 구매 포기요인 파악, 센서 행동 분석 등을 기반으로 고객의 상황을 인지해 연관성에 기반한 효과적인 마케팅을 할 수 있다. 그 결과로 고객 만족도를 높이고 재구매 및 반복구매 유도, 고객 이탈방지 등 가치 있는 행위를 유발할 수 있다.
이러한 빅 데이터의 요건을 만족시키기 위해서는 다음과 같은 기술적 관점에서 접근해야 한다. 다양한 종류의 많은 데이터를 효율적으로 처리하려면 기존과 다른 컴퓨팅 파워와 저장장치 등으로 구성된 고성능의 인프라가 필요하다. 저비용ㆍ고성능의 아키텍처 구성을 위해서 HPC의 기술과 대용량 파일관리 시스템 등이 오픈 소스 기반 기술에 대응할 수 있어야 한다. 또한 기존과는 다른 빅 데이터의 특성으로 인해 기계가 스스로 학습할 수 있는 역량 및 표현기술, 통계분석 시스템, 자연어처리기술(NLP), 데이터를 어떻게 수집할 것인지 등에 대한 복잡한 기술을 접목할 수 있는 역량을 구비해야 한다.
사용자 관점에서는 해당 분야에 적합한 분석 능력이 필요하다. 시장에 막 진입하는 기술인 빅 데이터 분석은 앞으로 많은 부분이 새롭게 정의되고 해결돼야 한다. 특히 이를 활용할 수 있는 전문가는 너무 부족하고 앞으로도 많이 필요할 전망이다. 따라서 데이터 분석능력은 모든 관리자의 기본 역량으로 자리매김할 것이다. 이러한 현상은 데이터 과학자라는 새로운 직종을 만들게 됐다. 이들은 기업 내부의 다양한 영업보고서부터 소셜네트워크 서비스의 고객정보까지 방대한 디지털 데이터를 분석, 비즈니스 전략수립을 돕는 역할까지 수행할 것이다. 빅 데이터가 생성되는 대형 인터넷기업뿐만 아니라 유통ㆍ미디어ㆍ제조ㆍ서비스 심지어 정치 분야에서도 이러한 전문가들을 필요로 한다. 최근 미국 오바마 대통령 선거캠프에서도 소셜네트워크 분석을 위해 빅 데이터 팀을 꾸렸다고 한다. 이러한 일을 하기 위해서 데이터 과학자에게는 IT영역의 기술적인 숙련뿐만 아니라 왕성한 지적 호기심과 스토리텔링 능력, 문제 분석력, 통찰력 등 인문학적인 역량도 필요하다.
정리하면서 빅 데이터 시대의 다섯 가지 도입전략을 소개하려 한다. 첫째, 막대한 양의 데이터를 저장, 분석, 표현하기 위한 인프라를 저비용으로 구축해야 한다. 둘째, 데이터 접근 관리를 위해 보안, 지적재산권, 개인정보보호 등 법적인 책임은 물론, 외부 데이터의 내부 활용 방법에 대한 세심한 검토가 필요하다. 셋째, 데이터의 일관된 관리를 위해 여러 곳에 나누어져 있는 데이터를 클라우드 기반으로 통합하고 데이터 공유 프로세스를 정립해야 한다. 넷째, 내부에 있는 데이터베이스와의 결합과 분석을 통한 분석 시스템을 구성하고 실시간 의사결정이 가능한 지원방안을 마련해야 한다. 마지막으로 앞서 말한 빅 데이터 분석을 위한 데이터 과학자 조직을 만들고 인사이트를 끌어 낼 수 있는 전문가를 양성하거나 채용해야 한다. 초기 기술로서 빅 데이터 프로젝트는 성공률이 낮지만 지속적인 시행착오와 적극적인 도입전략을 펼친다면, 한 조직에 차별적인 경쟁우위를 갖추는 효과적인 무기가 될 것이다.
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
정보시스템의 고도화, 모바일, 클라우드 컴퓨팅, 소셜네트워크 서비스가 일상화되면서 데이터의 양은 매년 60%씩 늘어가는 추세이다. 2020년에는 약 35제타바이트(Zettabyte)까지 폭증할 것으로 예측되는 반면, 분석 능력은 전체의 3분의 1수준에 그칠 것으로 예상된다.
특히 이렇게 증가하는 데이터를 분류해보면 정형 데이터가 15%, 비정형 데이터가 85%로 나누어진다고 한다. 정형 데이터는 기존 관계형 데이터베이스로 잘 관리돼 왔으며 분석도구 역시 알려진 데이터 마이닝(Data Mining) 분석툴이 활용되고 있다. 그러나 85%에 이르는 비정형 데이터, 비구조적인 데이터는 그 양이 기하급수적으로 늘어날 뿐 아니라, 문자 그대로 일정 구조를 가지고 있지 않기 때문에 기존 방식으로 이를 분석하는 것은 더욱 어렵다.
다시 말하면 빅 데이터는 기업이나 조직에서 꼭 분석해야 하지만 기존의 분석기술로는 처리할 수 없거나 지금까지는 분석을 시도하진 않았던 데이터라고 할 수 있다. 새로운 분석 도구와 인프라 투자라는 부담이 있지만, 이미 경쟁사나 고객의 관점에서 빅 데이터를 활용한 성공사례가 나타나고 있어 이제는 전략적인 분석이 꼭 필요한 시점이다.
가치 있는 빅 데이터가 되기 위해서는 크게 두 가지 요건이 있다. 첫 번째, 즉시성(Agility)이다. 이벤트감지, 데이터 확보, 분석수행, 의사결정 등 일련의 행동 과정을 남보다 빠르게 수행하고 신속하게 행동해야만 경쟁우위를 점할 수 있다. 두 번째, 연계성(Relevance)이다. VOC, 감성분석, 위치정보와의 연계, 웹 로그분석을 통한 고객 구매심리 파악, 장바구니 분석을 통한 구매 포기요인 파악, 센서 행동 분석 등을 기반으로 고객의 상황을 인지해 연관성에 기반한 효과적인 마케팅을 할 수 있다. 그 결과로 고객 만족도를 높이고 재구매 및 반복구매 유도, 고객 이탈방지 등 가치 있는 행위를 유발할 수 있다.
이러한 빅 데이터의 요건을 만족시키기 위해서는 다음과 같은 기술적 관점에서 접근해야 한다. 다양한 종류의 많은 데이터를 효율적으로 처리하려면 기존과 다른 컴퓨팅 파워와 저장장치 등으로 구성된 고성능의 인프라가 필요하다. 저비용ㆍ고성능의 아키텍처 구성을 위해서 HPC의 기술과 대용량 파일관리 시스템 등이 오픈 소스 기반 기술에 대응할 수 있어야 한다. 또한 기존과는 다른 빅 데이터의 특성으로 인해 기계가 스스로 학습할 수 있는 역량 및 표현기술, 통계분석 시스템, 자연어처리기술(NLP), 데이터를 어떻게 수집할 것인지 등에 대한 복잡한 기술을 접목할 수 있는 역량을 구비해야 한다.
사용자 관점에서는 해당 분야에 적합한 분석 능력이 필요하다. 시장에 막 진입하는 기술인 빅 데이터 분석은 앞으로 많은 부분이 새롭게 정의되고 해결돼야 한다. 특히 이를 활용할 수 있는 전문가는 너무 부족하고 앞으로도 많이 필요할 전망이다. 따라서 데이터 분석능력은 모든 관리자의 기본 역량으로 자리매김할 것이다. 이러한 현상은 데이터 과학자라는 새로운 직종을 만들게 됐다. 이들은 기업 내부의 다양한 영업보고서부터 소셜네트워크 서비스의 고객정보까지 방대한 디지털 데이터를 분석, 비즈니스 전략수립을 돕는 역할까지 수행할 것이다. 빅 데이터가 생성되는 대형 인터넷기업뿐만 아니라 유통ㆍ미디어ㆍ제조ㆍ서비스 심지어 정치 분야에서도 이러한 전문가들을 필요로 한다. 최근 미국 오바마 대통령 선거캠프에서도 소셜네트워크 분석을 위해 빅 데이터 팀을 꾸렸다고 한다. 이러한 일을 하기 위해서 데이터 과학자에게는 IT영역의 기술적인 숙련뿐만 아니라 왕성한 지적 호기심과 스토리텔링 능력, 문제 분석력, 통찰력 등 인문학적인 역량도 필요하다.
정리하면서 빅 데이터 시대의 다섯 가지 도입전략을 소개하려 한다. 첫째, 막대한 양의 데이터를 저장, 분석, 표현하기 위한 인프라를 저비용으로 구축해야 한다. 둘째, 데이터 접근 관리를 위해 보안, 지적재산권, 개인정보보호 등 법적인 책임은 물론, 외부 데이터의 내부 활용 방법에 대한 세심한 검토가 필요하다. 셋째, 데이터의 일관된 관리를 위해 여러 곳에 나누어져 있는 데이터를 클라우드 기반으로 통합하고 데이터 공유 프로세스를 정립해야 한다. 넷째, 내부에 있는 데이터베이스와의 결합과 분석을 통한 분석 시스템을 구성하고 실시간 의사결정이 가능한 지원방안을 마련해야 한다. 마지막으로 앞서 말한 빅 데이터 분석을 위한 데이터 과학자 조직을 만들고 인사이트를 끌어 낼 수 있는 전문가를 양성하거나 채용해야 한다. 초기 기술로서 빅 데이터 프로젝트는 성공률이 낮지만 지속적인 시행착오와 적극적인 도입전략을 펼친다면, 한 조직에 차별적인 경쟁우위를 갖추는 효과적인 무기가 될 것이다.
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
