[발언대] 빅데이터 통합 성공하려면

얼마 전까지만 해도 데이터와 관련한 많은 한계들로 인해 제약을 받았지만 이제는 우리가 상상할 수 있는 모든 것들이 가능해졌다. 더 많은 데이터와 더 많은 데이터 유형을 사용함으로써 자체 조직은 물론 세계를 근본적으로 변화시킬 수 있다. 이와 같은 변화는 막대한 기회를 제시하는 동시에 과제도 발생시키고 있으며 오늘날 조직들이 빅데이터와 관련해 직면하고 있는 주요 과제들은 다음과 같다.

우선 빅데이터 프로젝트에 필요한 인력 배치를 위해 특정한 업무 역량을 보유한 인력을 찾고 유지하는 것이 매우 어렵다. 빅데이터 분야에서 확인된 가장 중대한 과제는 빅데이터 프로젝트에 필요한 인력 배치를 위해 특정한 업무 역량을 보유한 인력을 찾고 유지하는 것이 어렵다는 사실이다. 인포메이션위크가 541명의 비즈니스 기술 담당자들을 대상으로 실시한 조사 결과 해당 분야 전문가들이 매우 희소하며 고액 연봉을 지불해야 한다는 점이 빅데이터 활용과 관련된 가장 큰 고민거리로 지목됐다. 가트너는 2015년까지 빅 데이터와 관련해 생성되는 440만 개 일자리 중 단 1/3만 채워질 수 있을 것으로 전망하고 있다. 또 컨셉검증(Proof of Concept) 단계부터 운영 환경 구현까지 빅 데이터 프로젝트를 진행하는 데는 너무 오랜 시간이 소요된다. 2014년 6월 개최된 빅데이터 콘퍼런스 중 하나인 하둡 서밋에서 가트너는 기조 연설을 통해 하둡 구현의 단 30%만이 운영 환경 구현 단계까지 도달했다고 밝혔다.

또 빅데이터 기술들은 미쳐 수용하기 어려울 정도로 빠르게 발전하고 있다. 위키본에 따르면 빅데이터 시장이 2014년 285억달러에서 2015년 501억달러 규모로 성장할 것으로 예상되며, 관련 기술들은 매우 빠르게 등장해 발전하고 있다. 이들 기술들은 발표 후 빠르게 발전하는 데다 대부분의 조직들이 이를 미처 수용하기도 전에 그 뒤를 잇는 새로운 기술이 부상하고 있다.

이와 함께 빅데이터 프로젝트들이 기대 가치를 제공하지 못하고 있다. 빅데이터 프로젝트들 중 상당수는 과학 실험과 같은 개념에서 출발하고 있으며, 대개 정확하지 않은 범위로 인해 기대 가치를 달성하지 못하는 결과를 초래하고 있다. 이들은 운영 환경 측면에서 실행 가능한 정보를 통합, 운영 및 제공하기 위해서는 무엇이 필요한지 조차도 파악하지 못하고 있다.

빅데이터의 특정 목적에 대한 적합성을 달성하고 신뢰도를 평가하며 보안을 보장하는 것이 어렵다는 점도 문제다. 소셜, 모바일, 센서 장치 등과 같은 외부의 데이터 소스에서 입력된 대규모 데이터 세트를 다루는 빅데이터에는 불확실성이 내재돼 있다. 따라서 조직들은 종종 데이터의 특정 목적에 대한 적합성을 달성하고 신뢰도를 평가하며 데이터 수준의 보안을 보장하는 데 어려움을 겪고 있다.

빅데이터 환경에는 분명 비즈니스적인 영향을 주도하고 경쟁 업체들보다 앞설 수 있게 해주는 기회가 풍부하게 존재한다. 빅데이터는 차세대 리더들이 다뤄야 하는 그런 먼 미래의 것이 아니며 그냥 스쳐 지나가는 유행도 아니다. 빅데이터는 지금 존재하며, 비즈니스상의 이득을 확보하기 위해 새로운 방법으로 데이터를 다뤄야 하는 쉽지 않은 문제인 동시에 커다란 기회를 던져주고 있다.

변화는 이미 불가피하다. 클라우드, 소셜 및 모바일 메가트렌드로 촉발되는 빅데이터가 비즈니스 프로세스, IT 인프라와 기업, 고객 및 기계가 생성하는 정보의 확보와 사용 방법을 변화시키고 있다. 트랜잭션 데이터뿐만 아니라 문서, 소셜, 로그, 센서 데이터 등 다양한 종류의 엄청난 빅데이터를 처리하기 위한 어려움이 위에 언급한 여러 문제를 야기시키고 있으며, 따라서 효과적인 빅데이터 통합이 성공적인 빅데이터 활용의 출발점이 될 것이다.

유승주 한국인포매티카 본부장