[발언대] 몸값 높아진 `비정형 데이터`

얼마 전 흥미로운 기사 하나를 읽었다. '올해 미국 내 최고의 직업'에 대해 구직 전문 사이트 글래스도어가 조사한 내용을 소개하는 내용이었다. 어떤 직업이 가장 인기가 있을까. 호기심을 갖고 기사를 읽었다. 변호사, 의사, 변리사 등 고소득 전문직업일 것이란 예상은 보기 좋게 빗나갔다. 최고의 직업으로 생소한 '데이터 과학자'를 소개했기 때문이다.

데이터 과학자. 기사는 이미 작년부터 부각된 이 직업이 지난해 9위에서 올해 1위로 수직상승 했다고 전했다. 아울러, 기업이 보유한 '비정형 데이터'를 체계적이고 효율적으로 관리하고 분석하는 것이 데이터 과학자의 주요한 임무라고 덧붙였다. '비정형 데이터'에서 무릎을 탁 치고 말았다. 데이터 과학자는 아직 국내에서 낯선 개념이지만 비정형 데이터는 최근 몇 해 동안 IT업계에서, 특히 필자가 몸담은 데이터관리 분야에서 가장 '핫'한 용어이기 때문이다.

비정형 데이터는 로그기록, 위치정보, 이미지, 동영상, 음악파일 등 데이터의 형식이 정해져 있지 않은 데이터를 뜻한다. 형식이 정해져 있지 않다는 것은 일반적인 데이터를 저장하는 기업 데이터베이스(DB)가 아닌 별도의 저장장치가 필요하다는 의미이다. 비정형 데이터는 카카오톡, 페이스북, 유튜브 등 소셜 네트워크 서비스(SNS)와 스마트폰, 태블릿PC 등 모바일 기기의 확산으로 그 수가 폭증하고 있다. 페이스북에 매일 업로드 되는 이미지가 3억 5000만장 이상이고 유튜브에는 1분마다 300시간 이상의 동영상이 올라온다니 데이터 증가속도가 말 그대로 상상 이상이다.

중요한 것은 가치다. 비정형 데이터를 활용할 때 얻을 수 있는 비즈니스 가치가 무엇이냐에 따라 비정형 데이터를 관리하는 기업이 투자 정도도 달라질 것이다. 우선 고려해볼 수 있는 분야가 기업 마케팅이다. 소비자가 생성하는 수많은 데이터 속에서 트렌드를 읽어내고 구매 행동 패턴을 분석하며 소비자 특성을 세부적으로 파악할 수 있다.

이를 기반으로 기업은 정교한 마케팅 전략을 수립하고 타깃별 적합한 상품을 출시해 성공 가능성을 높일 수 있다.

사물인터넷(IoT)에 의해 생성되는 비정형 데이터는 효율적인 공급망 관리에도 적용될 수 있다. 유통기업의 경우 지역별로 소비자가 자주 구매하는 물품의 정보를 축적하면, 전국 물류창고에 보관하는 재고를 적절히 분산해 배송 효율성을 높일 수 있다.

정부도 비정형 데이터의 가치를 높이 평가하고 적극 투자하고 있다. 미래창조과학부에 따르면 지난해 정부가 빅데이터 시장에 투자한 금액은 689억원으로 2014년 490억원에서 42.2% 증가했다. 국방부는 최근 북한 관련 다양한 유형의 문서와 분석이 가능하도록 데이터화한 비정형 데이터를 분석 발표하는 '국방ISR융합포럼'을 개최한 바 있다. 흩어져 있거나 세밀하게 연결되지 않았던 국방분야의 다양한 정보들도 정교하게 분석해 안보에 활용할 수 있는 것이다.

스토리지 업계에서는 비정형 데이터를 안정적이고 효율적으로 관리하기 위해 '오브젝트 스토리지'를 선보이고 있다. 오브젝트 스토리지는 저장하는 파일에 대한 구체적인 정보 등 메타 데이터를 자동으로 생성, 보관, 관리하는 솔루션이다.

블록이나 파일 스토리지를 사용할 경우 기업이 대량의 컴퓨팅 및 스토리지를 설계, 구성, 구축, 지원해야 하는 까다로운 작업이 수반된다. 하지만 최근 온보드 내장형 컴퓨팅으로 즉시 구축이 가능한 오브젝트 스토리지 형태의 어플라이언스가 출시됐다. 넷앱의 스토리지 그리드 웹스케일이 대표적 솔루션이며, 복잡성과 비용은 줄이고 데이터 보호와 효율성이 뛰어난 것이 강점이다.

시장조사업체 IDC는 글로벌 오브젝트 스토리지 시장이 2018년까지 연평균 13% 성장하며 434억 달러까지 확대될 것으로 전망한 바 있다. 비정형 데이터는 분명 더 많은 주목을 받을 것이며, 그 가치는 더욱 커질 것이다. 국내에도 올해 비정형 데이터를 활용해 비즈니스 가치를 높이는 데이터 과학자가 많아지기를 기대한다.

백승용 한국넷앱 부장