요즘 빅데이터가 뜬다. 어느 미국 잡지에서는 빅데이터의 분석이 지구상의 환경ㆍ식량ㆍ건강 문제에 해결책을 제시할 수 있다고 과장을 하더니 가트너 그룹에서는 빅데이터는 21세기의 원유이며 미래 경쟁력의 열쇠라고 주장했다. 이어서 오바마 대통령은 2억 달러 이상을 투입할 빅데이터 연구개발 사업을 발표했다. 빅데이터가 당면한 미국의 현안을 해결할 수 있을 것으로 기대한다면서….
한국에서도 마찬가지다. 빅데이터가 중요하다는, 그래서 속히 빅데이터 시대를 준비하자는 서적들이 줄을 잇고 있다. 하루가 멀다하고 각종 세미나 안내가 날아온다. 국책연구소에서는 빅데이터 사업단을 만들고 발빠른 대학에서는 벌써 빅데이터 학과를 신설했다.
우리 IT시장을 점령하고 있는 글로벌 IT회사들이 가만 있을 리 없다. 빅데이터를 위한 HW와 SW가 준비되어 있으니 늦기 전에 준비하라고 꼬드긴다. 구입만 하면 빅데이터의 분석이 자동적으로 될 것처럼 현혹한다.여기저기서 내년에 빅데이터 시스템을 확충하거나 연구하기 위하여 신청했던 예산이 6000억원이었단다.
빅데이터가 뭐길래 이렇게들 야단하는 것인가? 빅데이터란 대용량의 자료를 일컫는다. 기존의 방법으로 저장이나 분석이 어려웠던 많은 데이터를 지칭한다. 데이터를 수집하는 행위가 증가하고, 센서의 능력이 좋아졌으며, 쇼설네트워크의 급격한 확산, 그리고 무엇보다도 기계와 기계간의 정보 교류가 증가함에 따라 생산되는 데이터 양이 엄청나게 많아졌다. 법인 추적에 큰 역할을 하는 CCTV를 생각해 봐라. 전국 방방곡곡에서 밤낮으로 방대한 양의 동영상을 생산해 내고 있다. 병원을 방문할 때마다 발생하는 검사 자료는 물론, 진료기록도 역시 그 양이 방대하다.
빅데이터를 잘 분석하면 모르고 있던 사실을 알게 된다. 근래에 있었던 성공적인 빅데이터 분석 사례로는 구글의 세계 독감 지도가 압권이다. 자신이나 가족이 독감에 걸리면 `발열'이라든가 `콧물' 등의 특정 검색어로 인터넷을 검색하게 된다. 따라서 특정 검색어의 빈도가 해당 지역에 독감 창궐 여부를 알려준다.트위터 대화를 분석하여 상품에 대한 대중의 이미지를 얻고 이를 마케팅 전략 수립에 사용한 사례가 국내에서도 있다.
맞다. 빅데이터의 분석을 통한 의사결정은 매우 바람직하다. 그러나 정작 중요한 것은 `빅'이 아니고 `데이터'다. `빅'이던 `스몰'이던 데이터의 분석을 통하여 과학적 의사결정 체제를 갖추는 것은 기업이든 국가든 매우 중요한 일이다. 그러나 데이터를 분석하여 과학적인 의사결정을 하자는 노력이 새로운 것이 아니라는 것을 알아야 한다. 바로 그 목적으로 60년 전에 컴퓨터가 만들어졌다. 다시 말하자면 과학적 의사결정을 하는 `똑똑한 세상'을 만들려는 노력, 그것이 바로 컴퓨터공학의 핵심이다.
우리나라는 각종 산업분야에서 컴퓨터의 활용도가 선진국의 3분의 1 수준이라는 연구보고서가 있다. 필요로 하는 데이터를 수집하지도 않으며, 또 있는 데이터도 활용하지 않는다. 한번 만들어진 데이터는 여러 목적으로 나누어 쓰는 것이 바람직한데 숨기고 나눌 생각을 하지 않는다. 우리나라에서는 환자의 진료정보도 병원간 공유되지 않는다. 따라서 병원을 옮길 때마다 많은 검사를 또 해야 한다. 웹에 보여지는 버스 도착 정보도 스마트폰을 위하여 공개하는 것을 거부했고, 위생검사결과도 파일로만 첨부된다. 경찰과 검찰이 범죄자의 DNA 정보도 공유하지 않았다.
지금 비용이 많이 들고 분석하기 어려운 빅데이터를 쫓는 것보다 적은 양의 데이터라도 잘 활용하기 위한 투자가 더 시급하다. 우선 부처간에 데이터를 공유케 하여 협업을 활성화하고 공공정보를 적극적으로 공개하여 새로운 서비스와 산업이 창출되도록 하는 것이 바람직하다. 이를 위하여 국가적 차원에서 데이터 활용을 담당할 국가 CIO, 혹은 CDO(Chief Data Officer)가 꼭 필요하다.
김진형 KAIST 전산학과 교수ㆍ소프트웨어정책연구센터 소장
한국에서도 마찬가지다. 빅데이터가 중요하다는, 그래서 속히 빅데이터 시대를 준비하자는 서적들이 줄을 잇고 있다. 하루가 멀다하고 각종 세미나 안내가 날아온다. 국책연구소에서는 빅데이터 사업단을 만들고 발빠른 대학에서는 벌써 빅데이터 학과를 신설했다.
우리 IT시장을 점령하고 있는 글로벌 IT회사들이 가만 있을 리 없다. 빅데이터를 위한 HW와 SW가 준비되어 있으니 늦기 전에 준비하라고 꼬드긴다. 구입만 하면 빅데이터의 분석이 자동적으로 될 것처럼 현혹한다.여기저기서 내년에 빅데이터 시스템을 확충하거나 연구하기 위하여 신청했던 예산이 6000억원이었단다.
빅데이터가 뭐길래 이렇게들 야단하는 것인가? 빅데이터란 대용량의 자료를 일컫는다. 기존의 방법으로 저장이나 분석이 어려웠던 많은 데이터를 지칭한다. 데이터를 수집하는 행위가 증가하고, 센서의 능력이 좋아졌으며, 쇼설네트워크의 급격한 확산, 그리고 무엇보다도 기계와 기계간의 정보 교류가 증가함에 따라 생산되는 데이터 양이 엄청나게 많아졌다. 법인 추적에 큰 역할을 하는 CCTV를 생각해 봐라. 전국 방방곡곡에서 밤낮으로 방대한 양의 동영상을 생산해 내고 있다. 병원을 방문할 때마다 발생하는 검사 자료는 물론, 진료기록도 역시 그 양이 방대하다.
빅데이터를 잘 분석하면 모르고 있던 사실을 알게 된다. 근래에 있었던 성공적인 빅데이터 분석 사례로는 구글의 세계 독감 지도가 압권이다. 자신이나 가족이 독감에 걸리면 `발열'이라든가 `콧물' 등의 특정 검색어로 인터넷을 검색하게 된다. 따라서 특정 검색어의 빈도가 해당 지역에 독감 창궐 여부를 알려준다.트위터 대화를 분석하여 상품에 대한 대중의 이미지를 얻고 이를 마케팅 전략 수립에 사용한 사례가 국내에서도 있다.
맞다. 빅데이터의 분석을 통한 의사결정은 매우 바람직하다. 그러나 정작 중요한 것은 `빅'이 아니고 `데이터'다. `빅'이던 `스몰'이던 데이터의 분석을 통하여 과학적 의사결정 체제를 갖추는 것은 기업이든 국가든 매우 중요한 일이다. 그러나 데이터를 분석하여 과학적인 의사결정을 하자는 노력이 새로운 것이 아니라는 것을 알아야 한다. 바로 그 목적으로 60년 전에 컴퓨터가 만들어졌다. 다시 말하자면 과학적 의사결정을 하는 `똑똑한 세상'을 만들려는 노력, 그것이 바로 컴퓨터공학의 핵심이다.
우리나라는 각종 산업분야에서 컴퓨터의 활용도가 선진국의 3분의 1 수준이라는 연구보고서가 있다. 필요로 하는 데이터를 수집하지도 않으며, 또 있는 데이터도 활용하지 않는다. 한번 만들어진 데이터는 여러 목적으로 나누어 쓰는 것이 바람직한데 숨기고 나눌 생각을 하지 않는다. 우리나라에서는 환자의 진료정보도 병원간 공유되지 않는다. 따라서 병원을 옮길 때마다 많은 검사를 또 해야 한다. 웹에 보여지는 버스 도착 정보도 스마트폰을 위하여 공개하는 것을 거부했고, 위생검사결과도 파일로만 첨부된다. 경찰과 검찰이 범죄자의 DNA 정보도 공유하지 않았다.
지금 비용이 많이 들고 분석하기 어려운 빅데이터를 쫓는 것보다 적은 양의 데이터라도 잘 활용하기 위한 투자가 더 시급하다. 우선 부처간에 데이터를 공유케 하여 협업을 활성화하고 공공정보를 적극적으로 공개하여 새로운 서비스와 산업이 창출되도록 하는 것이 바람직하다. 이를 위하여 국가적 차원에서 데이터 활용을 담당할 국가 CIO, 혹은 CDO(Chief Data Officer)가 꼭 필요하다.
김진형 KAIST 전산학과 교수ㆍ소프트웨어정책연구센터 소장
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
