[기고] 빅데이터, 계속 변하고 커져야 한다

김동철 메타넷티플랫폼 고문
'빙산의 일각'이라는 말은 보이는 부분보다 안 보이는 부분이 엄청나게 크다는 것을 표현할 때 쓴다. 중요성으로 치자면 당연히 큰 부분이 더 중요하다는 것이다. 그런데 큰 부분이 물 속에 있어서 보이지 않기 때문에 바다를 항해하는 배들에게 위험요소로 간주되고 있다. 빙산의 일각은 문자 그대로 무언가 큰 위험이 있다는 작은 신호라고 봐도 된다. 그러나 얼마나 큰 위험을 숨기고 있는지는 알려주지 않는다. 이러한 내용은 빅데이터의 세상에 그대로 투사해봐도 유사하다.

현재의 상태를 진단해 본다면, 빅데이터는 크기, 생성속도, 형태의 다양성이라는 세 가지 축을 가진다는 교과서적인 개념을 바탕으로 여기저기 흩어져 있는 데이터를 모으느라 여념이 없는 수준이다. 그러면서 10년이 흘렀다. 그러다 보니 일정기간 빅데이터라고 만들어 놓고 손을 놓으면 더 이상 빅데이터가 아닐 수도 있다. 문제점을 인지하고 해결하는데 필요한 데이터를 수집한 것이 아닌 것이다.

기존에 있는 데이터들을 모으다 보니 더 이상 모을 데이터가 없으면 빅데이터가 정체되는 것이고, 새로이 생겨나는 문제들을 해결하기 위해 추가로 필요해 보이는 데이터들이 틀림없이 있기 마련이다. 얼마나 많은 데이터가 필요한지 짐작하기 어려우므로 기존에 구축해 놓은 빅데이터는 일각에 해당한다고 볼 수 있다.

코로나19 변종인 오미크론이 확산일로 또는 감소일로에 있고, 다중 팬데믹이 현실화되고 있는 상황에서 대중들이 접하고 있는 통계자료는 대중들이 자발적으로 참여한 검사결과에 의존한다. 검진에 소극적이거나 무증상의 시민들에게서 무슨 일이 일어나고 있는지는 검사가 아닌 다른 경로의 빅데이터를 통해 알아내야 한다. 그렇게 알아낸 정보가 자발적인 검사에 의한 결과와 합해져서 의미 있는 정보를 만들어 낸다면 병상 확보나 백신의 수요, 그리고 먹는 치료제의 수요도 선제적으로 알아내 대응할 수 있을 것이다.

임페리얼 칼리지 런던의 명예교수인 데이비드 핸드는 어떠한 이유로든 우리가 간과하는 데이터를 '다크 데이터'라고 칭했다. 그의 저서 '다크 데이터'(2021)에 의하면 전 세계적으로 알츠하이머로 인한 사망이 해마다 늘고 있는데, 원인이 무엇인지를 사례로 다루었다. 데이터 측면에서만 들여다보면 진실을 알기 어렵다. 그러나 문제점에서 출발하면 가려져 있던 다크 데이터를 찾아낼 수 있다. 일단 1901년 이전에는 그러한 병명이 없었기 때문에 데이터가 없다. 그렇다고 환자가 없는 것은 아니었을 것이다. 역설적이게도 최근의 의학 발달이 알츠하이머로 인한 사망률 증가의 한 원인으로 꼽힌다. 의학 발달로 많은 질병들이 정복되고 있고, 그 덕에 인간의 기대수명은 날로 늘어나고 있다. 그 결과 알츠하이머가 발생하는 노년까지의 생존율이 높아진 것이 원인이라는 것이다.

이는 2000년대 이후 갑상선암이 세계적으로 갑자기 증가한 원인이 뜻밖에도 높은 검진률과 관련이 있었다는 분석과 일맥상통한다. 이런 식으로 본다면 빅데이터 관점에서 정확하고 순수한 알츠하이머 사망 추이를 알기 위해서는 숨어있는 더 많은 데이터를 찾는 노력이 필요하다는 것을 알 수 있다.

서두에서 거론한 빅데이터의 교과서적인 정의도 틀린 것은 아니지만, 초기의 것이므로 빙산의 일각 신세를 면하려면 의심하고 변화해야 한다. 빅데이터는 계속 변하고 커져야 한다. 그리고 출발점은 단순 데이터의 집합보다는 문제점에서 출발하는 것이 바람직하다는 생각이다. 마지막으로 빅데이터는 문제점을 인식해야 하므로 IT와 분석의 영역을 넘어서야 한다. 집계와 통계의 홍수 속에서 의도적인 왜곡도 있을 수 있다.

그러나 조금만 시간이 지나면 결과가 자명해진다. 과거에는 우연히 맞아떨어지는 결과도 이제는 빅데이터적으로 접근이 가능한 시대가 되었다. 그럴수록 빅데이터의 일각과 다크 데이터의 사례처럼, 필요하지만 존재를 모르는 데이터의 위험은 점점 커지고 있다. 현재 진행되고 있는 빅데이터 프로젝트들이 잠재된 위험을 돈 들여 키우는 것은 아닌지 돌아봐야 한다.