타당성 보단 충분성 아래 조직의 비즈니스 영역ㆍ목적 따라 관리
■ 빅데이터, 미래를 연다
◇ 빅 데이터 돋보기-빅 데이터 품질 관리 방법
최근 기업들이 분초를 다투는 치열한 경쟁상황에 놓이면서 이른바 `실시간 기업'을 추구하고 있다. 누가 빨리 방대한 데이터에서 필요한 정보를 정확하게 뽑아내 의사결정을 하느냐가 기업의 성패를 가르는 시대가 된 것이다.
그런데 의사결정의 토대라고 할 수 있는 데이터가 일관성, 정확성 등에서 문제를 안고 있다면, 이를 분석한 결과 역시 부정확하게 된다. 이는 곧 잘못된 의사결정으로 이어질 수밖에 없다.
따라서 데이터의 품질을 관리하고 개선하는 일은 데이터 중심 시대에 가장 중요한 일 중 하나가 됐다.
이는 최근 IT 분야의 최대 화두인 빅 데이터도 마찬가지다. 하지만, 빅 데이터는 기존 데이터와는 다른 특징을 갖고 있기 때문에 품질 관리 역시 다른 측면의 접근법이 함께 모색돼야 한다.
한국정보화진흥원에 따르면, 빅 데이터는 대량의 데이터, 세밀한 수준의 데이터, 소유자가 불분명한 데이터라는 특성을 갖고 있어 기존의 품질 기준을 적용하는 것이 불가능하다.
이에 따라 빅 데이터의 품질 관리 접근방법은 혹시 발생할지 모르는 데이터 사용자의 오류는 무시하고, 데이터 수집 과정의 타당성을 방해하는 예외상황을 탐지하는 수준으로 품질 기준을 정의하게 된다.
또 개별 데이터에 대한 타당성 검증은 경우에 따라 불필요할 수 있으며, 개별 레코드에 대한 의미보다 데이터 전체가 나타내는 의미를 중심으로 품질 기준을 정의한다. 목적이나 통제 없이 생산된 데이터에 대한 데이터 품질 기준을 정의하기 위한 방법이 필요하다.
빅 데이터는 모든 개별 데이터에 대해 타당성을 보장하는 것보다는 빅 데이터 개념과 특성 측면에서 관리돼야 할 항목과 수준에 대해 품질을 정의하는 것이 필요하다.
또 빅 데이터 품질은 정확성(exact) 보다는 충분성(good enough) 개념 아래에서 조직의 비즈니스 영역과 목적에 따라 관리하는 것이 바람직하다.
이와 함께 소유하지 않은 외부 데이터를 활용하고자 할 경우 내부적으로 데이터 신뢰성에 대한 기준을 수립하는 것이 필요하다.
관심 있는 속성이나 관계를 식별하는 기술을 사용해 데이터 품질과 관련된 데이터 영역을 제한하는 전략도 가능하다.
강동식기자 dskang@
▶강동식기자의 블로그 : http://blog.dt.co.kr/blog/?mb_id=dskang
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
◇ 빅 데이터 돋보기-빅 데이터 품질 관리 방법
최근 기업들이 분초를 다투는 치열한 경쟁상황에 놓이면서 이른바 `실시간 기업'을 추구하고 있다. 누가 빨리 방대한 데이터에서 필요한 정보를 정확하게 뽑아내 의사결정을 하느냐가 기업의 성패를 가르는 시대가 된 것이다.
그런데 의사결정의 토대라고 할 수 있는 데이터가 일관성, 정확성 등에서 문제를 안고 있다면, 이를 분석한 결과 역시 부정확하게 된다. 이는 곧 잘못된 의사결정으로 이어질 수밖에 없다.
따라서 데이터의 품질을 관리하고 개선하는 일은 데이터 중심 시대에 가장 중요한 일 중 하나가 됐다.
이는 최근 IT 분야의 최대 화두인 빅 데이터도 마찬가지다. 하지만, 빅 데이터는 기존 데이터와는 다른 특징을 갖고 있기 때문에 품질 관리 역시 다른 측면의 접근법이 함께 모색돼야 한다.
한국정보화진흥원에 따르면, 빅 데이터는 대량의 데이터, 세밀한 수준의 데이터, 소유자가 불분명한 데이터라는 특성을 갖고 있어 기존의 품질 기준을 적용하는 것이 불가능하다.
이에 따라 빅 데이터의 품질 관리 접근방법은 혹시 발생할지 모르는 데이터 사용자의 오류는 무시하고, 데이터 수집 과정의 타당성을 방해하는 예외상황을 탐지하는 수준으로 품질 기준을 정의하게 된다.
또 개별 데이터에 대한 타당성 검증은 경우에 따라 불필요할 수 있으며, 개별 레코드에 대한 의미보다 데이터 전체가 나타내는 의미를 중심으로 품질 기준을 정의한다. 목적이나 통제 없이 생산된 데이터에 대한 데이터 품질 기준을 정의하기 위한 방법이 필요하다.
빅 데이터는 모든 개별 데이터에 대해 타당성을 보장하는 것보다는 빅 데이터 개념과 특성 측면에서 관리돼야 할 항목과 수준에 대해 품질을 정의하는 것이 필요하다.
또 빅 데이터 품질은 정확성(exact) 보다는 충분성(good enough) 개념 아래에서 조직의 비즈니스 영역과 목적에 따라 관리하는 것이 바람직하다.
이와 함께 소유하지 않은 외부 데이터를 활용하고자 할 경우 내부적으로 데이터 신뢰성에 대한 기준을 수립하는 것이 필요하다.
관심 있는 속성이나 관계를 식별하는 기술을 사용해 데이터 품질과 관련된 데이터 영역을 제한하는 전략도 가능하다.
강동식기자 dskang@
▶강동식기자의 블로그 : http://blog.dt.co.kr/blog/?mb_id=dskang
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
