최현민 한국어센셜소프트웨어 지사장
데이터 통합(Date Integration)은 최근 들어 기업의 최고 관심사 중 하나로 부각되고 있다. 분산 환경에서 독립적인 다양한 시스템들이 지속적으로 개발되고 있는 현실에서 주요 애플리케이션들과 데이터의 통합은 매우 어려운 과제임이 분명하다. 또한 과거 시스템 중심의 시대에서 정보가 중심이 되는 시대로 접어들면서, 데이터 통합을 통한 효과적 정보 자산 관리가 그 어느 시점보다 중요시되고 있다.
가트너 보고서에 의하면 2005년에 이르면 일반 기업에서는 100테라바이트(TB)의 데이터, 대기업에서는 500TB의 데이터를 관리하게 될 것으로 예측된다. 다시 말해 기업에서 관리하는 정보의 양이 기하급수적으로 증가하고 있다는 것이다. 또한 이러한 데이터들은 네트워크를 통해 매우 빠른 속도로 이동하고 있으며, 여기에 데이터의 소스도 다양해지고 이에 따라 데이터가 위치하는 플랫폼 및 데이터의 형태도 각양각색으로 존재하게 되었다.
결과적으로 다양한 형태로 산재하는 무한에 가까운 데이터 환경에서 기업들은 비즈니스 수행에 필요한 모든 정보를 `하나의 통합된 뷰'를 통해 보기가 너무 어려워지고 있다. 그 뿐만 아니라 기업은 기존 IT환경과 내부 시스템에 따라서 온갖 종류의 크기와 형태를 가진 데이터를 갖고 있게 마련이다. 이제 기업의 성공적인 비즈니스를 위해서는 전략적 데이터 통합을 선행하여 고급의 정보 가치를 지닌 의미 있는 데이터를 얻는 일이 필수적인 과제로 떠오른 것이다.
데이터의 양이 기하급수적으로 늘어나는 또 다른 이유로 기업 내 업무와 기업 간 거래의 증가를 꼽을 수 있다.
한편 기업의 다양한 목적별 시스템 도입은 데이터의 가치를 변화시키고 있다. 분산된 데이터들을 통합해 소중한 정보, 즉 기업 자산으로 변화시킬 때 비로소 e비즈니스는 실현된다. 그러나 은행？보험？정보통신 회사를 포함한 대부분의 기업들이 아직은 막대한 양의 데이터를 처리할 능력을 갖추지 못하고 있으며, 데이터를 가치 있는 정보로 전환해 줄 시스템 또한 갖추고 있지 못하고 있는 게 현실이다.
실제로 기업용 데이터웨어하우스와 비즈니스 인텔리전스를 구축한 기업 중에 데이터를 확보하더라도 확장성이 부족해 이를 의미 있는 정보로 활용하지 못하는 경우를 많이 보았다. 이는 적은 양의 데이터만 처리하던 시대의 소규모 시스템 운영환경에서 비롯된 문제인데, 급속도로 늘어나는 데이터의 양을 수용할 수 있는 확장성이 뛰어난 데이터 통합 솔루션이 있다면 이를 해결할 수 있다.
앞으로 데이터 통합 솔루션을 구축하고자 할 때 기업은 수백 TB까지 확장된 환경을 먼저 고려하고 이를 뒷받침해 줄 인프라스트럭처를 찾아야 한다.
다음으로는 데이터의 신뢰성을 확보해야 하는데, 데이터 프로파일링, 데이터 클린징, 데이터 품질 평가, 모니터링 등을 통한 데이터 리엔지니어링 과정이 포함된다. 불완전하고 부정확한 데이터를 통합해 봤자 아무 소용이 없음은 당연하다. 데이터 리엔지니어링은 검증된 방법론을 기반으로 지속적이며 일관되게 수행돼야 한다. 이는 비단 데이터의 신뢰성 확보뿐만 아니라 예산 초과나 프로젝트 실패의 위험을 줄이기 위해서도 반드시 거쳐야 하는 절차다.
그리고 대용량 데이터를 빠른 시간 내에 처리하기 위해 병렬 프로세싱 기술이 필수적으로 제공되어야 한다. 확장성을 고려하지 않아 데이터 통합에 실패한 기업들은 가느다란 호스 하나로 대형 수영장에 물을 채우려 들었던 셈이다. 여러 개의 호스를 동시에 사용하는 것이 최상의 방법이며, 이러한 까닭으로 병렬 프로세싱 기술이 데이터 통합에도 요구된다.
데이터 통합(Date Integration)은 최근 들어 기업의 최고 관심사 중 하나로 부각되고 있다. 분산 환경에서 독립적인 다양한 시스템들이 지속적으로 개발되고 있는 현실에서 주요 애플리케이션들과 데이터의 통합은 매우 어려운 과제임이 분명하다. 또한 과거 시스템 중심의 시대에서 정보가 중심이 되는 시대로 접어들면서, 데이터 통합을 통한 효과적 정보 자산 관리가 그 어느 시점보다 중요시되고 있다.
가트너 보고서에 의하면 2005년에 이르면 일반 기업에서는 100테라바이트(TB)의 데이터, 대기업에서는 500TB의 데이터를 관리하게 될 것으로 예측된다. 다시 말해 기업에서 관리하는 정보의 양이 기하급수적으로 증가하고 있다는 것이다. 또한 이러한 데이터들은 네트워크를 통해 매우 빠른 속도로 이동하고 있으며, 여기에 데이터의 소스도 다양해지고 이에 따라 데이터가 위치하는 플랫폼 및 데이터의 형태도 각양각색으로 존재하게 되었다.
결과적으로 다양한 형태로 산재하는 무한에 가까운 데이터 환경에서 기업들은 비즈니스 수행에 필요한 모든 정보를 `하나의 통합된 뷰'를 통해 보기가 너무 어려워지고 있다. 그 뿐만 아니라 기업은 기존 IT환경과 내부 시스템에 따라서 온갖 종류의 크기와 형태를 가진 데이터를 갖고 있게 마련이다. 이제 기업의 성공적인 비즈니스를 위해서는 전략적 데이터 통합을 선행하여 고급의 정보 가치를 지닌 의미 있는 데이터를 얻는 일이 필수적인 과제로 떠오른 것이다.
데이터의 양이 기하급수적으로 늘어나는 또 다른 이유로 기업 내 업무와 기업 간 거래의 증가를 꼽을 수 있다.
한편 기업의 다양한 목적별 시스템 도입은 데이터의 가치를 변화시키고 있다. 분산된 데이터들을 통합해 소중한 정보, 즉 기업 자산으로 변화시킬 때 비로소 e비즈니스는 실현된다. 그러나 은행？보험？정보통신 회사를 포함한 대부분의 기업들이 아직은 막대한 양의 데이터를 처리할 능력을 갖추지 못하고 있으며, 데이터를 가치 있는 정보로 전환해 줄 시스템 또한 갖추고 있지 못하고 있는 게 현실이다.
실제로 기업용 데이터웨어하우스와 비즈니스 인텔리전스를 구축한 기업 중에 데이터를 확보하더라도 확장성이 부족해 이를 의미 있는 정보로 활용하지 못하는 경우를 많이 보았다. 이는 적은 양의 데이터만 처리하던 시대의 소규모 시스템 운영환경에서 비롯된 문제인데, 급속도로 늘어나는 데이터의 양을 수용할 수 있는 확장성이 뛰어난 데이터 통합 솔루션이 있다면 이를 해결할 수 있다.
앞으로 데이터 통합 솔루션을 구축하고자 할 때 기업은 수백 TB까지 확장된 환경을 먼저 고려하고 이를 뒷받침해 줄 인프라스트럭처를 찾아야 한다.
다음으로는 데이터의 신뢰성을 확보해야 하는데, 데이터 프로파일링, 데이터 클린징, 데이터 품질 평가, 모니터링 등을 통한 데이터 리엔지니어링 과정이 포함된다. 불완전하고 부정확한 데이터를 통합해 봤자 아무 소용이 없음은 당연하다. 데이터 리엔지니어링은 검증된 방법론을 기반으로 지속적이며 일관되게 수행돼야 한다. 이는 비단 데이터의 신뢰성 확보뿐만 아니라 예산 초과나 프로젝트 실패의 위험을 줄이기 위해서도 반드시 거쳐야 하는 절차다.
그리고 대용량 데이터를 빠른 시간 내에 처리하기 위해 병렬 프로세싱 기술이 필수적으로 제공되어야 한다. 확장성을 고려하지 않아 데이터 통합에 실패한 기업들은 가느다란 호스 하나로 대형 수영장에 물을 채우려 들었던 셈이다. 여러 개의 호스를 동시에 사용하는 것이 최상의 방법이며, 이러한 까닭으로 병렬 프로세싱 기술이 데이터 통합에도 요구된다.
