디에스앤텍-블라스
■ 빅데이터 통합로그관리
디에스앤텍(대표 장경수, 사진)의 통합로그관리시스템 `블라스'(BLAS; Big Log Analysis & Search)는 일일 수 억 건의 로그데이터(수십GB의 용량)를 실시간으로 수집할 수 있다. 이를 Hadoop 분산파일 시스템에 저장하고 분산 검색엔진과 분산병렬처리(MapReduce)기반에서 분석을 수행한다. 웹 기반 UI에서 수백 억 건의 데이터 가운데, 관심 있는 데이터를 수초 이내에 검색할 수 있을 뿐 아니라 고객의 통계서비스 요구사항에 대응해 대용량 분석 데이터를 NoSQL(Not Only SQL) 데이터베이스에 저장한다.
블라스는 지난해까지 `로그세이버'라는 브랜드로 선보인 디에스앤텍의 통합로그관리시스템의 새로운 브랜드로서 빅데이터 시대를 겨냥해 개발되고 있는 솔루션이다. 특히 대용량 데이터 처리에 관한 여러 요구사항들을 적극적으로 파악해 선제적으로 대응하기 위한 시스템으로 개발 중이다.
블라스에는 대용량 데이터 분산파일 기술이 탑재된다.'Apache Hadoop 프로젝트'의 분산파일 시스템(HDFS : Hadoop Distributed FileSystem)과 맵리듀스 분산 병렬처리 프레임워크(MapReduce Framework)를 사용해 대용량 데이터를 분산서버에 저장 후 각 서버에서 병렬처리 하도록 하고 있다. 대용량 데이터 수집에는 `Apache Flume 프레임워크'를 채택함으로써 실시간 처리 및 분산 환경에 맞게 성능과 신뢰성을 확보하도록 했다.
대용량 데이터 분산검색 기술은 분산파일 시스템에 저장하고 있는 데이터를 고속으로 검색할 수 있게 해준다. 대용량 데이터 분석엔진 기술을 통한 분석서비스는 비정형 데이터 처리를 통한 BI 및 데이터 마이닝 기법을 활용한다.
대용량 데이터베이스 저장기술은 RDBMS의 한계 또는 확장성 등의 단점을 해결할 수 있는 대안으로서 단순한 아키텍쳐를 가진 분산 컴퓨팅 환경에 적합한 대용량 데이터베이스 저장 기술이다. 고객에게는 분석데이터와 분석 중간데이터 저장 용도로 활용토록 계획하고 있다.
블라스가 개발 완료되면 솔루션 기반의 제품이 될 것이다. 기존 통합로그관리 시스템인 로그세이버는 소용량의 로그 수집 저장 조회 분석에 활용하고, 대용량의 로그데이터 고속검색과 분석에는 블라스로 시장의 요구에 대응한다는 전략이다. 블라스는 대용량 데이터 저장을 위한 백본 플랫폼도 제공할 수 있을 것으로 보인다. 기존 RDBMS의 한계를 극복하면서 분산 파일시스템을 기반으로 한 고속의 대용량 데이터베이스를 안정적으로 제공하는 플랫폼이 되는 것이다.
디에스앤텍은 로그세이버로 국내 시장을 리드했던 것처럼, 블라스를 통해 세계시장을 평정하겠다는 야심을 갖고 있다.
이규화선임기자 david@
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
디에스앤텍(대표 장경수, 사진)의 통합로그관리시스템 `블라스'(BLAS; Big Log Analysis & Search)는 일일 수 억 건의 로그데이터(수십GB의 용량)를 실시간으로 수집할 수 있다. 이를 Hadoop 분산파일 시스템에 저장하고 분산 검색엔진과 분산병렬처리(MapReduce)기반에서 분석을 수행한다. 웹 기반 UI에서 수백 억 건의 데이터 가운데, 관심 있는 데이터를 수초 이내에 검색할 수 있을 뿐 아니라 고객의 통계서비스 요구사항에 대응해 대용량 분석 데이터를 NoSQL(Not Only SQL) 데이터베이스에 저장한다.
블라스는 지난해까지 `로그세이버'라는 브랜드로 선보인 디에스앤텍의 통합로그관리시스템의 새로운 브랜드로서 빅데이터 시대를 겨냥해 개발되고 있는 솔루션이다. 특히 대용량 데이터 처리에 관한 여러 요구사항들을 적극적으로 파악해 선제적으로 대응하기 위한 시스템으로 개발 중이다.
블라스에는 대용량 데이터 분산파일 기술이 탑재된다.'Apache Hadoop 프로젝트'의 분산파일 시스템(HDFS : Hadoop Distributed FileSystem)과 맵리듀스 분산 병렬처리 프레임워크(MapReduce Framework)를 사용해 대용량 데이터를 분산서버에 저장 후 각 서버에서 병렬처리 하도록 하고 있다. 대용량 데이터 수집에는 `Apache Flume 프레임워크'를 채택함으로써 실시간 처리 및 분산 환경에 맞게 성능과 신뢰성을 확보하도록 했다.
대용량 데이터 분산검색 기술은 분산파일 시스템에 저장하고 있는 데이터를 고속으로 검색할 수 있게 해준다. 대용량 데이터 분석엔진 기술을 통한 분석서비스는 비정형 데이터 처리를 통한 BI 및 데이터 마이닝 기법을 활용한다.
대용량 데이터베이스 저장기술은 RDBMS의 한계 또는 확장성 등의 단점을 해결할 수 있는 대안으로서 단순한 아키텍쳐를 가진 분산 컴퓨팅 환경에 적합한 대용량 데이터베이스 저장 기술이다. 고객에게는 분석데이터와 분석 중간데이터 저장 용도로 활용토록 계획하고 있다.
블라스가 개발 완료되면 솔루션 기반의 제품이 될 것이다. 기존 통합로그관리 시스템인 로그세이버는 소용량의 로그 수집 저장 조회 분석에 활용하고, 대용량의 로그데이터 고속검색과 분석에는 블라스로 시장의 요구에 대응한다는 전략이다. 블라스는 대용량 데이터 저장을 위한 백본 플랫폼도 제공할 수 있을 것으로 보인다. 기존 RDBMS의 한계를 극복하면서 분산 파일시스템을 기반으로 한 고속의 대용량 데이터베이스를 안정적으로 제공하는 플랫폼이 되는 것이다.
디에스앤텍은 로그세이버로 국내 시장을 리드했던 것처럼, 블라스를 통해 세계시장을 평정하겠다는 야심을 갖고 있다.
이규화선임기자 david@
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
