데이비드 마이어 데이터브릭스 제품 담당 수석부사장은 23일 인터컨티넨탈 서울 코엑스에서 개최한 '데이터브릭스 데이터 인텔리전스 데이' 컨퍼런스에서 이같이 밝혔다. 멀티클라우드를 위한 자사 레이크하우스와 데이터 인텔리전스 엔진을 통해 생성형AI도 보다 간편하게 활용할 수 있도록 지원한다는 것.
마이어 수석부사장은 "가트너 매직쿼드런트 보고서에서 데이터와 AI 부문 양쪽에 모두 리더로 등재된 곳은 데이터브릭스가 유일하다"며 "많은 기업이 데이터·AI 관련해 겪고 있는 데이터 사일로화, 보안·거버넌스, 내부역량 부족 등 문제에 대한 해답을 제시한다"고 말했다.
데이터브릭스의 레이크하우스는 '델타레이크'로 데이터 이동·중복 없이 일관성을 유지하며 분석이나 AI 관련 작업을 할 수 있고, 이에 대한 통합된 보안과 거버넌스 및 카탈로그 생성을 '유니티 카탈로그'가 뒷받침한다. 널리 쓰이는 ML옵스(머신러닝 운영) 솔루션 'ML플로우'를 제공해온 데 이어 지난해 모자이크ML 인수로 AI·ML 최적화 역량도 한층 강화됐다.
이들 사이에 새롭게 LLM(대규모언어모델) 기반 데이터 인텔리전스 엔진을 얹어 메타데이터와 데이터 리지니 및 쿼리·코딩 기록 등을 바탕으로 한 자동화를 지원한다. 생성형AI가 데이터의 의미(시맨틱)를 읽고 다양한 작업을 돕는 데이터 인텔리전스 플랫폼을 표방한다.
나아가 데이터브릭스는 이런 데이터 인텔리전스 플랫폼을 바탕으로 고객의 효율적인 생성형AI 구축·활용을 지원한다. 데이터브릭스에 따르면 회사가 최근 선보인 오픈LLM 'DBRX'는 경쟁모델의 10분의 1 수준인 1000만달러로 만들었음에도 오픈모델 중 최상급 성능을 내면서 대부분 벤치마크에서 GPT-3.5를 앞질렀다. 이렇듯 고객사도 데이터 인텔리전스 플랫폼을 통해 각자 보유한 데이터 기반으로 효율적인 모델 구축 또는 파인튜닝이 가능하고, 그에 대한 완전한 소유권·제어권과 프로덕션 품질 및 간편한 사용성도 지원한다는 게 회사의 설명이다.
마이어 수석부사장은 "GPU(그래픽처리장치) 부족 현상 때문에도 고객들은 멀티클라우드 전략을 갖는 게 중요하다"며 "일부 모델이나 인프라는 특정 클라우드에만 한정되는 반면, 데이터브릭스는 고객에 선택권을 제공해 원하는 클라우드 어디든 AI를 구동할 수 있게 한다"고 덧붙였다.
데이터브릭스는 지난 1월말 마감된 회계연도 기준으로 16억달러(약 2조2000억원) 이상 매출을 기록, 연간 50% 이상 성장을 달성했다. 특히 2022년 4월 설립된 데이터브릭스코리아는 지난 회계연도 기준으로 국내에서 100% 이상 성장을 달성했고 파트너 생태계도 50% 확대했다.
에드 렌타 데이터브릭스 아태지역 총괄 수석부사장은 "데이터브릭스에게 한국은 가장 빠르게 성장하는 시장 중 하나로, 아태지역에서도 우선순위에 두고 있다. 한국어 서비스 지원에 이어 한국기업을 위한 트레이닝과 인증 절차도 5월부터 한국어로 이뤄질 예정"이라며 "한국이 기업의 AI 도입에 대한 야심찬 목표를 가지고 있는 시장인 만큼, 보다 많은 고객들이 자체적인 프라이빗 데이터를 사용해 안전하게 AI를 활용할 수 있도록 지속적으로 지원해나갈 계획"이라고 말했다.팽동현기자 dhp@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
