AI 추론 최적화 위한 풀스택 플랫폼

레드햇과 리벨리온은 ‘리벨리온 NPU 기반 레드햇 오픈시프트 AI’(Red Hat OpenShift AI powered by Rebellions NPUs)를 공개한다고 11일 밝혔다.

이 솔루션은 ‘레드햇 오픈시프트 AI’와 리벨리온의 NPU 및 고효율 추론 엔진인 vLLM을 결합해 검증된 풀스택 엔터프라이즈 AI 플랫폼을 제공한다. 고객의 AI추론 최적화를 위한 핵심 요소를 통합했다.

양사에 따르면 리벨리온의 NPU는 AI 추론에 최적화된 아키텍처로 설계돼 기존 GPU 대비 최대 3.2배 더 높은 에너지 효율성을 제공하며, 서버·랙 단위에서 데이터센터의 구축·운영 비용을 효과적으로 낮춰준다. 또한 풀스택 소프트웨어와 주요 오픈소스 AI 프레임워크 지원을 통해 GPU와 동일한 수준의 편리한 개발 환경을 제공한다.

리벨리온의 소프트웨어 스택은 ‘레드햇 오픈시프트 AI’에서 네이티브로 실행돼 오버헤드를 줄이고 배포를 가속화한다. 레드햇 오픈시프트 인증을 취득한 레벨리온 NPU 오퍼레이터는 온프레미스 및 멀티클라우드 환경에서 보다 원활한 통합과 신뢰할 수 있는 지원을 제공해 기업의 데이터 주권 확보와 규제 준수를 지원한다. 자세한 정보는 레드햇 에코시스템 카탈로그에서 확인할 수 있다.

브라이언 스티븐스 레드햇 AI부문 수석부사장 겸 CTO는 “엔터프라이즈 AI의 미래는 단일 구조의 독점 스택을 넘어서는 아키텍처를 선택할 수 있어야 한다. 리벨리온과의 협업은 레드햇의 ‘모든 모델, 모든 가속기, 모든 클라우드’ 전략을 구현하는 데 있어 큰 의미가 있다”며 “고객은 실제 운영 환경의 AI에 필수인 효율성과 저지연성, 수평 확장성을 갖추고 AI 추론 워크로드를 배포할 수 있다”고 전했다.

박성현 리벨리온 대표는 “이번 협력으로 양사는 AI 추론의 요소가 제각각이던 기존 방식 대신 하드웨어부터 모델서빙까지 오픈소스를 이용해 통합되고 검증된 추론 플랫폼을 제공한다”며 “이로써 기업들이 보다 효율적이고 안전하게 AI서비스를 확장할 수 있도록 지원하는 한편, GPU 중심의 환경을 넘어 NPU 기반 추론 인프라의 새로운 대안을 제시하는 첫 사례가 될 것”이라 말했다.

팽동현 기자(dhp@dt.co.kr)

[저작권자 ⓒ디지털타임스, 무단 전재-재배포, AI 학습 및 활용 금지]
팽동현

기사 추천

  • 추천해요 0
  • 좋아요 0
  • 감동이에요 0
  • 화나요 0
  • 슬퍼요 0