레드햇, ‘AI 3.5’ 출시…안전성·관측성·멀티테넌시 강화

에이전트보안·RAG·분산추론 기능도 확대 레드햇은 엔터프라이즈 인공지능(AI) 플랫폼 ‘레드햇 AI 3.5’를 출시하고, 하이브리드 클라우드 환경에서 AI 워크로드를 통제·보안·관측할 수 있는 기능을 강화했다고 10일 밝혔다. 이번 버전은 AI모델과 에이전트를 실제 운영 환경에 배포하기 전 안전성을 검증하고, 운영 이후에는 GPU 활용률과 추론 상태, 사용자별 토큰 사용량 등을 추적할 수 있도록 한 게 특징이다. 신규 기능인 ‘이벌허브’(EvalHub)는 커스텀 모델과 검색증강생성(RAG), 에이전트의 안전성을 평가하고 규제 준수 보고서를 생성한다. 카탈로그에 등록된 일부 모델에는 가락(Garak) 기반 안전성 점수와 개인정보 노출, 유해성 위험 지표도 제공한다. 공유 그래픽처리장치(GPU) 환경을 위한 멀티테넌시 기능도 강화했다. 우선순위 인식 서빙을 통해 실시간 추론 요청과 백그라운드 작업의 자원 배분을 조정하고, 오픈시프트 호스티드 컨트롤 플레인 및 버추얼라이제이션을 활용해 테넌트별 격리 수준도 높였다. 에이전틱AI 기능도 확대했다. ‘오토RAG’는 기업 데이터 저장소를 에이전틱 애플리케이션과 연결하며, 다국어 문서 지원과 대화형 테스트, 문맥 기반 검색을 제공한다. 코드 리뷰와 문서 처리, 리서치 업무 등을 위한 사전 구성형 에이전트 템플릿도 추가했다. 보안 측면에서는 ‘리스폰스(Responses) API’와 내장형 RAG를 지원하고, 엔비디아 니모 가드레일을 연계해 악의적인 툴 호출을 차단할 수 있도록 했다. 인퍼런스 타임 스케일링 기능은 쿼리 복잡도에 따라 연산 자원을 조정해 GPU 사용효율을 높인다. 조 페르난데스 레드햇 AI사업부 부사장 겸 총괄 매니저는 “이제 논의의 중심은 AI를 프로덕션 환경에 도입하는 것에서 신뢰할 수 있는 엔터프라이즈 인프라로 대규모 운영하는 단계로 이동했다. 이를 위해서는 안전성에 대한 검증 자료와 거버넌스를 갖춘 에이전트, 비용 배분, 멀티테넌시가 필요하다”고 말했다.