KAIST, LLM 서비스 인프라 시뮬레이션 플랫폼 개발

고가장비 없이 사전 성능 테스트...다양한 HW 환경 지원

서비스 속도, 전력 소모, 안정적 동작 등 가상 환경서 재현

LLM 서비스 인프라 시뮬레이터 개념도를 AI로 그린 일러스트. KAIST 제공.
LLM 서비스 인프라 시뮬레이터 개념도를 AI로 그린 일러스트. KAIST 제공.

국내 연구진이 대규모 인공지능(AI) 서버 구축 전에 컴퓨터에서 성능과 효율을 사전 검증할 수 있는 ‘가상 실험장’을 개발했다.

AI 인프라 연구자뿐 아니라 거대언어모델(LLM) 서비스 기업, AI 반도체 스타트업 등 차세대 AI 인프라를 설계하고 최적화하는 데 폭넓게 쓰일 것으로 기대된다.

KAIST는 박종세 전산학부 교수 연구팀은 복잡한 AI 서비스 환경에서 다양한 하드웨어와 소프트웨어를 조합해 가상으로 분석할 수 있는 시뮬레이션 플랫폼을 개발했다고 29일 밝혔다.

‘LLMServingSim 2.0’으로 명명된 소프트웨어는 기존 그래픽처리장치(GPU)를 넘어 차세대 AI반도체인 신경망처리장치(NPU), 메모리 내부에서 연산을 동시에 수행하는 프로세싱 인 메모리(PIM) 등 다양한 하드웨어 환경을 지원한다.

아직 상용화되지 않은 미래형 AI 반도체를 비싼 대규모 서버 인프라를 구축하지 않고 가상의 데이터센터 환경에서 사전에 성능과 효율을 검증할 수 있다.

가령, 특정 반도체를 적용했을 때 서비스 속도와 전력 소모, 안정적 동작 등을 컴퓨터를 통해 재현 분석할 수 있다.

특히 실제 AI 서비스 운영 과정에서 발생하는 데이터 처리, 요청 분배, 메모리 활용 등 복잡한 동작을 시스템 수준에서 성능을 평가할 수 있으며, 분산형 인프라 환경까지 분석할 수 있어 차세대 AI 데이터센터 연구에도 활용 가능성이 크다고 연구팀은 설명했다.

박종세 KAIST 교수는 “시뮬레이터가 연구자와 산업계가 차세대 AI 인프라를 보다 빠르고 효율적으로 개발하는 데 중요한 기반이 될 것으로 기대한다”고 말했다.

연구결과는 컴퓨터 시스템 성능 분석 분야 세계적 학회 ‘ISPASS 2026’에서 최우수 논문상을 수상했다.

박종세(왼쪽) KAIST 교수와 연구진. KAIST 제공.
박종세(왼쪽) KAIST 교수와 연구진. KAIST 제공.
이준기 기자(bongchu@dt.co.kr)

[저작권자 ⓒ디지털타임스, 무단 전재-재배포, AI 학습 및 활용 금지]
이준기

기사 추천

  • 추천해요 0
  • 좋아요 0
  • 감동이에요 0
  • 화나요 0
  • 슬퍼요 0