IBM, AI데이터센터 내 광통신 위한 CPO 기술 발표

IBM은 데이터센터에서 생성형 인공지능(AI) 모델의 학습 및 실행 방식을 획기적으로 개선할 수 있는 차세대 광학 기술을 선보인다고 10일 밝혔다.

IBM에 따르면 기존의 전선 기반 단거리 통신을 보완하는 새로운 공동 패키지형 광학(CPO) 기술로, 데이터센터 내부 연결 속도를 빛의 속도로 대폭 향상시킬 수 있는 새로운 공정이다. IBM은 이 기술을 구동할 수 있는 폴리머 광학 도파관(PWG)을 성공적으로 설계·조립해 최초로 공개했다. IBM 연구진은 CPO기술이 칩, 회로 기판, 서버 간 고대역폭 데이터를 전송하는 컴퓨팅 방식에 가져올 변화를 시연했다.

광섬유 기술은 전기 대신 빛으로 장거리 데이터 전송을 빠르게 처리할 수 있어 현재 전 세계 상업 및 통신 트래픽 대부분에 사용되고 있다. 그러나 데이터센터의 경우 외부 통신 네트워크에는 광섬유를 사용하지만 내부 통신 네트워크의 대부분에는 여전히 구리선을 쓰고 있다. 대규모 분산 학습 과정에서 다른 장치의 데이터를 기다리느라 절반 이상의 시간을 유휴 상태로 보내는 GPU 가속기들 간 연결하고 있는데, 이로 인해 상당한 비용과 에너지가 소모된다.

IBM 연구진은 광학 속도와 처리 능력을 데이터센터 내부로 도입할 방법을 제시했다. 새롭게 발표한 논문을 통해 고속 광학 연결을 가능하게 하는 새로운 CPO 모듈의 시제품을 소개했다. 이 기술은 데이터센터 통신의 대역폭을 크게 확장하고, GPU의 유휴 시간을 줄이며, AI 처리 속도를 획기적으로 향상시킬 수 있다는 게 회사의 설명이다.

IBM에 따르면 CPO 기술을 통해 중급 전기 배선(interconnect) 대비 전력 소비를 5배 이상 줄임으로써 생성형AI 확장 비용을 낮추고, 데이터센터 간 케이블 연결 길이를 기존 1미터에서 수백 미터로 확장할 수 있다. 기존 전기 배선(wiring)을 사용할 때보다 대형언어모델(LLM)의 학습 속도를 최대 5배까지 높일 수 있다.

일반적인 LLM 학습 시간이 3개월에서 3주로 단축될 수 있으며, 더 큰 모델과 더 많은 GPU를 활용할 경우 성능 향상 폭이 더욱 커진다. 학습 시 모델당 미국 가정 약 5000가구의 연간 전력 소비량에 해당하는 에너지를 절감함으로써 데이터센터 에너지 효율을 향상시킬 수 있다.

다리오 길 IBM 리서치 연구개발 총책임자 수석부회장은 "생성형 AI가 점점 더 많은 에너지와 처리 능력을 요구함에 따라 데이터센터는 진화해야 한다. CPO 기술은 데이터센터를 미래에 대비하도록 만들 수 있다"며 "이 획기적인 기술을 통해 미래의 칩은 광섬유 케이블이 데이터 센터 안팎으로 데이터를 전달하는 방식으로 통신하게 될 것이고, 미래의 AI 워크로드를 처리할 수 있는 더 빠르고 지속 가능한 새로운 통신 시대를 열 것"이라 말했다.팽동현기자 dhp@dt.co.kr