[기고] AI 시대의 핵심 인프라 ‘네트워크’

하진철 에스넷시스템 기술센터장(CTO) 인공지능(AI) 기술은 지난 수십 년 동안 빠르게 발전해왔다. 규칙 기반 AI에서 시작해 머신러닝과 딥러닝을 거쳐, 챗GPT의 등장 이후 생성형 AI가 빠르게 확산되는 단계에 진입했다. 이제 AI는 단순한 답변 제공을 넘어, 스스로 업무를 수행하는 에이전틱 AI와 현실세계의 기기·로봇과 연결되는 피지컬 AI로 발전하고 있다. 최근 가장 주목할 변화는 AI 활용 방식의 전환이다. 과거에는 단발성 질의응답이 주를 이뤘다면, 이젠 AI가 사용자 지시에 따라 여러 단계를 거쳐 업무를 자동 처리하는 방향으로 발전하고 있다. 이 과정에서 AI가 정보를 처리하는 기본 단위인 ‘토큰’의 사용량도 빠르게 증가하고 있다. AI 에이전트가 작업을 연속 수행할수록 입력문서, 생성코드, 중간 판단 과정 등이 모두 토큰 사용량으로 이어져 추론 연산량과 비용 부담이 커진다. 미국 IT매체 디인포메이션에 따르면, 메타 직원들의 한 달 토큰 사용량은 60조2000억개에 달하며, 이를 비용으로 환산하면 막대한 규모다. 이런 변화는 국내외를 막론하고 확산 중이며, AI는 기업의 생산성을 높이는 보편적인 업무 인프라로 자리잡아가고 있다.이 흐름은 AI 시장의 중심이 기존의 학습(Training)에서 추론(Inference)으로 빠르게 이동하고 있음을 의미한다. 지금까지 AI 인프라는 대규모 모델 학습을 위한 고성능 GPU 클러스터와 초고속 네트워크에 초점이 맞춰졌다. 그러나 앞으로는 많은 사용자의 요청을 동시에 처리하고, 응답 지연을 줄이며, 비용을 효율적으로 관리하는 게 핵심과제가 될 것이다. AI 워크로드가 추론 중심으로 확대되면 네트워크의 역할도 달라진다. 학습 환경에서는 많은 GPU가 하나의 모델을 학습하기 위해 긴밀하게 연결되는 구조가 중요했지만, 추론 환경에서는 수많은 사용자 요청을 빠르게 처리하고 GPU·NPU·스토리지·메모리 자원을 효율적으로 연결하는 구조가 중요해진다. 특히 대형언어모델(LLM)은 자원 간의 데이터 이동과 통신 성능이 서비스 품질에 직결된다. 이 때문에 이더넷 (Ethernet) 기반 AI 네트워크의 중요성이 커지고 있다. 기존 대규모 AI 학습 클러스터에서는 저지연·고처리량 강점을 가진 인피니밴드(InfiniBand)가 많이 사용돼 왔다. 하지만 인프라가 추론 중심으로 확대되고 다양한 AI 반도체가 등장하면서, 특정 기술이나 벤더에 종속되지 않는 유연한 구조가 중요해졌다. 이더넷은 표준 네트워크 기술로 장비 생태계가 넓고 범용성과 운영 효율성이 뛰어나다. 여기에 RoCE v2 기술을 적용하면 저지연·고대역폭 통신을 구현할 수 있어 AI 워크로드에 걸맞은 고성능 네트워크 구성이 가능하다. 실제로 글로벌 클라우드 사업자들도 추론 인프라에 이더넷 기반 AI 네트워크를 적극 도입하고 있다. 구글 클라우드는 AI 하이퍼컴퓨터 구조에서 RoCE v2 기반 고성능 네트워킹을 제공해 추론 성능을 검증하고 지연 시간을 줄이고 있다. 오라클 OCI 역시 클러스터 노드를 RoCE v2 네트워크로 연결해 낮은 지연 시간과 최대 3200Gbps 대역폭을 제공하며 추론 수요에 대응하고 있다. 또 하나의 중요한 변화는 프라이빗 AI 수요 증가다. 에이전틱 AI 확산으로 토큰 사용량이 늘면 클라우드 기반 AI 서비스의 장기적인 비용 부담이 커진다. 비용을 통제하고 내부 데이터를 안전하게 활용하려는 기업들은 프라이빗 AI 도입을 검토하게 된다. 그러나 대규모 AI 데이터센터 구축은 전력·냉각·공간·운영역량 등의 한계가 따른다. 특히 AI 서버의 높은 전력 소비로 인해 단일 데이터센터에 인프라를 집중하는 방식은 현실적인 한계에 부딪힐 수 있다. 이런 이유로 여러 데이터센터를 분산 구축하고, 이를 하나의 AI 인프라처럼 연결해 사용하는 전략이 중요해지고 있다. 단일 데이터센터 내부를 넘어 데이터센터 간 연결까지 고성능·저지연·고확장성을 갖춘 네트워크 기술이 반드시 필요하다. 결국 AI 시대의 경쟁력은 단순히 더 많은 GPU를 확보하는 것만으로 좌우되지 않는다. 다양한 연산 자원을 유연하게 연결하고, 폭증하는 추론 요청을 안정적으로 처리하며, 분산된 데이터센터를 하나의 AI플랫폼처럼 운영할 수 있는 네트워크 역량이 핵심이다. AI 기술이 확장될수록 범용성·확장성·운영 효율성을 제공할 수 있는 이더넷 기반 AI 네트워크는 선택이 아닌 필수 인프라가 될 것이다.