[기고] AI 데이터센터, 낸드 역할도 달라진다

므리날 코차르 샌디스크 엔지니어링 부문 수석부사장 인공지능(AI)은 데이터센터의 설계를 새롭게 바꾸고 있다. 데이터 처리와 스토리지에 요구되는 성능과 복잡성, 비용도 높아졌다. 그래픽처리장치(GPU), 중앙처리장치(CPU), AI 가속기가 주목받는 가운데 스토리지 역시 구성과 최적화 방식, 데이터센터 내 배치 위치까지 새로운 전환기를 맞고 있다. 이 변화의 중심에는 낸드(NAND) 플래시 메모리가 있다. 낸드는 전원이 꺼져도 데이터를 유지하는 비휘발성 메모리로, 높은 집적도를 바탕으로 AI 모델의 학습과 데이터 처리, 추론을 지원한다. 이러한 특성은 엔터프라이즈 솔리드스테이트드라이브(eSSD), 즉 데이터센터용 기업용 저장장치에서 두드러진다. 현재 데이터센터용 eSSD는 크게 두 방향으로 진화하고 있다. 하나는 컴퓨팅에 최적화된 eSSD다. GPU와 가까운 곳에 배치해 대용량 데이터를 빠르고 낮은 지연 시간으로 처리한다. 다른 하나는 용량에 최적화된 eSSD로, 대규모 데이터를 저장하는 데이터 레이크를 지원한다. AI 인프라에서 새로운 낸드 플래시 스토리지 계층이 만들어지고 있는 것이다. 이 같은 변화는 AI 워크로드마다 필요한 성능과 용량이 다르기 때문이다. AI 데이터 파이프라인은 데이터 수집과 준비, 학습, 추론 등 여러 단계로 구성된다. 학습에는 대규모 데이터셋을 안정적으로 처리할 높은 처리량과 병렬 접근이 필요하고, 추론에서는 작은 데이터를 자주 읽는 작업이 많아 낮은 지연 시간이 중요하다. 따라서 데이터센터 설계의 과제도 단순히 스토리지를 얼마나 설치할 것인가에서 어떤 데이터를 어디에 둘 것인가로 확대되고 있다. 지연 시간에 민감한 데이터는 컴퓨팅 자원 가까이에 배치하고, 대용량 데이터는 별도의 저장 영역에 두는 방식이다. 원격 네트워크 스토리지처럼 컴퓨팅 영역 밖에 데이터를 배치하는 것도 가능하다. 컴퓨팅 자원 가까이에 놓이는 니어 컴퓨팅(near-compute) 낸드 플래시는 모델 로딩과 체크포인팅, 추론 캐싱 등 스토리지 응답 속도가 중요한 작업에 활용된다. 최근에는 AI 모델과 매개변수 규모가 커지고 추론과 에이전틱 AI가 확산하면서 키·밸류 캐시(KV cache) 저장도 새로운 활용처로 부상하고 있다. KV 캐시는 AI가 앞서 처리한 정보를 임시로 저장해 같은 데이터를 다시 계산하지 않도록 하는 공간이다. 이를 낸드 플래시로 오프로딩하면 그래픽처리장치(GPU), 고대역폭메모리(HBM)의 물리적 한계를 보완하고 더 긴 컨텍스트 윈도우를 처리할 수 있다. 컴퓨팅에 최적화된 낸드가 메모리 계층을 확장하는 역할을 하는 셈이다. 반면 고용량 낸드 플래시는 AI 데이터 레이크의 성장을 뒷받침한다. AI 학습은 대규모 데이터셋 전체에 빠르게 접근해야 하는 경우가 많아 단순히 데이터를 많이 저장하는 것을 넘어 ‘고속 데이터 레이크’가 중요해지고 있다. 여기서는 쿼드레벨셀(QLC) 낸드의 가치가 커진다. QLC는 하나의 셀에 4비트를 저장해 높은 저장 밀도를 구현하는 기술이다. 최고 성능의 낸드보다 성능은 낮을 수 있지만 대규모 환경에서 비트당 비용을 낮추고 전력 효율을 높일 수 있다. 여러 하드디스크드라이브(HDD)를 적은 수의 플래시 장치로 대체해 공간과 전력 소비를 줄이는 것도 가능하다. AI 데이터센터에서는 전력과 공간도 중요한 제약이다. GPU 클러스터가 커질수록 제한된 전력을 효율적으로 사용하는 것이 중요해지면서 스토리지 역시 절대적인 성능뿐 아니라 전력 1와트당 제공하는 용량과 대역폭이 중요한 평가 기준이 되고 있다. 낸드 기술과 패키징의 발전으로 같은 공간에 더 많은 데이터를 저장할 수 있다는 점도 장점이다. 결국 AI 시대의 스토리지는 데이터를 단순히 보관하는 수동적인 계층이 아니다. 스토리지를 어디에 배치하고 어떤 워크로드에 맞춰 구성하느냐가 AI 컴퓨팅 자원의 활용 효율과 시스템 확장성을 좌우한다. 앞으로 데이터센터 설계자는 ‘얼마나 많은 스토리지를 설치할 것인가’를 넘어 ‘스토리지를 어디에 배치할 것인가’를 고민해야 한다. 컴퓨팅에 최적화된 고성능 낸드와 대규모 데이터를 위한 고용량 낸드를 적절히 구분하고, 워크로드에 맞는 스토리지 계층을 구성하는 것이 AI 시대 데이터센터의 성능과 효율을 결정하는 중요한 기준이 될 것이다.