[기고] 해킹의 진화와 ‘AI 레드팀’의 중요성

이상중 한국인터넷진흥원(KISA) 원장 보안을 지키는 가장 확실한 방법은 역설적으로 공격자가 되어보는 것이다. 방어자의 눈에는 보이지 않던 허점도 공격자의 시선에선 쉽게 발견된다. 이 개념은 1960년대 냉전 시기 적(Enemy)의 관점에서 전략을 예측하고 대비하던 군사훈련에서 발전했다. 이를 사이버 보안 분야에 적용한 것이 바로 ‘레드 티밍’(Red Teaming)이다. 공격자 역할을 맡은 ‘레드팀’이 시스템을 공격해 취약점을 찾아내고 이런 공격에 방어하는 능력을 검증하는 것을 이른다. 이는 사이버 보안 분야에서 오랫동안 활용해온 대표적인 보안 검증 방식이기도 하다. 그러나 생성형 인공지능(AI)과 에이전틱 AI의 등장으로 레드 티밍의 대상과 범위는 사뭇 달라졌다. AI는 더 이상 수동적으로 주어진 질문에 답하는 것에 그치지 않는다. 스스로 생각하고, 외부 시스템과 연동해 파일을 열고, 프로그램을 실행하며, 다양한 업무를 수행하는 단계로 진화하고 있다. 따라서 공격자가 악의적인 지시를 입력했을 때 AI가 이를 어떻게 해석하고 어떤 행동으로 이어지는지 사전에 검증하는 게 새로운 보안 과제로 떠오르고 있다. 공격 방식도 빠르게 진화하고 있다. 이젠 시스템의 허점을 직접 파고드는 것을 넘어, AI가 학습하고 판단하고 행동하는 과정 자체를 악용하는 자율 공격이 등장하고 있다. 대표적으로 ‘에이전트 하이재킹’(Agent Hijacking)은 악성 프롬프트나 외부 도구를 통해 AI 에이전트의 의사 결정을 왜곡하고 의도하지 않은 행동을 유도하는 공격 기법이다. 실제 파일 접근이나 시스템 제어, 데이터 유출 등 현실 세계의 피해로 이어질 수 있다는 점이 가장 큰 위협이다. 이처럼 기존 소프트웨어(SW)와 달리 기술이 발전하고 변화함에 따라 새로운 위협이 계속 등장한다. 따라서 일회성 보안 점검이나 인증만으로는 충분하지 않으며, 새로운 공격 기법을 지속적으로 발굴하고 대응하는 상시 검증 체계가 필수적이다. 이런 상시 검증·대응체계를 구현하는 핵심 주체가 바로 AI 레드팀이다. 전통적인 레드팀은 공격자 관점에서 시스템 취약점을 검증하는 역할을 수행해왔다. AI 분야에서도 마찬가지다. AI 레드팀은 모델이 예상치 못한 행동을 하도록 유도하고, 안전장치가 우회되는지 확인하는 등 다양한 공격 시나리오를 검증한다. AI 레드팀의 진정한 가치는 단순히 취약점을 발견하는 데 있지 않다. 새로운 위협을 선제적으로 식별하고, 공격 기법을 축적하며, 검증 결과를 공유해 공동의 대응 역량을 높이는 데 있다. 최근 국내에서도 AI 보안 생태계 조성을 위한 노력이 이어지고 있다. 과학기술정보통신부와 한국인터넷진흥원(KISA)은 AI 보안 위협을 분석하고 대응 방안을 공유하기 위해 기업 대상 레드 티밍과 테스트베드 구축 등 다양한 협력 활동을 추진하고 있다. 올해 7월에는 현장에서 활용할 수 있는 ‘AI 보안 위협 대응 매뉴얼’과 ‘AI 보안 레드 티밍 가이드’ 등 실무 중심의 참고 자료도 마련했다. 특히 이들 자료는 AI 보안 레드팀 협의체에 참여한 산·학·연 전문가들이 정기적인 논의를 통해 최신 위협과 대응 방안을 함께 검토하고 현장의 의견을 반영해 마련한 것이다. 공공과 산업계, 학계가 협력해 AI 보안 역량을 높여가고 있다는 점에서 의미가 있다. AI 보안은 기술만으로 이뤄지지 않는다. 지속적인 검증과 협력을 통해 만들어나가는 것이다. 기존 사이버 보안이 침해사고 분석과 정보 공유, 취약점 공개, 침투 테스트 등을 통해 발전해왔듯, AI 보안 또한 레드 티밍 결과와 공격 사례, 대응 경험이 지속적으로 공유되고 검증 역량을 공동으로 축적해나가는 협력 체계가 필수적이다. 신차가 개발돼 시장에 판매되기까지 전문가들은 통상 4만5000 시간 이상을 투자한다. 이 과정에서 수많은, 그리고 다양한 상황을 가정한 충돌 시험을 통과해야 비로소 소비자들에게 인계될 수 있다. AI 레드 티밍은 자동차 충돌 테스트처럼 직면할 수 있는 수많은 테스팅 방법으로 AI를 더 안전하고 믿을 수 있도록 단조(鍛造)하는 과정이다.