투명 유리·빛 인식하고, 사진 한 장으로 목적지까지… 피지컬 AI ‘성큼’

KAIST, 시각 인식부터 미래 예측, 행동계획을 하나의 기술로 구현 투명한 물체 인식에 빛 움직임까지 이해… 미래 예측에 행동 계획까지 유리와 같은 투명한 물체를 정확히 인식하고, 빛의 움직임까지 이해해 미래 상황을 예측해 주는 피지컬 인공지능(AI) 구현을 위한 핵심 기술들이 개발됐다. 자율주행과 휴머노이드 로봇, 디지털 트윈 등 실제 환경에서 작동하는 차세대 자율 시스템 구현에 기여할 것으로 기대된다. KAIST는 윤성의 전산학부 교수 연구팀이 빛과 물질의 상호 작용, 공간 인식, 미래 상황 예측, 행동 계획을 아우르는 네 개의 AI 기술을 개발했다고 6일 밝혔다. AI를 인식·이해·예측·행동하는 전 과정을 하나의 기술 흐름에서 구현한 것이다. 연구팀은 유리와 같은 투명한 물체를 정확하게 인식하는 '투명 환경 시각 인식 기술'(글린트·GLINT)를 개발했다. 기존 AI는 유리에 비친 사물과 유리 너머 풍경을 하나의 영상으로 인식해 투명한 물체를 제대로 이해하지 못하는 경우가 많았다. 글린트 기술은 유리에 반사된 모습과 유리 뒤 물체를 분리해 AI가 투명한 환경에서도 장면을 이해할 수 있도록 구현했다. 연구팀은 빛과 재질을 이해하는 장면 복원 기술 '라디오GS'도 개발했다. 이 기술은 빛과 물체의 상호작용을 AI가 학습해 조명이 달라져도 물체의 재질과 주변 환경을 보다 정확하게 이해한다. 이미지 기반으로 로봇 경로를 계획하는 기술인 '비주얼-RRT'도 개발했다. 이 기술은 로봇이 보는 장면과 목표 사진을 비교하며 스스로 이동 경로를 찾아 이동한다. 실제 로봇 실험에서 사진 한 장만으로 로봇이 목적지에 성공적으로 도달해 서비스 로봇과 자율주행 로봇 등에 활용 가능성을 보여줬다. 연구팀은 AI가 행동하기 전 미래 상황을 예측하고, 가장 적절한 행동을 계획하는 '클래드'(CLaD) 기술도 개발됐다. 클래드는 행동 결과를 미리 예측한 뒤 가장 효과적인 행동을 선택하도록 만든 기술로, 복잡한 환경에서도 높은 성공률로 작업을 수행할 수 있다. 윤 교수는 "이번 연구는 AI가 단순히 눈으로 보는 것을 넘어 현실 세계를 이해하고 앞으로 일어날 상황까지 예측해 스스로 행동을 결정하는 방향으로 발전하고 있음을 보여준다"며 "자율주행차와 휴머노이드 로봇 등 실제 환경에서 작동하는 다양한 피지컬AI 기술의 발전에 기여할 것으로 기대한다"고 말했다. 연구결과는 세계 AI 학회인 'ICLR 2026'과 'CVPR 2026'에서 구두 발표 2건, 하이라이트 논문 2편 등 총 4편의 논문이 발표됐다. 이준기 기자 bongchu@dt.co.kr