"가장 잘 하는 것과 AI 융합"… 디딤대 만드는 기업들
킨드릴, 4개 영역 솔루션 제시
업무별 LLM 적용 식별·선택
킨드릴은 AI(인공지능)를 다각적인 기회로 보고 있다. 킨드릴 사업과 업무에 AI를 적용하는 동시에 고객 비즈니스에서도 AI를 사용할 수 있도록 지원한다. 개방형 통합 IT운영 플랫폼 '킨드릴브릿지'에서 AI로 운영 성능을 향상시키는 한편 고객 데이터 아키텍처와 인프라 관리를 보다 효율적으로 하는 데도 AI를 활용하고 있다.
킨드릴에 따르면 생성형AI를 도입하려는 기업은 △안정적이고 확장 가능한 생성형AI를 위한 신뢰할 수 있는 데이터 소스 구축 △생성형AI의 기존 활용사례 적용부터 검토 △LLM옵스(대규모언어모델 운영체계) 프레임워크 활용 등을 고려해야 한다. 또한 책임감 있는 AI 배포를 위해 처음부터 적절한 방호책과 거버넌스를 설정할 필요가 있다.
킨드릴은 이런 과정에서 전문 지식과 경험을 갖춘, 신뢰할 수 있는 파트너를 활용하는 게 중요하다고 강조한다. 회사는 MS(마이크로소프트) 및 구글클라우드와 기업들의 생성형AI 솔루션 도입을 지원하기 위한 협약을 맺은 바 있다.
또 킨드릴 내 컨설팅 조직인 킨드릴컨설트 조직은 신뢰할 수 있는 생성형AI 솔루션 개발·도입을 지원하기 위한 엔드투엔드 서비스를 제공하기 위해 'AI 준비 프로그램'을 구성했다. 여기에 포함된 생성형AI 관리 솔루션은 크게 4개 영역으로 제공된다.
먼저 프롬프트 매니지먼트를 지원한다. 텍스트 생성, 언어 번역 등 어떤 업무에 LLM을 적용해야 할지를 식별하고, 이를 위한 학습 데이터, 지침 등 관련 정보를 수집한다. 이후 프롬프트를 명확하고 간결하게, 특정 작업과 LLM 조건에 맞게 조정한다. 프롬프트가 효과적인지 확인하기 위해 평가도 필요하다.
가시성(Observability)도 함께 다룬다. LLM 입력 및 출력 로깅은 시간 경과에 따른 LLM 성능을 추적하고 문제를 식별하는 데 사용할 수 있다. 정확도나 지연시간 등을 모니터링해 문제를 나타낼 수 있는 성능 변화와 해당 영역을 파악할 수 있다. 편향성이나 부정확성 등 출력 품질에 문제가 있는지 파악하는 것은 사람에 의한 평가로 이뤄진다.
오케스트레이션(Orchestration)도 포함된다. 어떤 순서로 어떤 작업을 수행해야 하는지 파이프라인의 각 단계에 적합한 LLM을 선택한다. 여러 단계 간에 데이터가 어떻게 흐르는지, LLM을 어떻게 조정할 것인지 워크플로를 설계한다. 파이프라인 구현을 위해 사용자 지정 코드를 개발하거나 기존 도구 및 프레임워크를 사용한다. 파이프라인 성능을 모니터링하고, 문제를 식별·수정하는 한편 필요 시 파이프라인을 변경한다.
보안 및 개인정보 보호도 빼놓을 수 없다. LLM이 생성할 수 있는 콘텐츠를 지정해 유해하거나 불쾌감을 주거나 편향된 콘텐츠를 방지할 수 있다. LLM 결과물을 검토해 데이터 유출, 적대적 공격과 같은 잠재적인 보안 또는 개인정보 보호 위험을 식별한다. 유해하거나 불쾌감을 주거나 편향된 것으로 간주되는 LLM 출력을 차단하거나 제거한다.
킨드릴 관계자는 "AI의 잠재력을 최대한 활용하기 위해서는 성공적으로 적용 범위를 확장하는 게 필요한데, 이는 비즈니스 목표에 부합하는 데이터 전략의 개발 및 구현, 데이터 거버넌스 및 데이터 품질 등을 포함해 올바른 데이터 기반을 구축하는 것부터 시작해야 한다"며 "오늘날 사용 가능한 엄청난 데이터 양으로 인해 현대화된 데이터 아키텍처를 통해 AI가 올바르게 사용되도록 하는 게 그 어느 때보다 중요하다"고 전했다.팽동현기자 dhp@dt.co.kr
킨드릴코리와 한국MS가 지난해 12월 개최한 '인슈어런스 데이' 행사에서 장민아 킨드릴코리아 이사가 보험산업 생성형AI 적용 전략에 대해 발표하고 있다. 킨드릴코리아 제공
![[DX 넘어 AX 빅뱅] 신뢰할 수 있는 AI 구현 위한 데이터 준비·활용 지원](//contents.dt.co.kr/images/202405/2024050302101331081004[1].jpg "[DX 넘어 AX 빅뱅] 신뢰할 수 있는 AI 구현 위한 데이터 준비·활용 지원")
![[DX 넘어 AX 빅뱅] 신뢰할 수 있는 AI 구현 위한 데이터 준비·활용 지원](http://contents.dt.co.kr/images/202405/2024050302101331081004[1].jpg "[DX 넘어 AX 빅뱅] 신뢰할 수 있는 AI 구현 위한 데이터 준비·활용 지원")
