[알아봅시다] 미래를 예측하는 `기계학습`

데이터 분석 넘어 특정조건 예속값 제시


월드컵 경기의 매력은 화려한 스타 플레이어들의 경기를 한자리에서 볼 수 있다는 점입니다. 하지만 뛰어난 스타 플레이어만으로는 반드시 우승한다는 보장이 없다는 것은 누구나 알고 있습니다. 이렇게 축구경기의 승부는 참으로 예측하기가 어렵습니다. 하지만 지난해 브라질 월드컵 경기에서 우승팀을 정확하게 예측한 기술이 있었습니다. 바로 기계학습을 활용한 코타나(Cortana)입니다.

코타나는 마이크로소프트(MS) 윈도폰에 탑재된 음성인식 엔진으로 인터넷 서비스가 연결되어 있어 일정, 날씨 등과 같은 정보를 알려주고 사용자의 질문에 대답할 수 있습니다. 월드컵 기간에 많은 사람들이 코타나에게 누가 우승할 것인가를 물어보았고 코타나는 경기가 시작되기 전에 어느 팀이 더 유리할 것인지 머신러닝 기술을 이용해 예측했습니다.

기계학습(machine learning)이란 일반적으로 생성(발생)된 데이터를 지적으로 사용할 수 있는 정보로 변환하는 컴퓨터 알고리즘을 말합니다. 이러한 기계학습 개념은 빅데이터 혹은 데이터 마이닝(Data Mining)과 혼동이 되는 경우가 종종 있습니다. 데이터 마이닝은 많은 데이터 속에서 유효한 정보를 찾아내는 과정에 가깝고, 머신러닝은 데이터를 이용하여 검증과 학습의 과정을 통해 특정 조건에서 예측 값을 얻는 과정이라는 점에서 차이가 있습니다. 즉 데이터 속에 숨어 있는 의미를 발견해내는 것이 빅데이터라면 머신러닝은 여기에 과거의 추이를 통해 미래의 예측이 들어간 은 기계학습의 영역이라고 보면 됩니다.

그러므로 데이터 마이닝 과정의 일부는 기계학습에 포함이 되지만 반대의 경우는 성립되지 않습니다. 예를 들어 빅데이터는 '대한민국의 다리 안전성'이라고 할 때 현재 데이터를 다 분석해 '어떤 다리가 가장 많이 흔들린다'고 보여줄 수 있습니다. 반면, 기계학습은 거기에 과거 안정성, 날씨 등 다른 변수를 종합해서 앞으로 '6개월 내 이 다리를 수리해야한다' 고까지 예측할 수 있습니다.기계학습은 인공지능(AI Artificial Intelligent)과도 비교됩니다. 하지만, 인공지능은 더 광범위한 기술적 영역을 가지고 있기 때문에 머신러닝과 동일한 개념으로 보기 어렵습니다.

기계학습의 가장 기본적인 절차는 데이터를 정제하고 정리하는 과정을 통해 추상화하고 그렇게 추상화된 모형을 기반으로 훈련과 테스트를 통하여 일반화된 알고리즘 도출하는 과정입니다. 훈련과 테스트라는 과정을 빼고 생각해 보면 일반적인 기업 전략분석(BI Business Intelligent)시스템의 ETL(Extract-Transform-Load)과 비슷해 보입니다. 하지만 ETL은 훈련과 알고리즘의 선택에서 차이가 있기 때문에 데이터의 정제와 변환과정에 있어서도 머신러닝과는 다른 방식으로 사용하게 됩니다.

다른 예를 들어 설명을 하면, 사과가 나무에서 떨어지는 것을 관찰한 사람이 사과의 무게에 관계없이 일정한 가속도로 떨어지는 것을 기록을 하고 그 기록된 데이터를 기반으로 공식을 만들어 냅니다. 그 공식을 통해 일정한 가속도(즉 중력가속도)를 알아내었다면 그 공식을 통하여 어떤 물체가 특정 높이에서 땅에 떨어지는 시간을 예측할 수 있게 됩니다.

기계학습에는 두 가지 종류의 학습이 있습니다. 지도학습(Supervised Learning)과 자율학습(Unsupervised Learning)입니다. 지도학습에는 회귀(Regression)과 분류(Classification)의 방법이 있으며 자율학습은 군집화(Clustering)의 방법이 사용됩니다. 흔히 통계학에서 사용되는 선형회귀와 같이 인과관계를 추적 공식화 하는 방법이 지도학습에 속한다고 볼 수 있습니다. 또 통계학의 알고리즘이 그대로 머신러닝에서도 사용이 되기 때문에 머신러닝의 통계학과 혼동이 되어 사용되기도 합니다. 기계학습은 컴퓨터 기반의 처리가 주된 요소라는 점에서 통계학과 차이가 있습니다. 기계학습을 구현하기 위해서는 데이터과학자와 프로그래머가 필요합니다. 물론 이것은 개념적인 분류이기 때문에 한 사람이 이 두가지 역할을 수행할 수도 있습니다.

기계학습은 최근 오픈 소스 프로젝트로 빠르게 성장하고 있습니다. 대표적인 오픈 소스 프로젝트는 아파치의 '마홋(Mahout)'과 '스파크 M(Spark Mllib)', '사이킷-런(Scikit-Learn)'이 있으며 이를 바탕으로 한 파생 프로젝트가 지속적으로 확장 되고 있습니다.

이전까지 기계학습은 복잡성과 비용 때문에 증권 등 일부 시스템에나 활용되었지만 최근 들어 클라우드 기반의 빅데이터 환경이 활발하게 진행이 되면서 자연스럽게 빅데이터의 예측엔진 부분으로 주목받고 있습니다.

기계학습이 학습한 패턴은 어떤 데이터가 들어왔을 특정 패턴과 유사한지 비교해 보는 것도 가능해집니다. 기계학습을 이용해 패턴을 일치시키면 동영상이나 사진에서 객체를 인식하는 데 활용할 수 있고, 이미지뿐 아니라 음성이나 음악인식 분야에 활용될 경우 자동 통역기가 나올 수도 있습니다. MS는 실제로 통합 의사소통 솔루션 스카이프에 기계학습을 활용한 자동 통역기능을 추가하기도 했습니다.

영국에서는 런던 지하철 역사와 지하철 철로에 있는 센서에서 데이터를 취합해 클라우드로 보내고 머신러닝을 돌려서 부품 교체 수명이나 열차 안 온도 등을 예측하는데 활용하고 있습니다. 이렇게 만들어진 예측 정보는 즉각 역무원 및 직원들에게 모바일로 전송되고, 적절한 조치가 취해지도록 활용됩니다.

이 외에도 기계학습은 데이터가 다량으로 발생하고 추출할 수 있는 모든 업무에서는 활용 가능합니다. 쇼핑몰이라면 판매율과 날씨 등 다양한 변수를 넣어서 매출을 올릴 수 있는 방법을, 병원이라면 언제 어떤 질병이 늘어나니깐 어떤 의약품을 구비해야되는지 등등 모든 영역에서 시뮬레이션에 활용될 수 있습니다.

사용자로부터 나오는 데이터는 계속해서 증가하고 있고, 최근 글로벌 기업들은 기계학습을 적용한 서비스를 사용자들에 제공하고 그 영역을 점차 확대되고 있습니다.

이형근기자 bass007@dt.co.kr

도움=한국마이크로소프트