SNS 의견 연령ㆍ성별로 파악… 텍스트 패턴 추출도 강화
빅데이터가 IT 분야의 핵심 트렌드로 부상한 가운데, 소프트웨어(SW) 기업들이 소셜 데이터 분석의 정확도를 높이기 위한 방안 마련에 전력을 기울이고 있다. 최근 제기되고 있는 소셜 분석의 낮은 정확도 문제는 빅데이터 분석의 신뢰도와 직결되고 빅데이터에 대한 기대가 회의론으로 바뀌는 요인이 될 수 있기 때문이다.
최근 LG경제연구원은 보고서를 통해 소셜 데이터에 대한 기대가 지나치게 부풀려졌을 수 있다고 지적했다.
LG경제연구원은 소셜 분석이 젊은층이 주로 이용하고 대도시에 사용자가 편중된 트위터에서 데이터의 대부분을 수집하고 있어 결과의 편향성을 가져올 수 있다고 지적했다. 또 소셜 분석이 주로 자연어 처리방법으로 소비자 의견을 분석하는데, 문장을 기계가 파악해 문맥 내에서 긍정, 부정을 정교하게 가리기 쉽지 않아 분석 정확도에 문제가 있다고 지적했다.
실제로 지난 4월 총선에서 소셜네트워크서비스(SNS) 여론 분석 결과와 실제 선거 결과와 일치하지 않은 경우가 많아 소셜 분석의 한계가 지적된 바 있다. 아직까지 기업의 소셜 분석 활용은 제한된 범위에서 행해지는 단계에 머물고 있다.
3일 데이터 분석 및 검색 솔루션 기업들은 기존 데이터를 활용한 SNS 반응 분석, 텍스트 마이닝 강화, 표현 논리 구조 적용 등 다양한 방법을 통해 소셜 분석의 정확도 향상에 주력하고 있다.
데이터 분석관리 솔루션 기업인 위세아이텍은 최근 기업 등에서 미리 정보가 확보된 회원의 SNS 의견을 분석해 연령, 성별 등을 기준으로 나눈 집단별로 자주 사용하는 문자(키워드)를 추려낸 뒤 이를 근거로 일반 대중의 SNS 내용을 분석하는 방식을 개발했다. 예를 들어 회원에 대한 분석을 통해 `20대의 여성'과 같이 특정 집단에서 긍정이나 부정의 의미로 주로 사용하는 표현을 파악하고, 이를 기준으로 해당 제품에 대한 대중의 SNS 의견을 좀 더 정확하게 분석하는 것이다.
김종현 위세아이텍 대표는 "현재의 자연어 처리방식은 SNS의 의견(반응)을 정확하게 분석하는데 한계가 있다"며 "이번에 개발한 방식을 테스트 해본 결과 정확도를 대폭 높일 수 있는 것으로 나타났으며, 기업 마케팅은 물론, 선거 예측 등에도 활용할 수 있다"고 말했다.
검색 솔루션 기업인 와이즈넛은 현재 사용하고 있는 텍스트 마이닝(비정형 텍스트 데이터에서 패턴이나 관계를 추출해 의미 있는 정보를 찾아내는 기법) 엔진을 강화해 소셜 분석의 정확도 향상을 꾀한다는 전략이다. 또 자연어 처리를 보완하기 위해 시맨틱 기술 적용도 강화하고 있다.
와이즈넛 강용석 상무는 "많은 기업이 (소셜 분석의 정확도를 높이기 위한) 대안적 접근을 고민하고 있다"며 "와이즈넛은 특히 텍스트 마이닝을 발전시켜 분석을 고도화하는데 초점을 맞추고 있다"고 말했다.
외국계 분석 솔루션 기업인 SAS는 표현논리구조 방식을 통해 정확도를 높이는데 중점을 두고 있다. SAS에 따르면, 표현논리구조 방식은 부사, 술어 등 문장 구성요소를 감안해 문장의 논리 구조를 따져 평문, 부정문, 이중부정 등 의미를 분별하는 것이다.
SAS코리아 구방본 부장은 "SNS에서 단어는 다양한 의미로 쓰이기 때문에 단어를 기반으로 분석하면 정확도가 떨어진다"며 "표현논리구조 방식을 적용하고 다수의 분석샘플을 만드는 방식으로 정확도를 높이고 있다"고 말했다.
SAS는 또 중국R&D센터에서 연관어, 유의어 등을 담은 한국어 온톨로지(일종의 사전)를 고도화하는 작업을 병행하고 있다.
강동식기자 dskang@
▶강동식기자의 블로그 바로가기
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
최근 LG경제연구원은 보고서를 통해 소셜 데이터에 대한 기대가 지나치게 부풀려졌을 수 있다고 지적했다.
LG경제연구원은 소셜 분석이 젊은층이 주로 이용하고 대도시에 사용자가 편중된 트위터에서 데이터의 대부분을 수집하고 있어 결과의 편향성을 가져올 수 있다고 지적했다. 또 소셜 분석이 주로 자연어 처리방법으로 소비자 의견을 분석하는데, 문장을 기계가 파악해 문맥 내에서 긍정, 부정을 정교하게 가리기 쉽지 않아 분석 정확도에 문제가 있다고 지적했다.
실제로 지난 4월 총선에서 소셜네트워크서비스(SNS) 여론 분석 결과와 실제 선거 결과와 일치하지 않은 경우가 많아 소셜 분석의 한계가 지적된 바 있다. 아직까지 기업의 소셜 분석 활용은 제한된 범위에서 행해지는 단계에 머물고 있다.
3일 데이터 분석 및 검색 솔루션 기업들은 기존 데이터를 활용한 SNS 반응 분석, 텍스트 마이닝 강화, 표현 논리 구조 적용 등 다양한 방법을 통해 소셜 분석의 정확도 향상에 주력하고 있다.
데이터 분석관리 솔루션 기업인 위세아이텍은 최근 기업 등에서 미리 정보가 확보된 회원의 SNS 의견을 분석해 연령, 성별 등을 기준으로 나눈 집단별로 자주 사용하는 문자(키워드)를 추려낸 뒤 이를 근거로 일반 대중의 SNS 내용을 분석하는 방식을 개발했다. 예를 들어 회원에 대한 분석을 통해 `20대의 여성'과 같이 특정 집단에서 긍정이나 부정의 의미로 주로 사용하는 표현을 파악하고, 이를 기준으로 해당 제품에 대한 대중의 SNS 의견을 좀 더 정확하게 분석하는 것이다.
김종현 위세아이텍 대표는 "현재의 자연어 처리방식은 SNS의 의견(반응)을 정확하게 분석하는데 한계가 있다"며 "이번에 개발한 방식을 테스트 해본 결과 정확도를 대폭 높일 수 있는 것으로 나타났으며, 기업 마케팅은 물론, 선거 예측 등에도 활용할 수 있다"고 말했다.
검색 솔루션 기업인 와이즈넛은 현재 사용하고 있는 텍스트 마이닝(비정형 텍스트 데이터에서 패턴이나 관계를 추출해 의미 있는 정보를 찾아내는 기법) 엔진을 강화해 소셜 분석의 정확도 향상을 꾀한다는 전략이다. 또 자연어 처리를 보완하기 위해 시맨틱 기술 적용도 강화하고 있다.
와이즈넛 강용석 상무는 "많은 기업이 (소셜 분석의 정확도를 높이기 위한) 대안적 접근을 고민하고 있다"며 "와이즈넛은 특히 텍스트 마이닝을 발전시켜 분석을 고도화하는데 초점을 맞추고 있다"고 말했다.
외국계 분석 솔루션 기업인 SAS는 표현논리구조 방식을 통해 정확도를 높이는데 중점을 두고 있다. SAS에 따르면, 표현논리구조 방식은 부사, 술어 등 문장 구성요소를 감안해 문장의 논리 구조를 따져 평문, 부정문, 이중부정 등 의미를 분별하는 것이다.
SAS코리아 구방본 부장은 "SNS에서 단어는 다양한 의미로 쓰이기 때문에 단어를 기반으로 분석하면 정확도가 떨어진다"며 "표현논리구조 방식을 적용하고 다수의 분석샘플을 만드는 방식으로 정확도를 높이고 있다"고 말했다.
SAS는 또 중국R&D센터에서 연관어, 유의어 등을 담은 한국어 온톨로지(일종의 사전)를 고도화하는 작업을 병행하고 있다.
강동식기자 dskang@
▶강동식기자의 블로그 바로가기
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
