전도상 언어과학 사장
생활 혁명인 인터넷이 정보전달에서 교육에 이르기까지 아주 강력한 매체로서 역할하고 있다. 신속한 정보 공유를 통해 생산성을 제고하고, 고용을 창출하며 삶의 질을 향상시키는 등 이루 헤아릴 수 없이 많은 순기능을 갖고 있다.
하지만 인터넷 혁명의 그늘에 숨겨진 역기능도 우려할 만한 수준이다. 최근 인터넷상에 포르노, 성인오락, 도박 및 욕설 등의 유해한 콘텐츠들이 난무하면서 심각한 부작용을 낳고 있다. 또한 개인 정보 유출에 따른 스팸메일의 증가로 하루에도 수십 통에서 수백 통까지 무차별적으로 전달돼 많은 시간을 낭비하고 있다.
그렇다고 사이버 세상이 가져다 준 많은 유용성을 무시하고 모든 사이트를 폐쇄할 수는 없는 일이다. 인터넷의 수많은 콘텐츠 중에서 원하지 않은 유해한 콘텐츠를 자동으로 파악해 사전 차단할 수 있는 방법이 있다면 개인적인 인터넷 활용성을 높일 수 있을 뿐 아니라 막대한 경제적 손실 또한 줄일 수 있지 않을까.
최근 이러한 유해 콘텐츠 판별과 관련된 기술이 급속도로 발전하고 있다. 현재 학계와 업계에서는 IT 기술을 이용해 이같은 유해 콘텐츠를 판별, 차단할 수 있는 기법을 여러 가지로 연구 개발 중이다. 지금까지 몇 가지 방식이 개발돼 현재 어느 정도 상용화돼 있는데, 이러한 방식들은 몇 가지 문제점을 갖고 있다.
현재까지 개발된 유해 콘텐츠를 차단하는 기법으로는 유해 사이트 목록에 의한 방식과, 유해 키워드에 의한 방식 등이 대표적이다. 유해 사이트 목록에 의한 방식은 유해한 사이트가 발견될 때마다 그 사이트의 URL을 블랙리스트에 등록해 차후에는 그 사이트에 접근하지 않도록 방지하는 방식이다. 최근에는 유해사이트의 급격한 증가로 ‘화이트 리스트’를 사용하는 방식도 대두되고 있다.
유해 키워드에 의한 방식은 콘텐츠 중에서 유해성을 지닌 키워드가 출현하는지를 검사해 그같은 어휘를 사용하지 못하게 하거나, 그러한 어휘가 사용된 문서나 사이트를 유해하다고 판별하는 방식이다. 이 방식은 게시판이나 채팅룸 등 내용이 계속적으로 변화하는 사이트에서 많이 사용되고 있다.
그러나 이들 방식은 분명한 한계를 지니고 있다. 유해 사이트 목록에 의한 방식은 사람이 일일이 유해 사이트를 찾아내 등록하고, 그 리스트를 공유해야 하며, 또한 사이트의 내용이 변화할 경우 대처하기 힘들다는 단점이 있다. 유해 키워드 방식은 이런 면에서는 좀 더 발전된 방식이나, 유해어를 정확하게 판별하는 게 어렵다는 단점이 있다. 키워드 방식이 문장의 내용을 파악하는 것이 아니라 단순한 문자열의 비교만으로 유해도를 판별하기 때문이다.
최근 일부 업체에서 이러한 문제점을 해결한 새로운 방식의 유해 콘텐츠 차단 기술을 개발해 주목받고 있다. 이는 언어처리 기술을 이용해 유해 콘텐츠를 지능적으로 판별해 내는 기술로, 주어진 문장의 구조와 내용을 분석해 한 단어의 유해도가 아니라 문장 내에서의 유해도를 판별해 내기 때문에 두 단어 이상의 조합으로 유해성이 발생하는 경우도 정확하게 짚어 낼 수 있다. 이들 기술을 활용하면, 다양한 유해 콘텐츠에 대해 실시간으로 그 유해도를 정확하게 판별할 수 있다. 게시판·채팅 등에 난무하는 다양한 유해 표현들을 자동으로 걸러낼 수 있는 것이다. 웹 로봇 등과 연동하면, 여러 인터넷 사이트에 대한 유해성 지도 등을 구축할 수도 있다. 또한 사용되는 DB를 유해성 관련 내용에서 광고 관련 내용으로 교체하면 스팸메일 등도 좀 더 지능적으로 차단할 수 있다.
생활 혁명인 인터넷이 정보전달에서 교육에 이르기까지 아주 강력한 매체로서 역할하고 있다. 신속한 정보 공유를 통해 생산성을 제고하고, 고용을 창출하며 삶의 질을 향상시키는 등 이루 헤아릴 수 없이 많은 순기능을 갖고 있다.
하지만 인터넷 혁명의 그늘에 숨겨진 역기능도 우려할 만한 수준이다. 최근 인터넷상에 포르노, 성인오락, 도박 및 욕설 등의 유해한 콘텐츠들이 난무하면서 심각한 부작용을 낳고 있다. 또한 개인 정보 유출에 따른 스팸메일의 증가로 하루에도 수십 통에서 수백 통까지 무차별적으로 전달돼 많은 시간을 낭비하고 있다.
그렇다고 사이버 세상이 가져다 준 많은 유용성을 무시하고 모든 사이트를 폐쇄할 수는 없는 일이다. 인터넷의 수많은 콘텐츠 중에서 원하지 않은 유해한 콘텐츠를 자동으로 파악해 사전 차단할 수 있는 방법이 있다면 개인적인 인터넷 활용성을 높일 수 있을 뿐 아니라 막대한 경제적 손실 또한 줄일 수 있지 않을까.
최근 이러한 유해 콘텐츠 판별과 관련된 기술이 급속도로 발전하고 있다. 현재 학계와 업계에서는 IT 기술을 이용해 이같은 유해 콘텐츠를 판별, 차단할 수 있는 기법을 여러 가지로 연구 개발 중이다. 지금까지 몇 가지 방식이 개발돼 현재 어느 정도 상용화돼 있는데, 이러한 방식들은 몇 가지 문제점을 갖고 있다.
현재까지 개발된 유해 콘텐츠를 차단하는 기법으로는 유해 사이트 목록에 의한 방식과, 유해 키워드에 의한 방식 등이 대표적이다. 유해 사이트 목록에 의한 방식은 유해한 사이트가 발견될 때마다 그 사이트의 URL을 블랙리스트에 등록해 차후에는 그 사이트에 접근하지 않도록 방지하는 방식이다. 최근에는 유해사이트의 급격한 증가로 ‘화이트 리스트’를 사용하는 방식도 대두되고 있다.
유해 키워드에 의한 방식은 콘텐츠 중에서 유해성을 지닌 키워드가 출현하는지를 검사해 그같은 어휘를 사용하지 못하게 하거나, 그러한 어휘가 사용된 문서나 사이트를 유해하다고 판별하는 방식이다. 이 방식은 게시판이나 채팅룸 등 내용이 계속적으로 변화하는 사이트에서 많이 사용되고 있다.
그러나 이들 방식은 분명한 한계를 지니고 있다. 유해 사이트 목록에 의한 방식은 사람이 일일이 유해 사이트를 찾아내 등록하고, 그 리스트를 공유해야 하며, 또한 사이트의 내용이 변화할 경우 대처하기 힘들다는 단점이 있다. 유해 키워드 방식은 이런 면에서는 좀 더 발전된 방식이나, 유해어를 정확하게 판별하는 게 어렵다는 단점이 있다. 키워드 방식이 문장의 내용을 파악하는 것이 아니라 단순한 문자열의 비교만으로 유해도를 판별하기 때문이다.
최근 일부 업체에서 이러한 문제점을 해결한 새로운 방식의 유해 콘텐츠 차단 기술을 개발해 주목받고 있다. 이는 언어처리 기술을 이용해 유해 콘텐츠를 지능적으로 판별해 내는 기술로, 주어진 문장의 구조와 내용을 분석해 한 단어의 유해도가 아니라 문장 내에서의 유해도를 판별해 내기 때문에 두 단어 이상의 조합으로 유해성이 발생하는 경우도 정확하게 짚어 낼 수 있다. 이들 기술을 활용하면, 다양한 유해 콘텐츠에 대해 실시간으로 그 유해도를 정확하게 판별할 수 있다. 게시판·채팅 등에 난무하는 다양한 유해 표현들을 자동으로 걸러낼 수 있는 것이다. 웹 로봇 등과 연동하면, 여러 인터넷 사이트에 대한 유해성 지도 등을 구축할 수도 있다. 또한 사용되는 DB를 유해성 관련 내용에서 광고 관련 내용으로 교체하면 스팸메일 등도 좀 더 지능적으로 차단할 수 있다.
