스파이더란 검색엔진의 색인에 들어갈 콘텐츠를 만들기 위해 웹사이트를 방문해 웹 페이지와 기타 여러 가지 정보를 읽어 오는 프로그램입니다. 웹상의 주요 검색엔진들은 모두 스파이더와 같은 프로그램을 가지고 있으며 이 프로그램은 `크롤러' 또는 `봇'이라고 불리기도 합니다. 이를 스파이더라고 부르는 것은 이 프로그램이 다수 사이트를 동시에 병렬로 방문하기 때문이라고 합니다.
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
