웹 크롤러(web crawler)란?

웹 크롤러(Web crawler)란?

  웹 크롤러는 웹상의 문서나 사진 등을 주기적으로 취득해서 자동적으로 데이터 베이스화 하는 프로그램을 말합니다.

  봇(Bot), 웜(Worms), 웹 스파이더(web spider), 웹 로봇(web robot)이라고도 불립니다.

어떤 목적으로 사용되는가?

  주로 검색엔진의 데이터베이스, 인덱스 작성등에 이용되고 있는것 외에도 통계조사, 링크체크, HTML 코드 검증 등에도 이용됩니다.

  최근에는 "메일주소 수집업자"등이 웹 크롤러를 이용하여 메일주소를 수집 후 스팸발송의 효율성을 높이는 작업등에 이용되고 있습니다.