다메다메의 기술블로그
웹 크롤러(web crawler)란?
웹 크롤러(Web crawler)란? 웹 크롤러는 웹상의 문서나 사진 등을 주기적으로 취득해서 자동적으로 데이터 베이스화 하는 프로그램을 말합니다. 봇(Bot), 웜(Worms), 웹 스파이더(web spider), 웹 로봇(web robot)이라고도 불립니다. 어떤 목적으로 사용되는가? 주로 검색엔진의 데이터베이스, 인덱스 작성등에 이용되고 있는것 외에도 통계조사, 링크체크, HTML 코드 검증 등에도 이용됩니다. 최근에는 "메일주소 수집업자"등이 웹 크롤러를 이용하여 메일주소를 수집 후 스팸발송의 효율성을 높이는 작업등에 이용되고 있습니다.
IT 용어/일반
2015. 4. 8. 10:51