다메다메의 기술블로그

웹 크롤러(Web crawler)란? 웹 크롤러는 웹상의 문서나 사진 등을 주기적으로 취득해서 자동적으로 데이터 베이스화 하는 프로그램을 말합니다. 봇(Bot), 웜(Worms), 웹 스파이더(web spider), 웹 로봇(web robot)이라고도 불립니다. 어떤 목적으로 사용되는가? 주로 검색엔진의 데이터베이스, 인덱스 작성등에 이용되고 있는것 외에도 통계조사, 링크체크, HTML 코드 검증 등에도 이용됩니다. 최근에는 "메일주소 수집업자"등이 웹 크롤러를 이용하여 메일주소를 수집 후 스팸발송의 효율성을 높이는 작업등에 이용되고 있습니다.

IPS (칩입방지 시스템) 칩입방지 시스템( intrusion prevention system)이란 어떤 네트워크 또는 컴퓨터에 부정칩입하는 것을 방어하기 위한 시스템이다. 주로 네트워크형과 호스트형의 2종류가 있다. 네트워크형 IPS는 전용 어플라이언스(appliance)형으로 제공되어 네트워크 경계에 설치된다. 컴퓨터 바이러스나 디도스 공격은 패턴이 기억되어 있어 칩입 김지시에 통신을 차단하는 방식등으로 방어를 리얼타임으로 실시하며, 관리자에게 통지나 로그를 기록하는 기능을 한다. 호스트형 IPS는 소프트웨어형으로 제공되어 서버에 인스톨 된다. 부정억세스, OS레벨에서의 저지나 엑세스로그의 수정방지, 서버자동 셧다운등의 기능을 한다. 기본적으로는 관리자권한을 탈취하려고 하는 엑세스에 대해 방어한다.

포트번호란 "컴퓨터가 데이터통신을 할 때 통신하고자 하는 컴퓨터의 프로그램을 지정하기 위한 번호"이다. 네트워크상에서 컴퓨터끼리 데이터를 교환하는 프로토콜의 한종류인 TCP/IP는 IP어드레스로 통신대상 컴퓨터를 지정하게 된다. 통신의 대상이 되는 컴퓨터에서 동작하고 있는 여러개의 프로그램들중에서 1개를 통신대상으로 지정하기 위해 포트번호를 사용한다. 지정할수 있는 번호의 범위는 TCP와 UDP등의 통신 종류마다 각각 0부터 65535(16비트 부호없는 정수) 로 정해져 있다. TCP나 UDP등의 통신프로토콜 지정과 포트번호의 조합으로 통신대상 컴퓨터를 찾아낸다. 이 논리적 통신 경로를 "포트(Port)"라고 부른다.