검색엔진에서 사이트를 검색하지 못하게 막는 법 1. 검색로봇이 웹 사이트를 검색 하기 전, 먼저 robot.txt파일을 호출합니다. robot.txt 파일의 위치는 www.flg.co.kr/robot.txt로서 robot.txt에서 허용된 범위에서만 검색을 하게 됩니다. 그러므로 검색 로봇이 접근 가능한 경로 및 파일들을 이 파일에 설정할 수 있으며 특정 파일로의 접근/차단을 설정하여 민감한 파일로의 접근을 차단 할 수 있습니다. 2. 하나의 사이트에서는 하나의 robot.txt파일을 가질 수 있으며 루트 디렉토리에 위치해 있어야 하고 파일 이름은 소문자로 작성해야 합니다. 주석을 사용 가능하며 공백은 허용되지 않습니다. 3. 실제 robot.txt파일의 예 ============================ User-agent:* Disallow:/admin/ Disallow:/sa_admin/ Disallow:/member/ Disallow:/2007/ Disallow:/2006 ============================ User-agent:* => 모든 로봇에 적용 disallow:/ => 모든 페이지의 접근 금지(최소 하나의 'disallow'필드가 있어야 함. Disallow:/2007/ => 2007폴더내의 모든 파일/폴더 허용불가 (www.flg.co.kr/2007/2007.jpg:허용불가, www.flg.co.kr/2007.jpg:허용) Disallow:2006 ==> 2006폴더 또는 파일 허용불가 (www.flg.co.kr/2006.jpg:허용불가, www.flg.co.kr/2006/2006.jpg:허용불가) ============================ User-agent: => 로봇 적용 예 구글: Googlebot 구글 이미지 : googlebot-image 네이버 : cowbot 야후 : Slurp 야후 이미지 : Yahoo-MMCrawler 엠파스봇 : empas MSN : MSNBot 첫눈: 1Noonbot 1.0 그외 : MJ12bot , gigabot 등등 ============================ User-agent: Googlebot Disallow: /free Disallow: /board Disallow: /bbs Disallow: /naboard User-agent: Mediapartners-Google* Disallow: User-agent: MJ12bot Disallow: / User-agent: gigabot Disallow: / User-agent: * Crawl-delay: 1200 Disallow: /free/vote.php Disallow: /free/write.php Disallow: /bbs/vote.php Disallow: /bbs/write.php Disallow: /commune Disallow: /board Disallow: /naboard ============================ Crawl-delay: 1200 => 크롤(홈페이지 긁어가는 것)시간 조정 => 1200은 한번 긁어가고 난 후 1200초 후에 다시 긁어가라는 것 ============================ robot.txt만들기 => http://www.mcanerin.com/EN/search-engine/robots-txt.asp 유효성 검사 => http://tool.motoricerca.info/robots-checker.phtml =============================================================================== 모든 검색엔진에 대한 모든 웹 페이지 차단 User-agent:* Disallow:/ ===============================================================================