세 번째 티스토리 최적화 robots.txt

 

 

 

 

 

 

 

 

 

 

웹마스터도구 마지막 설정 단계인
robots.txt 설정 입니다.

 

 

 

각 사이트에 있는 검색로봇은,
검색엔진의 데이터베이스를 작성하기
위해 웹페이지를 가져오는 프로그램
인데요.. 주로 검색 데이터베이스의
내용을 충실하게 보충하거나
이를 점검하는 역할을 합니다.

 

 

이 로봇들의 행동을 robots.txt
을 통해 노출하고 싶은 페이지와
그렇지 않은 페이지를 설정 할 수 있습니다.

 

네이버 웹마스터 도구에 들어갑니다.

 

 

 

https://webmastertool.naver.com

네이버 웹마스터도구

검증에 있는 robots.txt 클릭.

 

robots.txt간단 생성에서
원하는 설정을 입력 후 다운로드를 클릭.

 

 

 

 

 

 

모든 검색 로봇 접근 차단

User-agent: *
Disallow: /

모든 검색 로봇 접근 허용

User-agent: *
Allow: /

특정 검색 로봇만 허용하고 나머지 차단

User-agent: *
Disallow: /
User-agent: *
Allow: Googlebot

특정 폴더만 접근 금지

User-agent: *
Disallow: /폴더명/

검색 로봇

네이버   Yetibot
다음   Daumoa
구글   Googlebot
야후   Yahoo! Slurp
마이크로소프트   Msnbot
빙   Bingbot

 

 

티스토리 블로그의 관리자-> 스킨편집으로
들어갑니다.

파일업로드에 들어가셔서 다운 받은
robots.txt파일을 첨부합니다.

 

 

 

이걸로 기본세팅은 모두 마무리 되었습니다.