Notice

Recent Posts

Recent Comments

Link

Tags more

Archives

관리 메뉴

민서네집

검색엔진 수집거부 robots.txt 검사 본문

WEB (HTML, CSS)

브라이언7 2014. 9. 26. 15:17

Google의 웹마스터 도구 (https://www.google.com/webmasters/tools/home)로 들어오고, 검사하려는 사이트를 등록한다.

좌측의 대시보드에서 크롤링의 하위 메뉴로 robots.txt 테스터를 클릭한다.

없던 robots.txt 파일을 업로드 하고나서 웹부라우저에서는 robots.txt 파일이 보이는데, robots.txt 테스터에서는 404 에러가 나서 당황스러웠는데,

테스트 할 때마다 robots.txt 파일을 가져오는게 아니라

<최신 버전이 표시된 날짜>에 표시된 시간에 가져온 것을 기준으로 해서 테스트를 하는 것이다.

그래서 변경된 것을 반영하려면 "제출" 버튼을 눌러서 robots.txt 테스터에게 변경되어서 새로 반영해야 함을 알려줘야 한다.

그런 다음 테스트를 해 보면 잘 반영되는 것을 확인할 수 있다.

NOINDEX 메타 표준을 사용하면 페이지별로 사이트에 대한 액세스를 관리할 수 있으므로 서버에 대한 루트 액세스 권한이 없는 경우에 유용합니다.

사이트 페이지의 색인을 생성하지 못하도록 대부분의 검색엔진 웹 크롤러를 차단하려면 다음 메타태그를 페이지의 <head> 섹션에 삽입합니다.

<meta name="robots" content="noindex">

“아이패드에서 플래시 광고 보기”, 자바스크립트로 구현 (0)	2014.10.14
float을 clear하는 4가지 방법 (0)	2014.10.13
Google Analytics (0)	2014.09.25
[Javascript] 이벤트 핸들러 함수 보기 (0)	2014.09.22
focus 이벤트가 어디서 오는지 구분하기(Keyboard or Mouse) (0)	2014.09.19

공유하기 링크

'WEB (HTML, CSS)' Related Articles

Comments