구글 검색 차단 관련 문의?
| CMS/프레임워크 | XE 1.x |
|---|---|
| 개발 언어 | PHP 5.x |
robots.txt 에 구글 검색 로봇을 차단하고
특정 mid 값을 차단을 했는데도 계속 구글에 검색이 되는데
검색이 안되게 할려면 뭔가 확인해야 할 부분이 있을가요?
1.robots.txt
User-agent: GooglebotDisallow: /
Disallow: /*.xls /
Disallow:/request/
Disallow:/online01/
2. 구글웹마스터 도구에서 해당 사이트 삭제
3. 홈디렉토리에 구글 사이트 확인용 파일 삭제
----------------------------------------------------------
이렇게 했는데도 계속 구글 검색엔진에 노출이 됩니다.
robots.txt에서 구글 검색엔진을 차단했으면 안긁어 가야 하는게 맞지 않는지...
혹시 뭔가 빠트린게 있을까요?
똑띠
Lv. 6
댓글 7
구글봇 이름이 이상한데요 ?
좀더 찾아보고 적용시켰어야 했는데..
루트에서 다 막았으면 아래 디렉토리 별로 막는건 필요없어 보입니다.
Disallow: /
이렇게 되어야 할것 같습니다.
User-agent: Googlebot
Disallow: /
Disallow: /*.xls$
Disallow:/request
Disallow:/online01
Disallow:/*=request
robots.txt를 무시하는 봇들이 하도 많아서
좌우간 기본적으로 path를 차단하는 것이라서
Disallow:/request 하면
{Docuement_roo}/request 폴더는 차단되지만
index.php?mid=request 로 들어오는 것은 차단하지 못합니다.
Disallow:/*=request 하면 일부 봇에서는 차단이 되지만 무시한 놈들이 하도 많아서...