Q&A

robots.txt 로 봇차단했는데, 403 포비든 페이지가...

beseto
2016.04.28 23:15
221
0
5

온갖 봇을 다 차단하려고 txt 만들어서 차단시켰는데요..

정작 포털사이트 링크.. 혹은 일반 게시판에 남겨진 링크로는 403 포비든 페이지가 떠요!

주소창에 직접 쳐서 들어가는 상황을 제외하고는 모두 에러가 나서.. OTZ

다들 홈페이지 폐쇄한줄 알더라구요..

 

어떻게 해야하는지 아시는분? ;ㅁ;...

 
목록

댓글 5

  • 구름
    2016.04.28 23:16 #270629
    폴더 권한 수정해야 하는 것 아닌가요?
    추천 0
  • beseto
    2016.04.28 23:18 #270637

    폴더 권한이라면.. FTP의 맨 상위에 있는 user 폴더를 말씀하시는걸까요? ' 3'

    777인가 뭔가 하는그건가.. 어떻게 해야할까요;;;

    추천 0
  • beseto
    2016.04.28 23:17 #270633
    User-Agent : *
    Disallow : /

    txt 파일에는 위처럼 적었다가.. 오늘 아래처럼 고쳐두긴 했는데...

    User-Agent : *
    Allow : /home
    Disallow : /
    Crawl-delay: 86400
    추천 0
  • 웹지기
    2016.04.28 23:42 #270645
    모든봇을 차단하면 어차파 검색엔진도 크롤링을 하지 못해 검색노출되었던 것도 사라집니다. 지금 404가 뜨는거랑 큰 차이 없고 시간이 지나면 노출도 다 사리지니 차단하신 의도 대로 될겁니다. 웹상에서 사이트 존재가 없어지는거죠.
    추천 0
  • 기진곰
    2016.04.29 01:37 #270727
    robots.txt는 강제성이 없으므로 403을 일으키지는 않고요...
    .htaccess나 애드온 등을 사용해서 외부 리퍼러를 죄다 차단해 놓은 게 아닌지 확인해 보세요.
    추천 1
1 2 3 4 5