며칠전 구글 서치 콘솔에 사이트를 등록하고 사이트맵도 제출했는데 계속 로봇텍스트 파일을 가져오지 못하고
있습니다. 서버에 로봇파일은 있고 구글 서치콘솔에서 robots.txt 테스터를 클릭하면 "현재 가져올 수 없는 robots.txt
파일이 있습니다 ... ... "란 창이 뜹니다.
호스팅서버 root에 로봇파일을 만들었고 코드는
User-agent: Googlebot
Allow:/
User-agent: Yeti
Allow:/
이런식으로 네이버와 구글봇 허용을 해 놓은 상태인데 파일 권한을 757 이나 777로 해도 계속 로봇파일을 가져올 수
없다고 하네요. 제가 로봇파일에 입력한 문구가 잘못된건가요? 아님 호스팅 업체에 문제인가요?
호스팅업체에 문의글을 올려도 하루지나야 답변이 오는지라 급한 마음에 타운에 sos 합니다.
![Opera Snapshot_2017-12-07_171155_www.google.com.png [File Size:20.2KB/Download:8]](/files/download/link/818818/8707275739338331cdae5d9657a78e38/Opera%20Snapshot_2017-12-07_171155_www.google.com.png){kind=link}
댓글 19
구글봇 막으셨는데요.
User-agent: *
Allow: /
잘 모르시더라도 알아보신다음 처리하셔야 합니다. 요즘 도메인을 알고 시도 하는 분들이 www를 귀찮아서 안칩니다. 공식 도메인을 www를 꼭 붙여서 사용하고 싶더라도 redirect가 되도록 해야지 이렇게 접속조차 안되게 하는건 큰 문제입니다.
그냥 서브 도메인 없이도 전부다 같은 서버로 연결될 수 있도록 처리 요청 하시거나 직접 하시고 난 후...
www 없이 접속되는 것이 싫다면 redirect를 하게 하시면 됩니다.
새로 chinamax.net 위에 3번을 저렇게 추가 했는데 맞나요?
A레코드로
chinamax.net
www
둘다 등록해야 하는거 아닌가요??
네. 저도 지금 보는 곳에서 하는 방식은 잘 모르겠네요... 일단 www 없이 접속이 안되고 잇네요.
아마 서버에서 막은듯....
www 없이 접속하면 www붙여서 redirect 되도록 이제 처리하시면 될 것 같네요.