Q&A

CMS/프레임워크 Rhymix 1.9
개발 언어 PHP 7.2

11.png

 

 

 

33.png

 

 

크롤러가 게시글에 접근하지 못하는 듯 한데

이러한 문제가 정책센터에 

무려 1600개가 넘게 쌓여있네요

 

해당 게시판들은

회원만 접근 가능한 게시판이라

아래처럼 크롤러 로그인 정보도 기입한 상태입니다

 

22.png

 

상태도 모두 크롤링 으로 표시되고 있고요

 

제가 보기엔 크롤러 액세스 정보를

문서마다 등록해줘야 하는 건 아닐텐데

왜 계속 크롤러가 접근을 못하는 걸까요

 

시간을 두고 더 기다려 봐야하는건지

다른 조치가 필요한 건지 잘 모르겠네요

 

참고로 robots.txt의 설정은 아래와 같습니다

User-agent: *

Allow: /

 

 

 

댓글 4