구글서치콘솔 robots.txt 수집 관련 질문

모두 같은 사이트로 연결되는 도메인들인가요?

robots.txt를 긁어가는 것만으로는 별 문제가 없겠지만, 만약 robots.txt를 긁어간 후 실제 페이지들도 여러 도메인에서 중복 수집한다면 문제가 될 수도 있겠네요. 하나의 도메인 외에는 모두 301 redirect 처리되는지 확인해 보시는 것이 좋겠습니다.

라이믹스에서 301 redirect 설정을 해 두었더라도, robots.txt는 라이믹스를 거치지 않고 웹서버에서 직접 처리하기 때문에 여러 도메인으로 접근이 가능할 수도 있어요. 이 경우 .htaccess에서 일괄 301 redirect 처리해 버리면 깔끔해집니다.