robots.txt 파일에 대해 문의합니다.
| CMS/프레임워크 | Rhymix 2.0 |
|---|---|
| 개발 언어 | PHP 7.3 |
라이믹스로 운영하는 사이트의 robots.txt 파일을 열어보니
User-agent: *
Crawl-Delay: 20
로 되어있습니다.
라이믹스 개발자님들이 만들어 놓으신 것으로 생각합니다.
robots.txt 의 기능에 대해 잘 모르는데 저 위의 상태로 그대로 사용해도 괜챦은지 궁금하여 문의를 드려봅니다.
musil
Lv. 2
Small Community web admin
댓글 3
라이믹스에는 robots.txt 파일이 포함되어 있지 않습니다.
즉, 지금 보고 계신 파일은 저희가 만들어 놓은 것이 아닙니다.
Crawl-delay 항목은 최근 대부분의 로봇들이 무시하는(...) 추세여서
사실상 아무 것도 설정되어 있지 않은 상태로 보이네요.
이것이 라이믹스와 관계가 있지는 않습니다.
각각 사이트마다 검색봇이 들어와서 봇이 해동할 수 있는 반경을 지정해주는 것으로, 각사이트마다 개별로 필요의 의해 생성하는 파일이라 생각하시면 됩니다.