페이스북 봇 차단과 Crawl-delay에 대해 문의드립니다.

facebookexternalhit은 crawl-delay를 존중하지 않습니다.

페북 사용자들이 링크를 공유했을 때 *즉시* 그 링크의 썸네일과 정보를 불러온다는 개념이기 때문입니다.

최근에는 원래 목적과 다르게, 사용자들이 공유하지도 않은 페이지를 마구 긁어가고 있지만

말 안 쳐듣는 습관은 그대로인 것 같습니다.

링크 공유 로봇과 일반적인 크롤링을 구분할 수 없다는 점을 악용하는 게 아닐까, 무척 의심됩니다.

게시판 n페이지, 검색 화면 등 일반 사용자들이 공유할 이유가 없는 주소라도 차단하면 도움이 될 것 같네요.

AI 학습데이터 수집을 빌미로 여기저기 들쑤시고 다니는 Claudebot, GPTBot 같은 녀석들도 마찬가지입니다.

걔네들 사업 하는데 내 서버 트래픽(=돈)을 기부할 이유는 없으니, 싹 다 차단각입니다.