| CMS/프레임워크 | Rhymix 2.1 |
|---|---|
| 개발 언어 | PHP 7.4 |
끌로드나 구글ai 쳇gpt를 통해 간단한 애드온을 요청해서 사이트에 적용 중인데 사이트 내용을 볼수 없다고 하더군요. (403 에러)
이것저것 원인을 찾다보니 예전에 등록해두었던 User-Agent 목록때문이었던 것 같습니다. 요즘은 워낙 ai 질문을 통해서 사이트 방문 유입이 되는 경우가 많아서 아래 등록해 두었던 부분은 삭제를 했더니 3개중 2군데 ai들이 정상적으로 사이트를 볼수 있다고 합니다.
무조건 지워야 하는 필수 항목 (챗GPT 허용): GPTBot, ChatGPT-User, OAI-SearchBot
질문자님의 선택에 따라 그대로 둘 항목: anthropic-ai, PerplexityBot, ClaudeBot
구충제 모듈에서 관련된 부분 제거 후 끌로드 , 구글 ai는 사이트가 정상적으로 보인다고 하는 데 쳇gpt만 403으로 뜬다고 합니다. 봇차단 목록도 원인이 아니고 서버단( 각종 conf 파일 )에서 봇차단이나 여타 부분들을 확인 했는데 특별한 건 안보이고 혹시 이런 경험 있으신 분 계신가요?
현재 구충제 모듈에 등록된 유저 에이전트 목록입니다.
Adsbot
AhrefsBot
Ai2Bot-Dolma
AI2Bot
Amazonbot
Applebot
Arachni
AwarioBot
Applebot-Extended
BaiduSpider
Barkrowler
bbot
BLEXBot
brands-bot
Bytedance
Bytespider
CCBot
cohere-ai
ComVoy
CriteoBot
dataforseo-bot
Diffbot
DotBot
Exabot
Eyeotabot
FacebookBot
facebookexternalhit
FriendlyCrawler
GrapeshotCrawler
Headless
heritrix
iaskspider
iaskspider/2.0
ICC-Crawler
ImagesiftBot
img2dataset
integralads
ISSCyberRiskCrawler
Kangaroo Bot
LieBaoFast
Mb2345Browser
MegaIndex
Meta-ExternalAgent
Meta-ExternalFetcher
MicroMessenger
MJ12bot
netEstate
newspaper
omgili
omgilibot
PetalBot
PhantomJS
Scrapy
SemrushBot
serpstatbot
Sidetrade indexer bot
Timpibot
TinyTestBot
Turnitin
UCBrowser
VelenPublicWebCrawler
Webzio-Extended
YouBot
PetalBot
Bytespider
Amazonbot
댓글 5
구충제 모듈이 나오기 전에도 로봇 때문에 서버 부하나 트래픽 문제를 겪으셨다면
서버(아파치, nginx) 설정으로 차단해 두었을 수도 있습니다.
그 당시에는 GPT고 뭐고 그냥 다 잡다한 해외 크롤러로 취급했겠죠.^^
서버단 conf 파일들을 다 뒤져도 원인이 안나오다 결국 아주 오래된 모듈이 원인이었습니다.
쳇gpt가 자신의 사이트를 접속할때 사이트가 보이질 않는 경우(403에러)
구충제모듈 user-agent 확인 -> 라이믹스 시스템 설정 user-agent 확인 -> 서버단 봇차단 conf파일 확인 -> 그래도 없을 경우 혹시 아주 오래된 아래 모듈을 사용중이신지 확인 해보세요. 로봇접근차단을 아니오 저장 후 다시 쳇gpt 확인
아, ChatGPT가 통합검색을 하고 싶어했나요? ㅎㅎ
구글이나 네이버 같은 일반적인 검색엔진은 통합검색 화면에 접근을 허용할 필요가 없습니다. 긁어간 글들을 자기가 직접 검색하면 되는데, 괜히 홈페이지의 검색 기능을 사용하면 서버 부하만 높이는 꼴이니까요.
그러나 AI에게 "마트몬에서 ㅇㅇ에 대한 정보를 찾아 줘"라고 하면 일단 그 사이트에 접속한 후 통합검색을 이용하라는 뜻으로 이해할 수도 있겠네요. 최근까지 AI를 차단하고 있었다면 이미 긁어간 글이 없을 테니, 더더욱 사이트 자체 검색에 의존할 수밖에 없을 테고요.
불필요한 부하 차단과 적절한 접근성 사이에서 균형을 잡기가 참 어렵습니다. 사이트마다 특성이 다르니, 적당한 타협점을 찾아가는 수밖에요.
애초에 오늘 오전인지.. 오후쯤에 chatgpt 사이트 직접 접속 하는 경로가 안먹혔습니다.
제가 안산에서 출발 하고, 장안 톨게이트 지나갈 때 (평택시흥고속도로) 그 사이였을테니 오후 1시쯤 이였던것 같아요.
는 2일전이엿군요. 저는 21일 당일 경험햇습니다.