쳇GPT만 사이트 접속 시 403으로 뜬다고 하는데 혹시 비슷한 경험을 하신 분 계신가요?

끌로드나 구글ai 쳇gpt를 통해 간단한 애드온을 요청해서 사이트에 적용 중인데 사이트 내용을 볼수 없다고 하더군요. (403 에러)

이것저것 원인을 찾다보니 예전에 등록해두었던  User-Agent 목록때문이었던 것 같습니다. 요즘은 워낙 ai 질문을 통해서 사이트 방문 유입이 되는 경우가 많아서 아래 등록해 두었던 부분은 삭제를 했더니 3개중 2군데 ai들이 정상적으로 사이트를 볼수 있다고 합니다.

무조건 지워야 하는 필수 항목 (챗GPT 허용): GPTBot, ChatGPT-User, OAI-SearchBot
질문자님의 선택에 따라 그대로 둘 항목: anthropic-ai, PerplexityBot, ClaudeBot

구충제 모듈에서 관련된 부분 제거 후 끌로드 , 구글 ai는 사이트가 정상적으로 보인다고 하는 데 쳇gpt만 403으로 뜬다고 합니다. 봇차단 목록도 원인이 아니고 서버단에서 봇차단이나 여타 부분들을 확인 했는데 특별한 건 안보이고 혹시 이런 경험 있으신 분 계신가요?

현재 구충제 모듈에 등록된 유저 에이전트 목록입니다.

Adsbot
AhrefsBot
Ai2Bot-Dolma
AI2Bot
Amazonbot
Applebot
Arachni
AwarioBot
Applebot-Extended
BaiduSpider
Barkrowler
bbot
BLEXBot
brands-bot
Bytedance
Bytespider
CCBot
cohere-ai
ComVoy
CriteoBot
dataforseo-bot
Diffbot
DotBot
Exabot
Eyeotabot
FacebookBot
facebookexternalhit
FriendlyCrawler
GrapeshotCrawler
Headless
heritrix
iaskspider
iaskspider/2.0
ICC-Crawler
ImagesiftBot
img2dataset
integralads
ISSCyberRiskCrawler
Kangaroo Bot
LieBaoFast
Mb2345Browser
MegaIndex
Meta-ExternalAgent
Meta-ExternalFetcher
MicroMessenger
MJ12bot
netEstate
newspaper
omgili
omgilibot
PetalBot
PhantomJS
Scrapy
SemrushBot
serpstatbot
Sidetrade indexer bot
Timpibot
TinyTestBot
Turnitin
UCBrowser
VelenPublicWebCrawler
Webzio-Extended
YouBot
PetalBot
Bytespider
Amazonbot