위에 사진처럼 뭔가 떠서 봤더니 크롤러 오류가 엄청 증가했네요...
저게 갑자기 왜뜨는걸까요?
robots.txt 여기에는 모든 로봇이 접근하도록 했는데 말이죠..
User-agent: * Disallow: User-agent: Mediapartners-Google Disallow: /
이렇게 적용해 뒀습니다.. 문제가 있나요?
그리고
https://support.google.com/adsense/answer/2381908?hl=ko&utm_source=aso&utm_medium=link&utm_campaign=ww-ww-et-asfe_#robot
이링크로 연결해주네요..
![1.PNG [File Size:42.3KB/Download:7]](/files/download/link/873018/e137ec12d3c759c251f042764179acb0/1.PNG){kind=link}
![2.PNG [File Size:3.8KB/Download:7]](/files/download/link/873019/d70e1a3e6c29a21e3541e743adfe2bf9/2.PNG){kind=link}
댓글 7
네트워크 불량으로 일시적으로 파일을 못찾을수도 있지만. 지속적으로 증가하는것은 다른 원인일껍니다.
서버 이전, Xe 꼬리표 떼기, 서버 한글설정 변경(Euc-Kr -> utf8) 이정도가 대충 짐작할수 있는 내용이네요.
그외 서버 접근 권한등을 변경하였을 경우에도 파일을 못찾는경우도 있습니다.
저같은경우 .inc 파일 외부 접근을 막았더니.... 크롤러 오류가 많이 나와서 깜짝 놀란적이 있네요.
정확한건 크롤링이 안된 파일명에 대해서 직접 접근해보는 방법으로 일일이 확인 하셔야 할껍니다.
글쓴지 오래되었는데 안나오는 증상과 동일하다고 봅니다.
단지 글쓰지 오래되고 크롤링이 완료되면
글 내용과 더욱 비슷한류의 광고가 더 적절하게 나오는다는 차이말고는 없는듯 합니다.
광고 나오고 안나오고는 구글정책인지라....
PC로 글 쓴 직후 핸드폰으로 해당글을 열어보시면
더욱 정확하게 알수 있습니다.
Mediapartners-Google을 막아놓았는데요? 그게 애드센스 크롤러인데... 밑에 두 줄 지우세요.
https://support.google.com/adsense/answer/10532?hl=ko
여기도 자세히 보시면 밑에 두 줄을 "추가"가 아니라 "삭제"하라고 되어 있습니다.
모든 검색 허용하실려면
robots.txt 파일 내용을
User-agent : *
Allow : /
이렇게 변경하시면 됩니다.
기진곰님께서 정확하게 설명해주셨는데...
혹시 두줄만 지우고..
그냥 두실까봐..... 그럼 모든 로봇들의 접근을 차단하는게 되거든요...