Q&A

크롤링 질문이요!

심만덕
2022.10.20 04:36
2,138
0
4
CMS/프레임워크 사용안함
개발 언어 사용안함

크롤링한 이미지 url을 spring 서버에 저장하고 싶은데 다른 링크는 잘작동 하는데 특정 url만 서버에서 무한로딩을 하는데 이유를 모르겠습니다.
이미지 url을 다운하지 못하도록 막아놓은걸까요??

 

 

 
목록

댓글 4

  • YJSoft
    2022.10.20 04:50 #1715011

    서버에서 어떤 내용을 돌려주는건지는 체크해 보셨나요? 크롤링시 유저 에이전트가 비정상적이거나(curl 등) 리퍼러가 빠진 요청은 거부하는 사이트도 많습니다.(정상적인 요청이라면 리퍼러에 이미지가 삽입된 글 주소가 들어갑니다)

    추천 0
  • 심만덕
    2022.10.20 05:23 #1715025
    예를들어서 https://assets.givenchy.com/m/7cc520245cbd68a1/High_Resolution_JPG-BB50PYB1GC457-02-03.jpg?imformat=generic&imwidth=2000 2000w 이런이미지를 file로 받아서 하는건데 잘 모르겠어요...
    추천 0
  • YJSoft
    2022.10.20 06:11 #1715042
    요청을 보낼 때 브라우저에서 보내는 요청과 서버에서 보내는 요청을 비교해서 없거나 다른 값이 있다면 변경해가며 스스로 알아내셔야 합니다.
    추천 0
  • 심만덕
    2022.10.20 06:17 #1715050
    넵 감사합니다 파일을 생성할 때 무한로딩을 하네요...
    추천 0
1 2 3 4 5