PHP 웹 크롤러 질문이요
| CMS/프레임워크 | Rhymix 1.9 |
|---|---|
| 개발 언어 | PHP 7.3 |
다른 커뮤니티 사이트의 인기글을 퍼와서 라이믹스 게시판에 저장하고 싶습니다.
웹에서 태그 지정하여 해당 데이타를 긁어오고 DB에 저장해야 된다는건데요
모듈이나 애드온 같은건 없겠죠?
하도 구글링 하는데 나오는게 없네요 ..
고수님들 답변 부탁드립니다 ..
| CMS/프레임워크 | Rhymix 1.9 |
|---|---|
| 개발 언어 | PHP 7.3 |
다른 커뮤니티 사이트의 인기글을 퍼와서 라이믹스 게시판에 저장하고 싶습니다.
웹에서 태그 지정하여 해당 데이타를 긁어오고 DB에 저장해야 된다는건데요
모듈이나 애드온 같은건 없겠죠?
하도 구글링 하는데 나오는게 없네요 ..
고수님들 답변 부탁드립니다 ..
댓글 8
그누보드는 간단한걸로 한두개 있는거 같기는 한데요.
XE는 공개자료 없을겁니다.
이런 크롤러는 공개자료로 만들기 까다롭습니다.
웹크롤러같은경우 보통 다른사이트들의 웹구조를 보고 해당 구조안에 잇는 내용들을 긁어오게 됩니다.
이런 구조가 웹마다 다 같은게 아니죠. 다 다르기 때문에 원하는 사이트마다 새롭게 개발해야하는 경향이 많습니다.
이런 상황에서 공개자료로 배포하기가 쉬울까요?
그리고.. 크롤링해서 다른 사이트의 내용을 가져온다는게 사실 저작권측면에 접촉이 되기도 합니다.
따라서 공개적으로 나오기가 쉽지 않습니다.
실제로 xe1.Xpressengine.com 에서는 웹크롤링과 같은 단어가 금기단어로도 설정된바 있습니다.