개발 Q&A

제목 스크래핑에 대해서
카테고리 PHP
글쓴이 주말생각 작성시각 2022/01/03 18:02:49
댓글 : 1 추천 : 0 스크랩 : 0 조회수 : 2087   RSS

지금 사용자가 input text에 url을 입력하고 저장 버튼을 누르면,

 

해당 사용자가 저장한 글에, 사용자가 입력한 메타 태그의 이미지와 컨텐츠글을 가져와서 서버에 저장하려는 기능을 구현하려고 합니다.

그런데, 제가 실력이 모자라서인지 개념이 부족해서인지 제대로 스크래핑이 안됩니다. 주로 스크래핑할 서비스들은 SNS들인데, curl로 단순히 전체 html을 긁어오려고 해도 긁어오지를 못하고 오픈 소스라이브러리를 활요하는데도 잘 안됩니다.

 

구글링을 하니, 특정 사이트들은 봇체크를 해서 접속 정보를 추가적으로 설정햐 줘야 한대서 하였지만, 그래도 되지 않습니다.

다른 분들은 스크래핑을 어떻게 구현하셨나요?

 

감사합니다.

 다음글 JS 이미지 리사이징 라이브러리 compressorjs (3)
 이전글 MySQL의 STRICT_TRANS_TABLES 모드 (2)

댓글

한대승(불의회상) / 2022/01/04 15:32:37 / 추천 0

서버사이드로 랜더링해서 페이지를 만들지 않으면 curl로 원하는 결과를 못 만들수 있습니다.

PhantomJS 와 같은 headless 브라우져를 사용해 보세요.