여론조사

네이버 뉴스 댓글 크롤링 및 여론 조사 (22.09.13.최신)

안녕하세요! 개발자 북치기입니다👍 네이버 뉴스 댓글 크롤링하는 방법에 대해 설명하도록 하겠습니다. 원래 제 글에 있었는데, 코랩에 설정이 잘못돼있어서 많은 분들이 신청만 해주시고 못봤다는걸 알게되었습니다. 굳이 코랩에 가지않아도 여기서 참고할 수 있도록 작성해보도록 하겠습니다. 제가 이 프로그램을 만들게 된 이유는 빅데이터를 이용한 '여론 조사'의 목적이었습니다. 어떤 키워드를 검색하였을 때, 뉴스 본문보다는 댓글이 국민의 여론을 나타낸다고 생각했기 때문입니다. 현재 만들어져있는 빅카인즈같은 사이트를 보면 본문을 분석해주는 것 뿐이라서요. 로직은 이렇습니다. 어떤 키워드를 입력하면, 네이버 뉴스 중 네이버 댓글이 달리는 뉴스만 필터링하여 크롤링한다. 그 뉴스들 내에 있는 댓글을 싹 크롤링한다. 댓글들을 ..