[Python]웹페이지 크롤링(requests,beautifulSoup 사용)
프로젝트를 진행함에있어, 어떤 정보가 필요함에 우리는 웹페이지에서 원하는 정보를 얻을수 있습니다. 정보가 공공데이터나 어디서 쉽게 구할수 있다면 가장 좋겠지만 그렇지 않은경우 웹페이지를 크롤링해서 정보를 얻어올 수 있습니다. 크롤링(Crawling)이란. 웹페이지를 그대로 가져와서 데이터를 추출하는 행위를 말합니다. 엄청난 양의 웹페이지 데이터를 일일이 추출해 내기란 너무 힘이듭니다. 그래서 우리는 파이썬을 활용해 웹페이지 크롤러를 만들어 내가원하는 정보를 얻어올 수 있습니다. 하지만 웹페이지를 크롤링 할때도 주의해야할 사항이 있습니다. 1. 스크랩하는 컨텐츠에 지적재산권이 있는지 2. 크롤링 하는 행동이 사이트에 큰 부담을 주지 않는지 3. 크롤러가 사이트의 이용방침을 위반하지 않는지 4. 크롤러가 사..
