1장. 크롤링과 스크레이핑

0. 머신러닝을 위한 데이터 처리

크롤링, 스크레이핑, 머신러닝

1) 스크레이핑 이란? 웹 사이트에 있는 특정 정보를 추출하는 기술을 의미한다. 웹에서 데이터를 추출하는 것뿐만 아니라 구조를 분석하는 것도 포함된다.

2) 크롤링이란? 프로그램이 웹 사이트를 정기적으로 돌며 정보를 추출하는 기술. 크롤링 하는 프로그램을 "크롤러", "스파이더" 라고 합니다

1. 데이터 다운로드 하기

1.1. 웹에서 데이터 추출하기 (urlretrieve, urlopen)

1.2. IP 확인 및 파라메터 인코딩해서 넘기기

 

1.3. BeauifulSoup 사용 (tag, find(), find_all())

1.4. BeautifulSoup 사용 (select(), select_one() )