[크롤링] 크롤링 기본문법 (css selector)

CSS Selector 사용법

- select() 안에 태그 또는 CSS class 이름 등을 넣어주면 됨.

 

- 결과값은 리스트 형태로 반환됨.

 

- 매칭되는 첫번째 데이터만 얻고자 할 때는 select_one(),

  이 때는 해당 아이템 객체가 리턴.

 

 

1. 웹페이지에서 F12 

2. ctrl + shift + c

3. 원하는 내용 클릭 후 코드로 가서 마우스 오른쪽 버튼 -> css selector 복사

4. select() 안에 붙여넣기

 

import requests

from bs4 import BeautifulSoup

# 웹페이지 가져오기

res = requests.get('https://davelee-fun.github.io/blog/crawl_test_css.html')

# 웹페이지 파싱(분석)하기

soup = BeautifulSoup(res.content,'html.parser')

# 1. li태그로 되어있는 내용만 크롤링하기

items = soup.select('li')

# 2. html 안에 body 안에 h1 크롤링

items = soup.select('html body h1')

# 3. ul 바로 아래 li 크롤링

items = soup.select('ul > li')

# 4. 클래스 이름으로 크롤링

items = soup.select('.course')

# 5. id 이름으로 크롤링

items = soup.select('#start')

# 6. 태그.클래스1.클래스2 크롤링  

# 하나의 태그에 클래스가 2개 이상 있는 경우가 있다.

items = soup.select('li.course.paid')

# 7. 복합예제

items = soup.select('ul#hobby_course_list li.course')

for item in items:

    print (item.get_text())

 

 

# -----------------------------------------------------------

# 8. 하나만 크롤링

item = soup.select_one('ul#dev_course_list > li.course.paid')

print (item.get_text())