크롤링 (2)-환경설정 : pip 라이브러리, requests, BeautifulSoup

크롤링 환경 만들기

 

1. Python 공식 사이트(https://www.python.org/downloads/)에서 Python 설치하기

 

2. PIP 인스톨용 스크립트를 저장하기 (https://bootstrap.pypa.io/get-pip.py)  ‘다른 이름으로 링크 저장’

   

   cmd > 링크 저장한 경로에서 PIP 설치하기

 

python get-pip.py

 

 

3. requests, BeautifulSoup 라이브러리 설치하기

 

pip install beautifulsoup4 requests

 

• requests : html 데이터 요청
• BeautifulSoup : html 파싱

---

Requests 테스트

내 티스토리 주소를 requests 해봤다

import requests
from bs4 import BeautifulSoup
def crawling():
    url='https://rokroks.tistory.com/'
    response = requests.get(url)
    print(response)
    print(response.status_code) #응답코드, 200이면 성공
    print(response.text)
crawling()

▲실행결과

 

잘 불러오는 것을 볼 수 있다. 다음엔 원하는 내용을 파싱해보자.

 

 

---

Reference

Windows용 PIP 설치하기(How to Install PIP For Python on Windows) - 아크몬드넷

파이썬 크롤링 시작하기 - html 구조와 간단한 크롤링