python requests モジュール　基本操作

webスクレイピングをする上で基本となるモジュールの一つが requests になります

requests を使用すれば、ウェブサイトの情報を簡単に抽出することができます

実際にウェブサイトを見ていきます

・環境

python 3.12.2

requests 2.31.0

import requests

#ウェブサイトの情報を取得(GET)
r = requests.get("https://google.com/")

#テキストのみ表示
print(r.text)

#ウェブサイトへ情報を送信(POST)
payload = {'title': 'title_1', 'price': '1000'}
r = requests.post("https://www.example.com/", data=payload)

#Web APIからの返答を出力
print(r)

requests.get というメソッドを使用して、webサイトから情報を取り出します

他にも requests.post メソッドは、webサイトへ情報を送り、返答を得るメソッドです

Web API等でよく使用します

しかし、これだけだと大量のhtml情報が取得出来てしまい、欲しい情報が見つけにくいと思います

そこで 別のライブラリを使ってこの情報を解析することが必要になります

ただ、実際は selenium を使用すればスクレイピングは大体解決できるので、自分はrequestsは主にWeb API に使用しています