図解！PythonのRequestsを徹底解説！(インストール・使い方)

Requestsとは

requestsとは、HTTP通信用のPythonのライブラリです。主にWEBスクレイピングでHTMLやXMLファイルからデータを取得するのに使われます。

 
インターネット上に公開されているWEBサイトでは広くHTMLやXMLが使われており、これらの情報の取得に大変便利なライブラリです。

 
スクレイピングは、大まかに３つのステップに分けることができます。
 

１つ目はWEBサイトのHTMLなどのデータ取得です。ただし、HTMLには必要な文章のデータだけでなく、タグなどのデータも混じっているので、必要なものだけを抽出する作業が必要になります。
 
そこで２つ目のデータの抽出が欠かせません。ここでは、複雑な構造のHTMLデータを解析し、必要な情報だけを抽出します。
 
そして最後に抽出した情報をデータベースやファイルなどに保存します。
 
このWEBスクレイピングの３ステップの中で、requestsは１つ目のHTMLデータの取得によく用いられます。Pythonではrequestsを利用して、簡単にWEBサイトからデータを自動的に取得することができます。
 
その後、取得したデータからBeautiful Soupなどの別のライブラリを用いて必要な情報のみを抽出します。Beautiful Soupの詳しい説明は、「図解！Beautiful SoupでWEBスクレイピング徹底解説！」を参照ください。
 
またRequests、BeautifulSoup、Seleniumについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用いただければと思います。クリックすると自動的に適用されます。期間限定になりますのでお早めに。
>> 「Pythonによるビジネスに役立つWebスクレイピング（BeautifulSoup、Selenium、Requests）(Udemyへのリンク)
 
ここではまず、requestsというライブラリの基本となる使い方を確認していきましょう。

Requestsのインストール（pip・conda）

Requestsは、標準ではインストールされていませんので、pipやcondaを利用して別途インストールする必要があります。

 
requests をpipでインストールする場合は、次のコマンドを入力してください。

pipの詳しい説明は「Pythonでの外部ライブラリの追加インストール方法」を参照ください。

 
またcondaでインストールする場合は、次のコマンドを入力してください。

condaの詳しい説明は「Anacondaでの外部ライブラリの追加インストール方法」を参照ください。

 
これでインストールは終わりました。次に、これらのライブラリを利用する前にはインポートしておく必要があります。

 
以上で、Requestsを使うための準備は終わりです。

Requestsの基本的な使い方

これからrequestsの基本となる使い方を紹介していきます。

requestsで主に使われるメソッドには、次のようなものがあります。

この中でも、WEBスクレイピングに使われるget()をまず紹介していきます。

requests.get()の使い方

get()は、サーバからHTML、XMLなどの情報を取得するのに使用します。

 
requests.get()の記述方法は以下です。

主な引数は、

 
戻り値としてresponseオブジェクトが返ってきます。responseオブジェクトには様々な属性値があり、主なものは次になります。

※引数、responseオブジェクトの属性の詳細については、後で詳しく解説します。

 
 
ここではget()の使い方の例として、yahoo news のページを取得してみましょう。

 
requests.get()を利用して、yahoo newsサイトの情報をダウンロードします。変数urlを定義し、確認したいWEBサイトのアドレスを渡します。

 
次に、requests.get()に対してurlを渡しています。request.get()で指定されたwebの情報を取得し、その結果は、変数responseに格納します。

 
 
試しに取得した内容を表示してみましょう。textで内容を確認することができます。ここでは最初の500文字だけを表示しています。

取得したHTMLのコードが表示されました。この中にはtitle「Yahoo!ニュース」なども含まれています。

 
 
また取得した全ての内容を表示するとわかりますが、主要ニュースのタイトルなど、画面に表示されている内容も取得できていることがわかります。

※一部抜粋

このようにWEBサイトの大量の情報が取り込まれています。

 
 
これら取得したデータの中から、ニュースのタイトルやURLなどの必要な情報を取得するのは、次のステップ２のデータの抽出になります。
 

データの抽出については、「図解！Beautiful SoupでWEBスクレイピング徹底解説！」をご確認ください。

Responseオブジェクト

ここでは、requests.get()の戻り値であるresponseオブジェクトの内容を詳しく確認していきましょう。

 
その前にHTTP通信の流れを確認しておきます。

最初にrequests.get()でサーバにリクエスト(あるURLのページを取得したいなど)を送信します。
 
そしてサーバで処理が行われ、サーバからレスポンスが返ってきます。その中にはステータスライン、ヘッダ、ボディが含まれます。これらの内容はresponseオブジェクトの属性で確認することができます。

 
 
先ほどyahoo newsサイトに対して実行したget()の戻り値を元に、responseオブジェクトの属性を確認していきます。

ステータスコード(status_code)

HTTPステータスコードは、HTTP通信においてWebサーバからのレスポンスの状況を示すコードになります。レスポンスのステータスラインの中に含まれます。

 
３桁のコードからなり、何番台かによって意味合いが異なってきます。

400番台と500番台がエラーコードになります。

 
 
先ほどのresponseのステータスコードを表示してみます。

ここではリクエストの成功を表すコード200が表示されました。

レスポンスヘッダ(headers)

HTTPレスポンスヘッダは、HTTP通信においてWebサーバからのレスポンスのヘッダ部分になります。

 
レスポンスヘッダの内容を表示してみます。

辞書で各要素のキーと値が表示されました。

 
 
辞書をそのまま表示するとわかりづらいので、各要素のキーと値をペアに改行して表示してみます。

レスポンスヘッダのキー毎の値が確認しやすくなりました。

エンコーディング(encoding)

レスポンスヘッダの中の項目にエンコーディングがあります。

 
レスポンスボディにはバイナリデータがありますが、バイナリデータは、テキスト以外のコンピュータで扱えるデータで、人間が見て理解できるものではありません。

 
バイナリデータをこのエンコーディングでデコード(復元)し、人間が確認できるようにしたものがテキストデータになります。

 
先ほどのresponseのエンコーディングを表示してみます。

UTF-8が表示されました。

レスポンスのバイナリデータ(content)

この属性により、レスポンスボディに含まれるバイナリデータを確認することができます。

 
画像などはバイナリデータをそのまま利用しますが、テキストの情報は人間が理解できるようデコード(復元)している属性textを使って確認します。

 
先ほどのresponseのバイナリデータを表示します。最初の500文字だけを表示します。

バイナリデータは、テキスト以外のコンピュータで扱えるデータなので、人間が見て理解できない文字が並んでいます。

レスポンスのテキストデータ(text)

レスポンスボディに含まれるバイナリデータを、ヘッダのエンコーディングでデコード(復元) し、人間が確認できるようにしたものがテキストデータになります。

 
テキスト情報は、この属性の内容で確認することができます。

 
responseの属性textの内容を表示してみましょう。ここでも最初の500文字だけを表示しています。

取得したHTMLのコードが表示されました。この中にはタイトルなどで日本語も含まれています。

レスポンスのクッキー(cookies)

クッキー(cookie)とは、参照しているWebサイトから送られて来る情報で、端末の中に保存されます。その中にはサイトを訪れた日時や、訪問回数など、さまざまな情報が記録されています。

 
この属性では、レスポンスに含まれるクッキーの内容を確認することができます。

 
responseの属性cookiesの内容を表示してみましょう。

レスポンスに含まれているクッキーの内容が表示されました。

requests.get()の引数

次にrequests.get()の引数の内容を詳しく見ていきましょう。

ヘッダ(headers)

リクエストにHTTPヘッダを追加することができます。その際にはheadersパラメータに辞書を渡します。

 
辞書のキーとなるリクエストヘッダの項目はたくさんありますが、その中でよく使うのがUser-Agentです。User-Agentにはアプリケーション名、バージョン、ホストオペレーティングシステムなどの情報が格納されています。

 
WEBサイトでは、ボットなどのコンピュータによるアクセスと人間によるアクセスはすぐに判別することができます。

これにより、アクセスを禁止するなどレスポンスが変わるサイトもあります。その判別に使われるのが、User-Agentになります。

 
スクレイピングをする際、User-Agentを設定するのに便利なのが、fake-useragentになります。fake-useragentを利用することにより、人間がアクセスしているのと変わらないUser-Agentの値を自動的に設定することができます。

 
fake-useragentのインストールは、次のコマンドを入力してください。

 
最初にインポートします。

 
UserAgent()のインスタンスuaを作成し、ua.chromeにてUser-Agentへの設定値を確認できます。ブラウザchromeでアクセスしているのと同様の設定値になります。

 
次にua.ieにて、ブラウザIEでアクセスしているのと同様のUser-Agentを表示します。

先ほどと表示されている内容が変わりました。

 
実際にリクエストヘッダのUser-Agentに設定する方法は次のようになります。ヘッダへ設定したい項目'user-agent'の設定値ua.chromeを辞書で定義します。そしてget()の引数headersに渡します。

タイムアウト(timeout)

リクエストの際、タイムアウトの時間(秒)を設定することができます。いつまでもレスポンスを待ち続けるのではなく、この時間が過ぎるとタイムアウトとして処理が終了します。

 
例えば、タイムアウト3秒を指定する方法は次のように記述します。get()の引数timeoutに秒数を渡します。

クエリパラメータ(params)

クエリパラメータとは、サーバに情報を送るためにURLの末尾につけ足す文字列のことです。

 
例えば、googleで「python」と検索すると、

次のようなURLが表示されます。「https://www.google.co.jp/search?ei=j9cKXvapMMyRr7wP4t2FGA&q=python…以降、省略」。
 
この場合「?ei=j9cKXvap…」の箇所がクエリパラメータになります。ここでは、クエリパラメータで検索条件が指定されています。

 
この中の「q=python」の箇所で検索条件「python」を指定していますので、「https://www.google.co.jp/search?q=python」で検索しても、先ほどと同様の結果が得られます。

 
リクエストの際にクエリパラメータを指定するには、get()の引数paramを用います。引数paramには、辞書で値を渡します。

 
 
先ほどと同様、googleに対して検索条件「python」を入力した結果を、今度はrequestsを使って取得しましょう。

 
get()に対してURL'https://www.google.co.jp/search'とparamsに辞書で{'q': 'python'}を渡します。そして返ってきたresponseオブジェクトのテキスト属性を表示します。

省略

すると結果として大量のHTMLが表示されました。

 
その中には、先ほどブラウザで検索して１番目に表示されていたページのタイトル「プログラミング言語 Python」と、説明文「プログラミング言語 Pythonの概要を紹介します。」も含まれています。

関連記事です。
Pythonを使ったスクレイピングについての詳細は、こちらをご覧ください。

 ビジPy  9 users

図解！PythonでWEB スクレイピングを始めよう！(サンプルコード付きチュートリアル)

https://ai-inter1.com/python-webscraping/

Python3におけるWEBスクレイピングのやり方について初心者向けに解説した記事です。 Requests、Beautiful Soup、Selenium、Pandas、newspaper3kなどの基本的なライブラリの使い方を、サンプルコード付きのチュートリアル形式で、具体的な例を用いて解説していき...