初心者でも超簡単！Pythonのスクレイピングで株価の取得

WEBスクレイピングとは、WEBサイトから情報を自動的に取得し、必要に応じて、情報の加工などを行うことです。取得したデータは、ファイルやデータベースに保存します。

 
スクレイピングで取得したいデータのニーズは様々ですが、その中でも、株価の履歴情報を取得し、分析に利用したいというニーズは高く、スクレイピングを勉強するきっかけとなっている人も多いようです。

 
ただ、株価の情報はWEBサイトで公開されていますが、スクレイピングを禁止しているサイトも多く、またスクレイピングを禁止していなくても、継続的に株価を提供しているサイトはとても少ないです。

 
今回は、その中でもStooq.comというサイトから、Pythonのデータ分析用ライブラリPandasのread_html()を利用し、日本の個別株の情報を取得したいと思います。
 
米国株の取得方法は「Pandasによるテーブルのスクレイピングと保存」を参照ください。

 
read_html()では、WEBサイト上のテーブルに格納されているデータを非常に簡単に取得することができます。

 
同様の株価のデータはpandas_datareaderを使っても取得することができますが、データ取得元のサイトへのアクセスが禁止されると使えなくなります。

 
従ってこれらのライブラリを使うだけでなく、その仕組みを理解し、別のサイトからも同様のデータを取得できるようになることは必要不可欠です。

 
必要に応じて取得元のサイトを変更し、安定的にデータを取得できるよう、この記事では、Pandasのread_html()を用いてWEBスクレイピングする方法と考え方を１ステップずつ解説し、日本株の株価情報をstooq.comから取得していきたいと思います。

 
read_html()の基本的な使い方や必要なライブラリのインストールも「Pandasによるテーブルのスクレイピングと保存」を参照ください。read_html()を利用するには、WEBスクレイピング用のライブラリBeautifulSoup4、html5lib、lxmlをインストールしておく必要があります。

WEBスクレイピングによるStooqから日本の株価情報の取得

これから日本株の株価の取得方法を紹介していきます。ここでは、Stooq(https://stooq.com/)からトヨタ自動車の株価情報を取得してみます。

サイトの事前確認

 
まずはStooqのサイトから、画面左上にある「Symbol np:^SPX」の横にあるテキストボックスに「toyota」と入力すると、下のようにリストが表示されます。その中から、「7203.JP」を選択してください。

 
そして次のようにグラフの画面が表示されましたら、画面右下の「More On 7203.JP」の欄にいきます。

 
「More On 7203.JP」欄で「Historical data」をクリックします。

 
次に以下の赤線で囲ったエリアの項目を入力していきます。ここでは、Start dateにApr 1 2019を、End dateにSep 20 2019を選択し、IntervalはDailyのままにしておきます。そして、Showボタンを押します。

 
すると、画面の下に入力した条件に一致する株価の情報（赤線で囲った箇所）が表示されました。

 
ここでは４０日分ずつ情報が表示され、表の右上、もしくは、右下にある矢印のボタンでページを切り替えて、残りの日の情報も確認できるようです。

 
画面を切り替えながらURLを見ていくと、
最初のページは、
https://stooq.com/q/d/?s=7203.jp&c=0&d1=20190401&d2=20190920

次のページは、
https://stooq.com/q/d/?s=7203.jp&i=d&d1=20190401&d2=20190920&l=2

その次のページは、
https://stooq.com/q/d/?s=7203.jp&i=d&d1=20190401&d2=20190920&l=3
となっているようです。

 
ここから法則を確認すると、それぞれ以下の箇所は、
    s=7203.jp：銘柄コード
    d1=20190401：検索開始日付
    d2=20190920：検索終了日付
    l=3：ページ数
を示しているようです。

またページ数については、１ページ目はURLに「&l=1」とは表示されていませんでしたが、これを付けて入力すると、１ページ目が表示されました。

この法則を利用して、１ページ目から順に最後の数値だけを１つずつ加算していけば、全てのデータを確認することができそうです。

１ページ目の株価情報の取得

 
それでは実際にプログラムを書いていきましょう。まずpandasをインポートします。

 
次にページ数を除いたURLの一部を変数url_1に格納します。

 
これから最初のページを読み込みます。最初のページはURLの末尾に1を付け、変数urlに格納します。

 
そして、read_html()に対して、変数urlを渡し、引数headerに0行目を指定します。取得した結果は、変数dataに格納されます。

 
それではWEBページから取得したテーブルの情報を表示してみましょう。結果はリストの形式で取得されます。例えば、読み込み対象のWEBページに複数のテーブルがある場合、１つ目のテーブルは[0]、２つ目のテーブルは[1]で確認することができます。

 
ここではテーブルが１つしかありませんので、[0]で確認します。head()を使って最初の１０行を表示してみましょう。

最初の５行は欠損値を示すNaN(Not a number)になっていて、データが入っていないようです。

 
合わせて、tail()を用いて、後ろからの５行も内容を確認しましょう。

後ろの５行にはNaNは含まれていないようです。

 
最初の５行に含まれていたNaNを取り除きましょう。変数dataに格納されているデータの内、スライスを利用して５行目以降のデータを取得し、変数df_stockに格納します。そして最初の５行を確認します。

データが入っていなかったNaNの行は無くなりました。ここまでで、まずは１ページ目のデータを取得することができました。

２ページ目以降の株価情報の取得

 
次に２ページ目以降のデータも取得していきます。２ページ目以降はfor文の繰り返し処理で取得できそうです。但し、最後のページで繰り返し処理を終える必要があります。その条件は何になるでしょうか？最後のページを見てみましょう。

すると、最後のページの最終行では、列No.の値が1で終わっているようです。これをfor文の終了の判定条件に使うことができそうです。

 
それでは、残りのページからデータを読み込む処理を書いてみましょう。

 
プログラムの内容を解説すると、for i in range(2,100): では、２ページ目以降の読み込み処理をする為、2から99までの数値をiに格納しながら、順に繰り返し処理を実行しています。ページ数は多くないので、ここでは99を最後としています。

 
次に、url = url_1 + str(i) でURLの末尾のページ数を代入し、読み込み対象のURLを変数urlに格納しています。

 
そして、data = pd.read_html(url) で対象のページのデータを読み込み、先ほどの１ページ目と同様、最初の５行にはNaNが入っているようですので、次のdf_stock = df_stock.append(data[1][5:]) で最初の５行を読み飛ばした結果を変数df_stockに格納しています。

 
最後に、if float(data[1]["No."].tail(1)) == 1.0: で各ページの最終行の列No.が1.0の場合、最終ページとしてbreak文で、for文の繰り返し処理を終えています。

 
それでは、取得したデータを確認してみましょう。最初の５行を表示します。

 
合わせて、後ろからの５行も確認します。

抽出条件に指定した2019年4月1日までのデータが表示されているようです。このようにして、全てのページのデータを取得することができました。

WEBスクレイピングで取得した日本の株価情報のグラフ(チャート)表示

取得データの問題点の確認

 
次に、これらの取得した情報を用いてグラフを表示してみたいと思います。但し、取得したデータを確認した結果、２つの問題があるようです。

• 列Changeは、元のサイト上の表は%と数値の２つの列をセル結合している為、取得したデータでは、タイトルがずれている。Changeの数値が入っている列のタイトルが「Volume」になり、実際に「Volume」の値が入っている列のタイトルが「Unnamed: 8」になっている。
• 列Dateに格納されている日付が、1 Apr 2019のように文字列になっていて、時系列にグラフを表示できない。

このような問題はWEBスクレイピングでは良く起こり得ます。日付、数値、欠損値にかかわらず、WEBサイト上はテキスト型で表示することができます。また表はセル結合されており、見た目には綺麗でも、データの取得がうまくいかないこともあります。

 
しかし、その情報をグラフ化したり、適切な形式で保存しようとすると、これらの情報を適切に処理してからでないと、グラフ表示やデータ保存することはできません。１つ１つ対処していきましょう。

不要な列の削除・列名の変更

 
まず１つ目のタイトルのズレについては、不要な列Change（%、数値）の２つの列を削除しましょう。合わせて列No.も不要ですので削除します。

 
DataFrameの列を削除するにはdrop ()を利用します。記述方法は次のようになります。

主な引数は、

 
drop()で列No.、Change、Volume(Changeの数値が格納されている)を削除します。その際に引数inplaceにはTrueを指定して、実行結果をDataFrameに保存します。そして最初の５行を表示して、列が削除されていることを確認してみましょう。

削除した列が消えています。

 
そして、Volumeが格納されている列「Unnamed: 8」に正しい列名を付けましょう。DataFrameの列名を変更するにはrename ()を利用します。次のように記述します。

主な引数は、

 
rename ()で列「Unnamed: 8」の名称を「Volume」に変更します。引数inplaceにはTrueを指定し、最初の５行を表示してみます。

列名が「Unnamed: 8」から「Volume」に変更されています。

日付型インデックスの設定

 
次に２つ目の問題である「列Dateに格納されている日付が、1 Apr 2019のように文字列になっていて、時系列にグラフを表示できない。」に対応していきます。

 
ここでは文字列を日付型に変換するdatetime. strptime()を使います。

主な引数は、

 
まずはdatetimeをインポートします。

 
次にstrptime()を元に列Dateに格納されている日付を示した文字列を日付型に変換し、元のDataFrameに対して列Date2を追加して日付型の値を格納します。
列Dateに格納されている日付が、1 Apr 2019の書式ですので、strptime()の引数には、"%d %b %Y"を指定しています。

 
また[dt.strptime(i, "%b %d, %Y") for i in data[0]["Date"]]の箇所では、リスト内包表記という方法を用いています。
data[0]["Date"]に格納されている値（日付を示した文字列）をfor文で1行目から順に読み込んで変数iに格納し、その値がstrptime()で日付型に変換しています。

 
その結果は、全体が[ ]で囲われていますのでリスト型となり、リストの中には、全ての行の文字列が日付型に変換された結果が格納されています。

 
まずは列Date2に格納した値を確認してみましょう。

日付型で値が格納されていることがわかります。変換がうまくいったようです。

 
そして、df_stock.head()の最初の5行を確認します。

列Date2が追加されていることも確認できました。これで全ての問題は解決されました。

 
グラフの作成に取り掛かる前に、列Date2をインデックスに指定します。（DataFrameへのインデックスの設定に関する詳しい説明は「Pandas DataFrameへのインデックスの指定と削除、変更」を参照ください。）

 
インデックスの設定にはset_index()を利用します。また引数inplaceにTrueを指定して、インデックス設定の実行結果をDataFrameに保存します。

列Date2がインデックスに指定されました。

株価グラフ(チャート)の表示

 
それでは、グラフを表示してみましょう。DataFrameからグラフを表示するには、plot()を使えば簡単にできます。

主な引数は、

 
ここでは、株価Closeを縦軸に、日付を横軸にして折れ線グラフを描きます。またタイトルと目盛線も追加しましょう。

このようにして、Stooqから取得したトヨタ自動車の株価を元にグラフを描画することができました。

WEBスクレイピングで取得した日本の株価情報の保存(CSVファイル)

最後に取得した株価のデータを後から確認できるよう、CSVファイルに保存していきましょう。

DataFrameに保持しているデータをCSVファイルへ書き込むには、to_csvを使います。

CSVファイルへの書き込みに関する詳しい説明は「Pandas Excel、CSVファイルの読み込み、書き込み(出力)」を参照ください。

 
それでは先ほど読み込んだdf_salesの内容を、ファイル名”Toyota_Stock.csv”で、ディレクトリは指定せずに作業を行っているディレクトリにCSVファイルとして保存します。

 
保存されたCSVファイルをEXCELで開いてみると、次のように表示されました。

このようにして、Stooqから取得した株価情報を保存することができました。

関連記事です。
Pythonを使ったスクレイピングについての詳細は、こちらをご覧ください。

 ビジPy  10 users

図解！PythonでWEB スクレイピングを始めよう！(サンプルコード付きチュートリアル)

https://ai-inter1.com/python-webscraping/

Python3におけるWEBスクレイピングのやり方について初心者向けに解説した記事です。 Requests、Beautiful Soup、Selenium、Pandas、newspaper3kなどの基本的なライブラリの使い方を、サンプルコード付きのチュートリアル形式で、具体的な例を用いて解説していき...