人工知能（AI）技術は、近年急速な進化を遂げています。機械学習やディープラーニングの発展により、AIはさまざまな領域で活用されています。例えば、自動運転車の開発や医療診断支援、自然言語処理、画像認識などが挙げられます。

AIの進化は、大量のデータと高度なアルゴリズムの組み合わせによって推進されています。特に、ディープラーニングでは多層のニューラルネットワークが複雑なパターンを学習し、精度の高い予測や分類を行います。これにより、過去には困難とされていた課題にも解決の可能性が広がりました。

将来の展望として、AI技術はさらなる進化が期待されます。データの量や品質が向上することで、より高度なモデルが構築され、さらなる精度向上が見込まれます。また、AIの普及により、社会や産業の様々な分野で効率や生産性が向上し、新たなビジネスモデルやサービスが生まれる可能性もあります。

ただし、AIの進化には課題も存在します。倫理的な問題やプライバシーの保護、偏りのあるデータによるバイアスなどが挙げられます。これらの課題を解決するためには、技術だけでなく、法規制や倫理観も重要です。

総じて、AI技術の進化は急速であり、その影響は広範囲に及びます。今後も技術と倫理の両面からバランスを保ちながら、AIを活用して社会の発展に貢献していく必要があります。

Copyright © 2026 ビジPy All Rights Reserved.

 
「要素の追加」以外の辞書に関するトピックは、次の記事をご参照ください。
>> Pythonの辞書を徹底解説！

辞書に対して１つの要素を追加する方法

Pythonの辞書（dictionary）は、キーと値のペアを格納するデータ構造で、データの追加、変更、削除が簡単に行えます。まずは辞書に対して１つの要素を追加する方法を確認します。

基本的な要素の追加方法

辞書に新しい要素を追加するには、存在していないキーを指定して値を代入します。

 
例えば、以下のようにして新しい要素を追加できます。

# 辞書の定義
employee_data = {'Tanaka': 'Project Manager', 'Suzuki': 'Developer', 'Sato': 'Business Analyst'}

# 新しい要素の追加
employee_data['Yamada'] = 'Designer'

このコードでは、まず employee_data という辞書を定義しています。次に、新しいキー 'Yamada'さんとその値 'Designer' を追加しています。

追加後の辞書の中身を確認すると、以下のようになります。

print(employee_data)

このように、printを使用して辞書の中身を表示すると、'Yamada'さんのデータが正しく追加されていることが確認できます。

setdefault()メソッドを使った追加(※重複するキーは上書きしない)

setdefault() メソッドでは、キーが存在しないときのみ要素を追加できます。これは、既に存在するキーの値を上書きしたくない場合に利用します。
 
例えば、以下のようにして新しい要素を追加できます。

# 辞書の定義
employee_data = {'Tanaka': 'Project Manager', 'Suzuki': 'Developer', 'Sato': 'Business Analyst'}

# キーが存在しない場合にのみ追加
employee_data.setdefault('Yamada', 'Designer')

このコードでは、'Yamada'さんというキーが存在しない場合にのみ、'Designer' という値を追加します。既にキーが存在する場合は、何も変更されません。

最後に、print(employee_data) を使って辞書の内容を表示します。

print(employee_data)

辞書の中身を表示すると、'Yamada'さんのデータが正しく追加されていることが確認できます。

辞書に対して複数の要素を追加する方法

次に辞書に対して複数の要素を追加する方法を確認します。まとめていくつかの要素を追加したい場合に便利です。

update()メソッドを使った要素の追加(※重複するキーは上書き)

update()に対して、新しいキー=代入値を渡すとことで、要素を追加できます。新しいキー=代入値の組み合わせは複数、渡すことができます。また既存のキーと重複するキーを渡した場合は、引数に指定した値で上書きされます。
 
例えば、以下のようにして新しい要素を追加できます。

# 辞書の定義
employee_data = {'Tanaka': 'Project Manager', 'Suzuki': 'Developer', 'Sato': 'Business Analyst'}

# 複数の要素を追加
employee_data.update({'Yamada'='Designer', 'Kato'='Tester'})

このコードでは、employee_data に 'Yamada'さんと 'Kato'さんという2つの新しい要素を一度に追加しています。update() メソッドを使うことで、複数のキーと値を一度に追加できます。

追加後の辞書の中身を確認すると、以下のようになります。

print(employee_data)

'Yamada'さんと'Kato'さんのデータが正しく追加されていることが確認できます。

辞書のアンパック（展開）を使った要素の追加

**dictionaryのように、辞書の前に**を２つ付けることで、辞書をアンパック（展開）することができます。アンパック（展開）することで、辞書のキーと値のペアを個別の引数として渡すことができます。
 
ここでは{}に対して、辞書dictionaryのキーと値のペアと、新しいキーと代入値のペアを渡して、新しい辞書new_dictionaryを定義しています。

 
例えば、以下のようにして新しい要素を追加できます。

# 辞書の定義
employee_data = {'Tanaka': 'Project Manager', 'Suzuki': 'Developer', 'Sato': 'Business Analyst'}

# 辞書のアンパック（展開）を使って新しい辞書を作成
new_employee_data = {**employee_data, 'Yamada': 'Designer', 'Kato': 'Tester'}

このコードでは、元の辞書 employee_data に新しい要素を追加した新しい辞書 new_employee_data を作成しています。辞書をアンパック（展開）することで、元の辞書を変更せずに新しい辞書を作成できます。

上記の**employee_dataの箇所は、元の辞書employee_dataがアンパック（展開）されて、その要素'Tanaka': 'Project Manager', 'Suzuki': 'Developer', 'Sato': 'Business Analyst'が挿入されます。

追加後の辞書の中身を確認すると、以下のようになります。

print(new_employee_data)

こちらも'Yamada'さんと'Kato'さんのデータが正しく追加されていることが確認できます。

Copyright © 2026 ビジPy All Rights Reserved.

Developer Portal（開発者ポータル）におけるTwitter APIの利用申請にあたっては、「1. Basic info（基本情報）」「2. Intended to use（利用目的）」に分けて、質問がいくつかなされます。参考となる回答例を掲載しております。申請の際にご参考ください。

Basic Info

「Basic Info」タブに含まれる質問の回答例を記載します。

What would you like us to call you? （ニックネームは？）

英語でニックネームを記載してください。ここではTest Userとしました。

What country do you live in? （お住まいの国は？）

日本

What’s your current coding skill level?（現在のコーディングスキルのレベルは？）

　
いくらか経験あり

Get the latest Twitter API news? (optional)　（最新のTwitter APIニュースを取得する？（任意））

未チェックとしました。

Intended Use

「Intended Use」タブに含まれる質問の回答例を記載します。

How will you use the Twitter API or Twitter Data?（Twitter APIやTwitterデータをどのように使いますか？）

Twitter APIを使用してTwitterデータを分析し、ビジネスを改善したいと考えています。

Are you planning to analyze Twitter Data?（Twitterデータを分析する予定ですか？）

はい

Please describe how you will analyze Twitter data including any analysis of Tweets or Twitter users.（ツイートやTwitterユーザーの分析も含めて、どのようにTwitterデータを分析しますか？）

ツイートテキスト、ユーザー名、フォロワー数、投稿日など、自社製品に関連するツイートデータを取得して分析したい。

Will your app use Tweet, Retweet, Like, Follow, or Direct Message functionality?（あなたのアプリケーションでは、ツイート、リツイート、いいね、フォロー、ダイレクトメッセージの機能を使う予定ですか？）

いいえ

Do you plan to display Tweet or aggregate data about Twitter content outside Twitter?（Twitter外でTwitterのコンテンツの集約データやツイートを表示する予定ですか？）

いいえ

Will your product, service, or analysis make Twitter content or derived information available to a government entity?（あなたの製品、サービス、または分析により、Twitterのコンテンツまたは派生情報を政府機関が利用できるようになりますか？）

いいえ

 
Twitter API申請に関する質問の回答例は以上です。

Copyright © 2026 ビジPy All Rights Reserved.

Scrapyとは、できること

Scrapy（読み方：スクレイピー）とは、Pythonのスクレイピング・クローリング専用のフレームワークです。主にWebページからのデータ取得に用いられます。

 
今までのWebスクレイピングの方法では、BeautifulSoupやRequestsなど、複数のライブラリを継ぎはぎに組み合わせながら、多くのコーディングを行う必要がありました。この結果、スクレイピングの学習や作業に非常に多くの時間を費やし、せっかく取得したデータの活用に割ける時間が奪われてしまっていました。

 
しかしスクレイピング専用のフレームワークであるScrapyの登場により、これは劇的に変わりました。フレームワークとは、全体の処理の流れがある程度、事前に組み込まれているソフトウェアの基盤になります。従って、面倒な多くのことはフレームワーク自体が行ってくれて、これによりデータの取得が容易になり、効率的に行うことができるようになりました。

 
別のページへのリンクのたどり方や、どのデータを取得するかなど、最低限必要なコーディングだけを行えばよくなりました。さらに１つのフレームワークで実現するので、一貫性が保たれ、非常に高速にデータを取得することができます。

 
これにより効率的にWebサイトからデータを取得することができ、データ取得の本来の目的であるデータの活用に、より多くの時間を割くことができるようになります。

 
この記事では、このPythonのスクレイピング専用フレームワークScrapyの使い方を、徹底的に解説していきます。
 
Scrapyについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用ください。クリックすると自動的に適用されます。期間限定になりますのでお早めに。
>> 「PythonでWebスクレイピング・クローリングを極めよう！」(Udemyへのリンク)

ScrapyとBeautifulSoup、Seleniumとの違い

データ取得のステップ

Webページからのデータ取得は、次の３ステップで行われます。

１つ目はWEBページのHTMLデータのダウンロードです。ただし、HTMLには必要な文章のデータだけでなく、タグなどのデータも混じっているので、必要なものだけを抽出する作業が必要になります。

そこで２つ目のデータの抽出が欠かせません。ここでは、複雑な構造のHTMLデータを解析し、必要なデータだけを抽出します。

そして最後に抽出したデータをデータベースやファイルなどに保存します。

データ取得に利用するライブラリ

Pythonでデータ取得によく使われるライブラリとしては、Requests、Beautiful Soup、Selenium、Scrapyがあります。
 
先ほどのデータ取得の３ステップの中で、それぞれのライブラリがどこで使われるのかをまとめると次のようになります。

Requestsは１つ目のHTMLデータのダウンロードによく用いられます。PythonではRequestsを利用して、簡単にWebページからHTMLを自動的にダウンロードすることができます。
 
その後、取得したHTMLからBeautiful Soupなどの別のライブラリを用いて必要なデータのみを抽出します。
 
またSeleniumは、JavaScriptが使われている特殊なWebページからのHTMLデータのダウンロードや、サイトへのログインなどに使います。
 
Seleniumは、HTMLのダウンロードだけでなく、必要なデータの抽出も行うことができますが、ブラウザを操作してデータを取得しますので、動作が遅いことが難点です。従って、できるだけ必要最低限の箇所でSeleniumを使うことをお勧めします。
 
そしてこれら３つのステップを全てカバーするのがScrapyになります。Scrapyでは、コードは主にSpiderと呼ばれるクラスに記述していきます。Spiderにコードを記述すれば、後は他のものがうまく連動してくれて、必要な作業を行ってくれます。
 
Spiderには、最初のURLとリンクのたどり方を記述します。すると後はScrapyが、当てはまるWebページを次々自動的に高速にダウンロードしてくれます。そして、取得したHTMLの中から、どのデータを抽出するのかを、Spiderに記述します。すると、データの抽出自体はScrapyが行ってくれます。
 
ファイル出力は、コマンド１つでScrapyがCSV、JSON、XMLなど各種ファイルに出力・保存してくれます。
 
またJavaScriptが使われている特殊なWebページに対しては、Scrapy-SeleniumやScrapy-Splashを使います。これらについては別の記事で紹介していきます。

Scrapyのインストール方法（Anacondaでの環境構築）

Anacondaでの環境構築(Python3.8)

本記事では、AnacondaとVS Codeを元にScrapyの開発環境を構築していきます。詳細は、以下のリンクを参照ください。またAnacondaでの仮想環境の作成においては、Pythonのバージョンは、必ず3.8を選択してください。現時点で、Scrapyはpython3.9に対応していません。
>> VS CodeでPython開発環境の構築

Scrapyのインストール

次にScrapyをインストールします。Anaconda Navigatorから仮想環境を選択し、三角のボタンをクリックして表示されたメニューから「Open Terminal」を選択します。

 
ターミナルが立ち上がったら、環境が先ほど作成したものであることを確認します。そして次のコマンドを入力し実行します。

途中で Proceed ([y]/n)?　とインストールの確認メッセージが表示されたらyと入力し、Scrapyをインストールします。
 
インストールが終わりましたら、Scrapyの環境構築は終わりです。

Scrapyで利用できるコマンド

Scrapyでは、ターミナルを起動してコマンドを入力・実行することで、次のことを行うことができます。

 
コマンドの詳細については、以下を参照ください。
>> Scrapyで利用できるコマンド
 
後で実際に実行していきますが、基本的な流れとしては、startprojectコマンドでプロジェクトを作成し、genspiderでプロジェクト内にspiderを作成していきます。
 
spiderのコーディングでは、必要に応じてshellでデータ取得方法を確認し、それをspiderに反映します。またScrapyのコーディングは、VS Codeで行います。
 
そしてコーディングが終わりましたら、crawlコマンドでspiderを実行する　というのが一連の流れになります。

プロジェクトの作成

それでは実際にプロジェクトの作成、spiderの作成と一連の流れを確認していきます。
 

Scrapyでの開発ステップ

後で実際に１つ１つ確認していきますが、基本的な流れとしては、次のようになります。

まずは大きく分けて２つのパートがあります。１つは、スクレイピング対象のサイトを分析し、データの取得方法の検討・確認を行うパート（左側）と、もう１つは、プロジェクトの作成からspiderの作成と、実際にコーディングを行うパート（右側）です。

 
 

まずデータの取得方法の検討・確認を行うパート（左側）では、最初に目的のWebサイトからデータの取得方法を検討します。データの取得は、XPathやCSSセレクタと呼ばれるHTMLの中から必要な情報を取得するのに利用する簡易言語を使います。
 
ブラウザGoogle Chromeの開発者ツールを用いて、取得したいデータがあるサイトのHTMLを確認し、XPathやCSSセレクタでデータの取得方法などを検討していきます。
 
XPathやCSSセレクタの詳しい説明は、以下を参照ください。
>> XPathでスクレイピングする方法
>> CSSセレクタを用いたBeautifulSoupのselectメソッドの使い方
 
そして必要に応じて、これら検討したXPathやCSSセレクタで、正しくデータ取得できることをshellで確認します。shellでの確認は任意ですので、これを行わず、直接spiderへコーディングを行い、実行してエラーがあれば修正するという方法でも問題ありません。慣れてくると、通常は、shellでの確認は、行わなくなるかと思います。
 
またこれらのデータの取得方法の検討・確認は、spiderのコーディングまでに終えていれば良いので、これを最初に行わず、プロジェクトやspiderの作成の後や、さらにはspiderのコーディングの最中に行っても問題ありません。
 
またスクレイピング対象のサイトが構造の異なる複数のページに分かれている場合、１つのページの取得方法を検討・確認してはコーディングを行い、もう１つのページの取得方法を検討・確認してはコーディングを行うと行ったり来たりすることもあります。

 

そしてコーディングを行っていくパート（右側）では、最初にターミナルからstartprojectコマンドでプロジェクトを作成し、genspiderでプロジェクト内にspiderを作成していきます。１つのプロジェクト内には、目的に応じて複数のspiderを作成することができます。
 
次にspiderのコーディングでは、これら確認したXPathやCSSセレクタをspiderに反映していきます。またspiderではXPathやCSSセレクタ以外のコーディングも行います。spiderのコーディングはVS Codeで行います。
 
そしてコーディングが終わったら、crawlコマンドでspiderを実行して、実行結果を確認し、問題があればコードに戻って修正します。
 
というのが一連の流れになります。これらの各ステップは、この後で１つずつ確認していきます。

Scrapyの練習用サイト

この記事では、スクレイピング用の練習サイト、Books to Scrapeのサイトから書籍のデータを取得していきます。

 

このサイトは、書籍を販売しているサイトのイメージで作成されています。スクレイピング用の練習サイトですので、実際に書籍を販売しているわけではありません。ここには、全部で１０００冊の書籍があり、1ページに２０冊分ずつの書籍が一覧で表示されています。
 
一覧では書籍の簡単な情報が掲載されており、書籍の表紙の画像、星での評価、タイトル、価格、在庫状況、バスケットに追加のボタンが表示されています。

 
 
各書籍のタイトルをクリックすると、詳細ページへ遷移します。この詳細ページでは、その書籍に関する、より詳しい情報を確認することができます。

 
 
また一覧に戻ってページの下の方へ行くと、次のページへのリンクがあります。このnextをクリックすると、次のページへ遷移することができます。

 
 
また各書籍はカテゴリ分けされていて、左側にはカテゴリのメニューが表示されています。
このメニューをクリックすると、一覧に表示される書籍を、カテゴリ毎に絞り込んでいくことができます。

 
この記事では、全ての書籍から情報を取得していては時間がかかりますので、カテゴリfantasyに属する４８冊の書籍に絞って、データを取得していきます。
 
まずはfantasyのカテゴリの１ページ目に表示されている、書籍のタイトルとURLの一覧を取得していきます。そして、後で２ページ目以降のデータの取得方法を検討していきます。

プロジェクトの作成

Scrapyでプロジェクトの作成には、startprojectコマンドを使います。

ディレクトリの指定は任意で、指定しなくても問題ありません。
 
指定したディレクトリの下に ここで指定した名前の新しいScrapyプロジェクトを作成します。 ディレクトリ を指定しなかった場合、 ディレクトリ は プロジェクト名 と同じになります。
 
まずはprojectsというディレクトリを作成します。その中にこれからの様々なプロジェクトを作成していきます。ディレクトリの作成は、mkdirを使います。

 
ディレクトリprojectsを作成した後、コマンドcdでprojectsに移動します。

 
そして先ほどのstartprojectコマンドでScrapyのプロジェクトを作成します。ここではプロジェクト名はbooks_toscrapeとします。

startprojectコマンドを実行すると、プロジェクトに必要なディレクトリ、ファイルが自動的に作成されます。

フォルダ・ファイルの説明

ここで、startprojectコマンドで作成されたものを確認してみましょう。使い方、設定方法は後で解説いたします。ここではざっくりと、どのようなものがあるかを説明いたします。

・scrapy.cfgファイル
spiderの作成やデプロイに重要な設定ファイルです。

・spidersフォルダ
このフォルダの中にspiderが作成されます。

・items.pyファイル
スクレイピングで取得したデータを格納する入れ物のようなものです。これはアイテムと呼ばれています。アイテムの各フィールドは、このような形で定義し、予め定義していないとデータを格納できません。この例では、フィールド名nameが定義されています。またspiderではアイテムを使わず、辞書に格納することもできます。

 
・middlewares.pyファイル
requestとresponseに関連する追加の処理を拡張する為に、ロジックを記述します。２つのmiddlewareがあり、１つはspider middlewareでWebサイトへのrequestやresponseに関連する処理を拡張することができます。もう１つは、download middlewareで、Webサイトからページのダウンロードに関する処理を拡張することができます。

・pipline.pyファイル
Webサイトから取得したデータのクレンジング、チェック、DBへの更新などの処理を記述するのに利用します。

・settings.pyファイル
パラメーターで各種設定を行う設定ファイルです。今後よく使うことになります。

Spiderの作成

それではspiderを作成していきます。先ほど作成したプロジェクトbooks_toscrapeへ移動します。

 
そしてspiderを作成します。scrapy genspider と入力し、基本的にはスパイダー名、URLを入力します。

URLの内、最初のhttps://と最後の / は削除してください。URLのこれらのものは、scrapyが自動で付加してくれますので、重複を避ける為、ここでは削除します。但し、scrapyはhttp://のプロトコルでテンプレートを自動的に作成しますので、後でhttpsに修正する必要があります。
 
またspiderはScrapyで予め用意されたテンプレートを元に作成されます。
必要に応じて、-t に続いて、テンプレートを指定します。
 
利用できるテンプレートは、次のコマンドで確認することができます。

何も指定しなければ、basicのテンプレートになります。ここでは、このbasicのテンプレートを使います。
 
crawlは、通常のWebサイトをクロールするために使われるテンプレートです。ルールを定義してリンクをたどっていくテンプレートになります。このテンプレートは、別の記事で詳しく解説いたします。
 
csvfeedはcsvファイルを、xmlfeedはxmlファイルを読み込むテンプレートです。これらはめったに使いません。通常はbasicかcrawlテンプレートを使うことになります。
 
それでは、genspiderコマンドでspiderを作成します。scrapy genpiderに続いて、spider名を入力します。ここではbooks_basicとします。またURLはサイトから取得して貼り付けます。そして、https://と最後の/を消します。

 
コマンドを実行すると、spidersフォルダの下にspiderのファイル、books_basic.pyが作成されています。

Spiderのclassの説明（basicテンプレート）

作成したspiderのファイル、books_basic.pyを開きます。

import scrapy

class BooksBasicSpider(scrapy.Spider):
    name = 'books_basic'
    allowed_domains = ['books.toscrape.com/catalogue/category/books/fantasy_19/index.html']
    start_urls = ['http://books.toscrape.com/catalogue/category/books/fantasy_19/index.html/']

    def parse(self, response):
        pass

spiderはクラスです。scrapyモジュールにあるspiderクラスを継承しています。つまり、このspiderクラスの多くの機能を引き継いでいます。
 
この中には、オーバーライド、つまり上書きすべきコードだけを記述していきます。従って、Scrapyではほんの数行のコードでも、多くのことを実現することができます。
 
属性としては、これらの３つが定義されています。

• name属性には、先ほどのgenspiderコマンドで入力したspiderの名前が入っています。 それぞれのspiderはユニークな名前を持っています。ここでは、books_basicになります。１つのprojectで複数のspiderを作成できますが、それぞれユニークな名前を付ける必要があります。重複してはダメです。
• allowed_domeinsは、spiderがアクセスできるドメインを示します。リストなので複数指定することも可能です。無くても良いですが、spiderがリンクをたどって思わぬドメインもスクレイピングしないように設定する方がよいです。
  またドメインなので、http://などのプロトコルは付ける必要が御座いません。
• start_urlsは、spiderがスクレイピングを開始するURLが設定されます。spiderは初期設定では、http://で作成するので、https://とsを付ける必要があります。（※コードにsを追記する。）

またメソッドとしてparseメソッドが記述されています。

Scrapyの処理の流れ

Scrapyの処理の説明に入る前に、まずHTTP通信とリクエストメソッドについて、概要を簡単に説明します。WebブラウザでWebページを開くと、WebブラウザとWebサーバの間でデータの通信が行われます。この通信はHTTPというプロトコルに基づいて行われます。

Webブラウザは最初に、開きたいWebページのアドレスをWebサーバに要求、リクエストを送信します。するとWebサーバは、ブラウザからのリクエストを受けて様々な処理を行った後、ブラウザへ回答、レスポンスを返します。Scrapyは、ここでのブラウザの役割の代わりを担い、リクエストの送信やレスポンスの受け取りを行います。
 
Scrapyの一連の処理では、まずrequestがstart_urls属性に設定されたURLに送られます。そして、Webサイトからのresponseをparseメソッドでキャッチします。このparseメソッドの中にXPathやCSSセレクタを用いて情報の抽出を行っていきます。
 
Webサイトから返ってくるresponseの中には、WebページのHTMLコードも含まれます。1ページ全てのコードになりますので、非常に多くのコードが含まれており、その中から必要な情報だけを取得する必要があります。
 
XPathやCSSセレクタは、HTMLの多くのコードの中から必要なものを取得するのに利用する簡易言語です。Scrapyを使ったスクレイピングでは大変重要になってきます。XPathやCSSセレクタの詳しい説明は、以下を参照ください。
>> XPathでスクレイピングする方法
>> CSSセレクタを用いたBeautifulSoupのselectメソッドの使い方
 
これら以外にも多くのメソッドがあり、scrapyでは必要に応じてオーバーライド、つまり上書きして処理を記述していきます。
 
最後に注意点として、これらの予めテンプレートに定義された属性とメソッド(name、allowed_domein, parse, etc.)の名前を変更してはいけません。うまく動作しなくなります。
 
spiderの作成と、最初に生成されるコードの説明は以上です。一旦、変更したものを保存します。保存は、ショートカットキーCtr + Sになります。

Chrome開発者ツールの使い方

次に、実際にspiderのコーディングに取り掛かる前に、ブラウザChromeを用いて、目的のWebサイトからデータをどのようにして取得するか、検討する方法を説明いたします。
 
Webスクレイピングでは、対象のWebサイトのHTMLソースコードを確認して、取得したい項目が格納されている箇所を特定し、取得方法を確認する必要があります。
 
これらの確認にChromeの開発者ツールは用いられ、スクレイピングを行う上で非常に重要なツールとなります。
 
ブラウザGoogle Chromeがインストールされていない方は、以下のリンクよりインストールしてください。
>> Google Chrome公式ページ

開発者ツールの表示方法

ブラウザGoogle Chrome を立ち上げ、Books to Scrapeのサイトに行き、カテゴリからfantasyを選択します。fantasyに属する書籍の一覧が表示されます。
 
ここで１つの書籍のタイトルにカーソルを当てて、右クリックのメニューから検証を選択します。すると、右側に該当箇所のHTMLコードがハイライトされて表示されます。

 
書籍のタイトルやURLは、このh3要素配下のa要素に含まれています。タイトルはtitle属性、もしくは、a要素配下のテキスト、URLはhref属性に格納されています。

 
指定方法をXPathやCSSセレクタで確認していきます。Ctr + Fで検索ウィンドウを表示します。ここでは、XPathやCSSセレクタを入力することで、HTMLコードの中で該当する箇所を確認することができます。

最初にXPathで取得方法を検討し、その後にCSSセレクタでも検討します。

XPathでの取得方法の検討

XPathで途中の階層から要素を指定するには、ダブルスラッシュから始めます。//h3 とh3要素を指定すると、ヒット件数は20件になります。下矢印を押すと、次の書籍のタイトルにハイライトが移動していきます。この２０件は、このページの書籍の件数２０と一致します。余分なものも含まれていないようです。

 
一方でh3要素を省略し、a要素から取得しようとすると、９５件がヒットし、この中には書籍の情報が格納されているもの以外の要素も含まれてしまっています。従って、//h3/aとa要素の親要素であるh3要素から取得していきます。

 
書籍のタイトルは、a要素のtitle属性の値を取得する場合は、

となります。属性の値は、@に続いて属性名で取得することができます。

 
また書籍のタイトルはa要素の配下のテキストにも格納されていますので、

でも取得することができます。

 
そしてURLは、a要素のhref属性の値に格納されていますので、

で取得することができます。

CSSセレクタでの取得方法の検討

同じ内容をCSSセレクタでも取得してみます。
 
CSSセレクタで途中の階層から指定する場合は、そのまま要素名を入力するだけで良いので、h3と入力します。そしてその配下のa要素を指定するには、１つスペースを空けてaと入力します。この場合は、h3要素の子孫要素の中からa要素を指定することになります。a要素はh3要素の直接配下にありますので、子要素になります。子要素も子孫要素の一種ですので、このようにスペースで指定することができます。

 
また子要素と限定して指定する場合は、大なりの記号で指定することができます。大なりの記号の前後にはスペースを挟みます。

いずれの方法でもh3配下のa要素を指定することができます。
 
そしてタイトルは、擬似要素と呼ばれる特殊な要素の指定方法を利用して取得することができます。コロン２つに続いてtextと記述します。但し、これらの疑似要素は非標準で、開発者ツールでは確認することができず、コーディングの際に追記します。

 
またtitle属性の値を取得する場合は、こちらも擬似要素を用いてコロン２つに続いてattr(title)と記述します。attr()で属性の値を取得することができ、ここではtitle属性の値を取得しています。

 
そしてURLは、href属性の値ですので、こちらも擬似要素を用いて、:: attr(href)で取得することができます。

 
以上で書籍のタイトルとURLの取得方法について、検討が終わりました。次に、これらの情報を取得すべく、コーディングに入っていきます。

Scrapy Shellの使い方

Shellは、Chromeの開発者ツールで確認したXPathやCSSセレクタで、うまく目的の情報を取得できるか確認するのに利用します。
 
取得方法に特に懸念点が無い場合、このプロセスを飛ばして、次のspiderへのコーディングに進んで頂いても問題御座いません。慣れてくるとspiderに直接まとめてコーディングして、エラーが出た場合は修正する、という方がやり易いかもしれません。
 
Shellの詳細については、以下を参照ください。
>> Scrapy Shellの使い方

Spiderのコーディングと実行

それでは、いよいよspiderのコーディングに入っていきます。その中で、scrapyの各種設定を行う設定ファイルsettings.pyファイルの編集とspiderのコーディングの方法について、解説いたします。

プロジェクトフォルダのオープン

まずはAnaconda Navigatorのメニューから、作成した仮想環境を選択します。この記事では、scrapy_workspaceになります。そして、VS Codeを起動します。

 
VS Codeでは、fileメニューからopen folderを選択し、サブWからprojectsフォルダ配下のbooks_toscrapeを選択します。

settings.pyの編集

最初にsettings.pyをオープンします。ここでは、パラメーターでscrapyの様々なオプションを指定します。

 
FEED EXPORT ENCODINGでは、出力ファイルの文字コードを指定します。文字コードには様々なものがありますが、標準的なutf-8を指定します。指定をしないと文字化けすることがあります。

FEED_EXPORT_ENCODING = 'utf-8'

 
DOWNLOAD DELAYのパラメーターのコメントアウトを外します。コメントアウトの解除はショートカットキー、Ctr + K + U　で行うことができます。DOWNLOAD DELAYでは、1つのページをダウンロードしてから、次のページをダウンロードすするまでの間隔（単位：秒）で指定します。

DOWNLOAD_DELAY = 3

誤ってサーバーに対して負荷をかけ過ぎないよう、ダウンロード毎の処理の間隔として3秒間隔を開けます。

 
また次のROBOTSTEXT_OBEYは、robots.txtがある場合は、それに従うかどうかを指定するパラメーターになります。最初からTrueになっておりますので、ここでは不用意にrobots.txtで禁止されているページにアクセスしないよう、このままTrueにしておきます。

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

 
全ての変更が終わりましたので、変更内容を保存します。ショートカットキーCtr + S で保存します。
 
settings.pyの変更は以上になります。
 

Spiderのコーディング

それではいよいよ最後のspiderのコーディングに入っていきます。ここではカテゴリFantasyの最初のページから、書籍のタイトル・URLの一覧を取得していきます。
 
先ほど作成したbooks_basicのspiderをオープンします。

属性の変更

spiderにはこれらの３つの属性が定義されていました。
・name属性には、spiderの名前が入っています。
 
・allowed_domeinsは、spiderがアクセスできるドメインを示します。
ドメイン名ですので、books.toscrape.com　と、手前のドメイン部分だけにする必要があります。

allowed_domains = ['books.toscrape.com']

 
・start_urlは、spiderがスクレイピングを開始するURLが設定されます。spiderは初期設定では、http://で作成するので、https://とsを付ける必要があります。

start_urls = ['https://books.toscrape.com/catalogue/category/books/fantasy_19/index.html']

parseメソッドのコーディング

またメソッドとしてparseメソッドが記述されています。Scrapyの一連の処理では、まずrequestがstart_urlsのURLに送られます。そして、Webサイトからのresponseをparseメソッドでキャッチするということでした。この中にGoogle Chromeで確認したXPathやCSSセレクタを用いて情報の抽出を行っていきます。

def parse(self, response):
        books = response.xpath('//h3')
        # books = response.css('h3')
        yield {
            'books': books
        }

先ほど確認したXPathを元に、まずはh3要素を取得し、変数booksに格納します。このh3要素の配下の要素には、書籍のタイトルやURLが格納されている要素が含まれています。書籍は２０冊ありますので、２０個のh3要素が格納されています。
 
またCSSセレクタの場合は、cssメソッドに変更し、CSSセレクタを渡します。ここではXPathで実行していきますので、このコードはコメントアウトします。CSSセレクタでも実行結果は同じになります。
 
ここには最後尾に.get()や.getall()が付いていませんので、Selectorオブジェクトがリストに格納されたかたちで情報が取得されます。ここでは取得したいデータとは関係ありませんが、理解しやすいよう、この変数booksの中身を確認してみましょう。戻り値はyieldを使って辞書で記述し、出力します。
 
またscrapyのparseメソッドでは、yieldを使って値を返します。何か値をxpathで取得した後、その値をyieldを用いて辞書型で返すことで、その結果が画面やファイルに出力されます。
 
returnでは、そこで処理が完全にストップしてしまいますが、yieldでは処理を一旦停止させるだけですので、値を返した後に処理は継続していきます。
 
まずはこの変数booksの中身を確認するよう、ここで実行してみます。変更内容を保存するよう、ショートカットキーCtr + Sで保存します。

Spiderの実行方法

spiderの実行はターミナルで行います。
 
spiderの実行にあたっては、scrapy.cfg(コンフィグ)ファイルと同じレベルのディレクトリにいる必要があります。ここではprojects配下のbooks_toscrapeにディレクトリを移動します。
 
そして、spiderの実行には、コマンドcrawlを使います。scrapy crawl books_basic　と入力し、エンターキーで実行します。

 
実行すると、このようにSelectorオブジェクトをリストで取得することができました。この変数booksの中には、Selectorオブジェクトのリストが格納されています。

 
Selectorオブジェクトには、取得した要素の情報が格納されています。これらは、 XPath または CSS セレクタで指定されたHTMLの特定の部分を「選択(select)」するため、セレクター(selector)と呼ばれています。

 
ここではh3要素から配下の要素の情報が１つのSelectorオブジェクトとして、リストで格納されます。書籍１つが１つのリストの要素として、要素数が２０のリストになっています。

 
dataには、省略して表示されていますが、h3要素とその配下の要素の情報が格納されています。この１つ１つのSelectorオブジェクトの中から、書籍のタイトルやURLを取得していきます。

parseメソッドのコード変更

parseメソッドで、Selectorオブジェクトの中から、書籍のタイトルやURLを取得したコードは次のようになります。

def parse(self, response):
        books = response.xpath('//h3')
        # books = response.css('h3')

        for book in books:
            yield {
                'Title': book.xpath('.//a/@title').get(),
                'URL': book.xpath('.//a/@href').get()
                # 'Title': book.css('a::attr(title)').get(),
                # 'URL': book.css('a::attr(href)').get()
            }

 
Selectorオブジェクトのリストが格納されている変数booksをfor文でループを回しながら１つ１つ取り出していきます。取り出したものは、単数形の変数bookに格納します。つまり変数bookには１つのSelectorオブジェクトが格納されています。

ここからさらに書籍のタイトルやURLを取得し出力していきます。yieldで取得した情報を出力します。

タイトルの取得(XPath)

書籍のタイトルは、キーTitleとして出力します。また書籍のタイトルは、h3要素の配下のa要素のtitle属性に格納されています。
 
変数bookに格納されているSelectorオブジェクトには、h3要素とその配下の要素の情報が格納されていますので、その配下にある要素の中からa要素を指定していきます。
 
Selectorオブジェクトに対して、XPathを記述する場合、最初に . (ドット)を付ける必要があります。
 
前はresponseに対してXPathを記述しましたので必要ありませんでしたが、Selectorオブジェクトに対して、XPathを記述する場合は、ドットが必要になりますので、ご注意ください。

タイトルの取得(CSSセレクタ)

またCSSセレクタで記述する場合は、ドットやその他追加する必要はありません。そのまま先ほど開発者ツールで確認したCSSセレクタを記述してください。::attr(title)は付ける必要があります。

以降はXPathで解説を進めていきますが、CSSセレクタでも同様に、cssメソッドに変更し、Chromeで確認したCSSセレクタを渡してください。

URLの取得

次にa要素のhref属性の値を取得し、出力します。

Spiderの実行とファイル出力

そして、spiderを実行します。ショートカットキーCtr + Sで保存し、ターミナルを開きます。
 
scrapy crawl books_basic　と入力し、今度はJSONファイルに出力します。ファイル出力は、-o に続き、ファイル名を入力します。ここではbook_fantasy.jsonとしておきます。エンターキーで実行します。

 
出力されたJSONファイルを開けると、
 
このようにBooks to Scrapeのサイトから取得したfantasyの書籍のタイトルとURLが表示されました。ここでは１ページ目の情報、２０冊分だけが表示されています。

Scrapyでのページ遷移（リンクのたどり方）

ここまでで、サイトBooks to Scrapeの最初のページに表示されている書籍のタイトルとURLを取得することができました。ここではさらに、次のページ以降の情報も取得していきます。
 
ページの下の方へ行くと、次のページへのリンクがあります。このnextをクリックすると、次のページへ遷移することができます。

リンクのURLの取得方法の検討

まずはこの次のページのリンクのURLの取得方法を検討します。
 
nextにカーソルを当てて右クリックし、メニューから検証を選択します。右側に該当箇所のHTMLコードが表示されます。このa要素のhref属性に格納されているようです。a要素だけで指定すると多くヒットし、このa要素だけに絞り込めませんので、絞り込みに使えそうな要素を探します。ここでは1つ上のclass属性の値にnextを持つli要素が絞り込みに使えそうです。

 
Ctr + Fで検索欄を表示し、まずはXPathで取得方法を確認します。

と入力すると、1件に絞り込むことができました。

 
また同じものはCSSセレクタでは、

と記述します。::attr(href)は、非標準の疑似要素になりますので、開発者ツールでは確認することができず、コーディングの際に追記します。

Spiderへの複数ページ遷移のコード追記

先ほど開発者ツールで次ページへのURLの取得方法を確認しましたので、次に、これら確認した次のページへのURLを元に、spiderのコーディングにURLをたどるコードを追記していきます。
 
parseメソッドに対して、リンクをたどるコードを追記したコードは、次のとおりです。

def parse(self, response):
        books = response.xpath('//h3')
        # books = response.css('h3')

        for book in books:
            yield {
                'Title': book.xpath('.//a/@title').get(),
                'URL': book.xpath('.//a/@href').get()
                # 'Title': book.css('a::attr(title)').get(),
                # 'URL': book.css('a::attr(href)').get()
            }

        next_page = response.xpath('//li[@class="next"]/a/@href').get()
        # next_page = response.css('li.next a::attr(href)').get()
        if next_page:
            yield response.follow(url=next_page, callback=self.parse)

 
先ほどの書籍の情報を取得するfor文の後に、次のページへのリンクをたどるプログラムを追記しています。
 
次のページへのリンクは、変数next_pageに格納します。response.xpathに続いて、引数に先ほど確認したXPathを渡します。CSSセレクタの場合は、このxpathメソッドをcssメソッドに変更し、Chromeで確認したCSSセレクタを渡します。

 
そして次へのボタンが存在し、リンクが取得できる場合のみ、次のページへ遷移します。
 
従って、if文でnext_pageに値が格納されていることを確認します。最後のページでは、次へのボタンが存在しませんので、変数next_pageはNullになり、処理を実行しません。if文で実行する処理には、response.followを記述します。

引数には、urlとコールバックメソッドを指定します。URLは絶対URL／相対URLの両方に対応しています。response.follow により、リンクで指定されたURLを元にサーバーに対してリクエストを送信し、レスポンスをコールバックメソッドで受け取ることができます。
 
コールバックメソッドには、このparseメソッドと同じ内容を実行しますので、self.parseを指定します。
 
つまり、最初のページで書籍の情報、タイトルとURLを取得し、次のページへのリンクをたどって、また次のページで書籍の情報を取得し、そして次のページへ遷移するという一連の処理を、次のページが無くなる最後のページまで繰り返していきます。

 
それではspiderを実行してみましょう。ショートカットキーCtr + Sで保存し、ターミナルを開きます。
 
scrapy crawl books_basic と入力し、ファイル出力は、-o に続き、ファイル名を入力します。ここではbook_fantasy.jsonとしておきます。エンターキーで実行します。

 
出力されたJSONファイルを開けると、このようにBooks to Scrapeのサイトから取得したfantasyの書籍のタイトルとURLが表示されました。ここでは１ページ目の情報だけでなく、２ページ目以降の情報も含めて、カテゴリfantasyに含まれる４８冊分全ての情報が表示されています。

 
この記事は以上になります。
 
Scrapyについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用いただければと思います。クリックすると自動的に適用されます。期間限定になりますのでお早めに。
>> 「PythonでWebスクレイピング・クローリングを極めよう！(Scrapy、Selenium編)」(Udemyへのリンク)

Copyright © 2026 ビジPy All Rights Reserved.

Anacondaのインストール(Windows/Mac編)

Anaconda（アナコンダ）とは、データサイエンスに特化したプラットフォームで、データサイエンスに適したライブラリや便利な機能を有しています。
 
Anacondaの中には、PythonやRなどのデータサイエンスに良く利用される言語のライブラリも含まれています。スクレイピングでデータ取得後にデータを活用していく際にも、非常に便利になります。
 
Anacondaは無料で利用することができ、簡単にインストールすることができます。
 
本記事では、AnacondaをインストールすることでPythonを利用できる環境を整えていきます。Anacondaのインストールの詳細については、以下を参照ください。
>> AnacondaでPython3をインストールする方法(Windows/Mac編)

Anacondaでの仮想環境の構築

次にAnacondaで仮想環境を構築します。仮想環境の利点は、それぞれの環境毎に、個別のライブラリをインストールすることができます。例えば、ある環境では、Python3.6を使い、ある環境ではPython3.8を利用したり、またその他のPythonライブラリも異なるバージョンのものを利用することができます。
 
基本的には、Pythonのライブラリは不意に頻繁に変更されます。このようなマイナーな変更でコードが動かなくなることがあります。これを避ける為、目的に応じて専用の仮想環境を作成すると大変便利です。
 
Anaconda Navigatorを起動すると、左手のタブにはEnvironmentというメニューがあり、これをクリックします。ここには作成した仮想環境が表示されています。

まだ仮想環境を作成されていない場合は、上のbase(root)だけが表示されています。ここでは環境を選択すると、右側にインストールされているライブラリとそのバージョンが表示されています。
 
上記の画面で「Create」ボタンを押すと、次のウィンドウが表示されます。

Name欄には、仮想環境の名前を入力してください。またPackagesには、Pythonにチェックが付いていますので、このままPythonにチェックを付けて、目的に応じて必要なバージョンを選択してください。

 
そしてCreateボタンを押すと、環境が作成され、ここに表示されます。ここでは「scrapy_env」という名前の仮想環境を作成しました。

VS Codeのインストール

この記事では、開発環境としてVS Code（Visual Studio Code）を使いコーディングを行います。以下のリンクからVS Codeのページに行き、「Download now」をクリックします。
>> Visual Studio Codeダウンロードページ

 
ダウンロードページが表示されますので、WindowsやMacなど、使っている環境に合わせて、インストーラーをダウンロードします。

 
ダウンロードが終わりましたら、インストーラーをダブルクリックします。次の画面が表示されますので、使用許諾書を確認の上、「同意する」を選択し「次へ」をクリックします。

 
「Pathへの追加」にチェックを付け「次へ」をクリックします。

 
「インストール」をクリックすると、インストールが始まります。

 
またmacOSでは、ダウンロード後に展開された「Visual Studio Code.app」ファイルをアプリケーションフォルダにドラッグ＆ドロップする必要があります。これにより、Launchpadから起動することができます。

VS CodeにPathを追加(Macのみ)

macOSでターミナルからVS Codeを起動できるようにするには、次の作業が必要になります。
 
VS Codeを起動しF1キーを押すと、コマンドパレットが表示されます。コマンドパレットに「shell command」と入力し、表示されたものの中から「Install ‘code’ command in PATH」を選択します。

 
追加したPathが有効になるよう、ターミナルを再起動します。そしてターミナルで次のコマンドを入力すると、VS Codeが立ち上がります。

VS CodeでのPython拡張機能のインストール

次にPythonの拡張機能をインストールします。Pythonの拡張機能では、Pythonのコードを整形したり、問題点を見つけたりと、様々な便利な機能を提供してくれます。VS CodeでPythonのコードを記述する上で、欠かせないものとなります。

メニューからVS Codeを起動し、左側のメニューから「extensions」をクリックします。そして表示された検索欄に「Python」と入力し拡張機能を検索します。表示された中から、一番上の「Python」を選択します。「install」ボタンをクリックして、拡張機能をインストールします。

VS CodeでPythonのPathを通す(Macのみ)

次にmacOSでは、Anacondaで作成した仮想環境へのPathを設定する必要があります。Windowsは自動的に設定されています。この設定をしないと、Python実行時に異なる仮想環境が選択されてしまう可能性があります。

最初に、ターミナルに次のコマンドを入力し、仮想環境のPathを確認します。

 
ここでは「scrapy_env」という名前で仮想環境を作成しましたので、そのPath「/Users/<name>/opt/anaconda3/envs/scrapy_env」をコピーします。<name>には、ログインユーザー名が入ります。

次に、上のメニューから「code」⇒「preferences」⇒「Settings」を選択します。
（Windowsで設定内容を確認したい場合は「File」⇒「preferences」⇒「Settings」になります。）

 
そして表示された入力欄に「python.defaultInterpreterPath」と入力し、そして表示された「Python: Default Interpreter Path」の入力欄に先ほどコピーした仮想環境のPathを貼り付けます。

 
以上で、VS CodeでPythonの開発環境の準備が整いました。

VS Codeでの日本語拡張機能のインストール

次にVS Codeのメニューを日本語化するのに必要な日本語拡張機能をインストールします。不要な場合は、インストールしなくても問題ございません。

こちらも左側のメニューから「extensions」をクリックします。そして表示された検索欄に「japanese」と入力し拡張機能を検索します。表示された中から、一番上の「Japanese Language Pack for Visual Studio Code」を選択します。「install」ボタンをクリックして、拡張機能をインストールします。

インストールが終わりましたら、VS Codeを再起動します。メニューの表示が日本語になります。

Copyright © 2026 ビジPy All Rights Reserved.

 
Scrapyについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用いただければと思います。クリックすると自動的に適用されます。期間限定になりますのでお早めに。
>> 「PythonでWebスクレイピング・クローリングを極めよう！(Scrapy、Selenium編)」(Udemyへのリンク)

scrapyで利用できるコマンド

コマンド一覧の表示

ターミナルを起動して、scrapy と入力しエンターを押すと、scrapyに関する情報が表示されます。

バージョン：私の環境は2.4.1です。利用中のプロジェクトがあれば、アクティブなプロジェクトとしてここに表示されます。
 
使い方としてコマンドの説明が書かれています。scrapy コマンド　と続いてオプション、引数を入力します。
 
そして、scrapyで利用できるコマンドの一覧が表示されます。主なコマンドを紹介します。

benchコマンド

benchコマンドは、簡単なベンチマークテストを実行するのに利用します。

startprojectコマンド

startprojectは、プロジェクトを作成するのに使います。
 
scrapyはプロジェクトという単位で１つのまとまりを構成し、その中にspiderというWebサイトから情報をスクレイピングする為のクラスを作成していきます。
 
１つのプロジェクトの中には、複数のspiderを作ることができます。

genspiderコマンド

genspiderは、新しいスパイダーを作成するのに利用します。spiderは、目的に応じて予め用意された、いくつかのテンプレートを元に作成します。

runspiderコマンド

runspiderは、プロジェクトを作成せずに、スパイダーを実行するのに用いられます。
 
通常はプロジェクトを作成しますので、めったに利用することはありません。何かを試したいなど、使い捨てのspiderを実行するのに利用します。

crawlコマンド

一方で、作成したプロジェクト内にスパイダーを作成し、そのスパイダーを実行する場合は、crawlコマンドを使います。
 
従って、通常はプロジェクトを作成しますので、スパイダーの実行には、こちらのcrawlコマンドを使うことになります。

shellコマンド

shellコマンドにより、対話型shellを起動します。shellでは、XPathやCSSセレクタでデータの取得などを試すことができます。これら試したXPathやCSSセレクタをspiderに反映していきます。
 
XPathやCSSセレクタは、HTMLの多くのコードの中から必要なものを取得するのに利用する簡易言語です。
 
XPathやCSSセレクタの詳しい説明は、以下を参照ください。
>> XPathでスクレイピングする方法
>> CSSセレクタを用いたBeautifulSoupのselectメソッドの使い方

 
これらの簡易言語で、データが思い通りに取得できるかを、shellを用いて確認していき、問題無ければspiderに反映します。shellの詳しい説明は「Scrapy Shellの使い方」を参照ください。

開発における基本的なコマンドの流れ

後で実際に実行していきますが、基本的な流れとしては、startprojectコマンドでプロジェクトを作成し、genspiderでプロジェクト内にspiderを作成していきます。
 
spiderのコーディングでは、必要に応じてshellでデータ取得方法を確認し、それをspiderに反映します。そしてコーディングが終わりましたら、crawlコマンドでspiderを実行する
 
というのが一連の流れになります。これらのコマンドは、以降の記事でscrapyでコーディングを行う際に確認していきます。

scrapy benchコマンドの使い方

ここでは最後に、scrapyのコーディングの際には出てこないbenchコマンドについて、実際に実行してみます。benchコマンドでは、ベンチマークテストをすることができます。

 
scrapy benchと入力し、エンターキーを押して実行すると、

Scrapyが処理を開始し、内部のページに対してクローリングを開始します。

 

ここでは何ページまでクローリングできたかが表示されています。また横には1分間当たりの送信件数も表示されています。
 
request_countでは、Requestを送信した件数と、response_countでは、Responseが返ってきた件数がわかります。これらの数値はマシンスペックに依存します。
 
scrapyで使える基本的なコマンドは以上になります。
 
次の記事では、これらのコマンドを実際に使い、プログラムの作成に入っていきます。
>> 図解！Python Scrapy入門(使い方・サンプルコード付きチュートリアル)

 
Scrapyについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用いただければと思います。クリックすると自動的に適用されます。期間限定になりますのでお早めに。
>> 「PythonでWebスクレイピング・クローリングを極めよう！(Scrapy、Selenium編)」(Udemyへのリンク)

Copyright © 2026 ビジPy All Rights Reserved.

 
この記事では、Scrapy Shell を用いて、Chromeの開発者ツールで確認したXPathやCSSセレクタで、うまく目的の情報を取得できるか確認する方法を解説いたします。

 
取得方法に特に懸念点が無い場合、このプロセスを飛ばして、次のspiderへのコーディングに進んで頂いても問題御座いません。慣れてくるとspiderに直接まとめてコーディングして、エラーが出た場合は修正する、という方がやり易いかもしれません。

Scrapyについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用いただければと思います。クリックすると自動的に適用されます。期間限定になりますのでお早めに。
>> 「PythonでWebスクレイピング・クローリングを極めよう！(Scrapy、Selenium編)」(Udemyへのリンク)

確認対象のページ・項目とXPath、CSSセレクタ

ここではScrapyの練習用サイトBook To Scrapeのサイトから、カテゴリFantasyの書籍に絞り込み、一覧のページから書籍のタイトルや詳細ページへのURLを取得していきます。

 
この記事ではshellの使い方の例として、Chromeで確認した以下のXPathやCSSセレクタで、書籍のタイトルが問題無く取得できることを確認していきます。

 
Chromeでの確認方法の詳細については、以下を参照ください。
>> Chrome開発者ツールの使い方
 
 

Scrapy Shellの起動方法

まずは、scrapy shellに必要なipythonをインストールします。もし未だインストールされていないようでしたら、ターミナルより、

もしくは、

でインストールすることができます。

 
インストールが終わりましたら、shellを起動します。Shellはターミナルを開いて、次のコマンドで起動することができます。

shellが起動し、説明文の後に、In [1]:　と表示され、コマンドが入力できるようになりました。

URLの指定とResponse/Requestヘッダの確認方法

また合わせてURLを指定することで、

で指定したURLからデータを取得することができます。

 
もしくは、次のように後からfetchで指定したURLからデータを取得することもできます。

GETは送信したrequestの種類を示します。ここでは、指定したBooks To ScrapeのサイトのURLにrequestを送信しています。

 
HTTPで定義されているリクエストのメソッドについては、次のようなものがあります。

ここでは、サーバから情報を取得したいので、GETを使っています。

 
またここに表示されているCrawled (200)の数字は、Scrapyが送信したrequestに対して、Webサイトから返ってくるレスポンスのステータスコードで、200は成功を表します。
 
Webサイトから返ってくるレスポンスのステータスコードには、次のようなものがあります。
３桁のコードからなり、何番台かによって意味合いが異なってきます。

400番台と500番台がエラーコードになります。ここでは200となっていますので、こちらから送信したリクエストに対して、処理が成功したことを表しています。

 
URLやステータスコードは、shellで次のコマンドでも確認することができます。response.urlで、レスポンスが返ってきたURLを確認することができます。

 
またresponse.statusで、レスポンスのステータスコードを確認することができます。

 
またその他のレスポンスのヘッダーの情報は、response.headersで確認することができます。

辞書で各キー毎に値が格納されています。

 
response.request.headersで、リクエストとして送信したヘッダーも確認することができます。

 
User-Agentなど、ヘッダーの辞書の１つの項目だけを取得するには、.getlistで辞書のキーを指定します。ここでは’User-Agent’を指定しています。

Scrapy ShellでのXPathやCSSセレクタの確認

次にChromeブラウザ確認したXPathやCSSセレクタで、目的の情報が取得できることを確認します。

XPathの確認

取得した項目を格納する変数を定義します。ここでは、titleとします。そして、XPathで要素を指定するには、response.xpathと入力して、xpathメソッドを呼び出します。xpathメソッドの引数には、Chromeで確認したXPathを入力します。

ここで注意点ですが、引数として渡すXPathは文字列として渡しますので、XPathの外側をシングルクォーテーション、もしくは、ダブルクォーテーションで囲う必要があります。

但し、XPathにダブルクォーテーションが使われている場合、外側にはシングルクォーテーションを使う必要があります。また同様に、XPathにシングルクォーテーションが使われている場合は、外側にはダブルクォーテーションを使う必要があります。同じ種類のクォーテーションを使うことはできませんので、ご注意ください。

入力が終わりましたら、エンターキーで実行します。

 
次に変数titleに格納された値を確認します。

Selectorオブジェクトというかたちで取得した内容が表示されました。これらSelectorオブジェクトがリストに格納されています。Selectorオブジェクトには、取得した要素の情報が格納されています。これらは、XPath または CSS セレクタで指定されたHTMLの特定の部分を「選択(select)」するため、セレクター(selector)と呼ばれています。
 
xpathのプロパティには、先ほど入力したxpathが、また、dataプロパティには取得した要素が格納されています。ここでは書籍のタイトルが格納されています。

 
これをSelectorオブジェクトではなく、テキストで取得するには、 .getall()を付けます。XPathで取得するデータが１つの場合は、.get()、複数の場合は.getall()でテキストだけを抽出することができます。

 
titleを確認すると、

このようにして、Webサイトより書籍のタイトルの文字を取得できることが確認できました。

CSSセレクタの確認

次に同様のことを、CSSセレクタを使って行います。

変数titleを定義し、CSSセレクタを使う場合、response.cssと記述し、引数にCSSセレクタを渡します。

 
そして変数の中身を確認します。

このように実行した結果、CSSを入力しても、Scrapyの内部的にはXPathに変換されて実行されます。

 
後はXPathの時と同様に、.getall()でテキストだけを抽出します。

Scrapy Shellの終了方法

最後に、shellから抜けるコマンドは、exit() になります。

 
このようにして、Shellを使って、Chrome開発者ツールで確認したXpathやCSSセレクタで、Webサイトから目的の情報をうまく取得できることが確認できました。ここでは１つの項目だけを確認しましたが、必要に応じて他の項目も確認します。

 
最初に申し上げましたように、取得方法に特に懸念点が無い場合、このshellで確認するというプロセスを飛ばして次のspiderへのコーディングに進んで頂いても問題御座いません。慣れてくるとspiderに直接まとめてコーディングして、エラーが出た場合は修正する、という方がやり易いかもしれません。

 
この記事は以上になります。
 
Scrapyの使い方全般について解説した記事は以下になります。
>> 図解！Python Scrapy入門(使い方・サンプルコード付きチュートリアル)
 
Scrapyについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用いただければと思います。クリックすると自動的に適用されます。期間限定になりますのでお早めに。
>> 「PythonでWebスクレイピング・クローリングを極めよう！(Scrapy、Selenium編)」(Udemyへのリンク)

Copyright © 2026 ビジPy All Rights Reserved.

 
match関数やmatchオブジェクトの基本的な使い方、search関数との違い、if文での判定方法などの押さえておくべきことを、初心者でも理解しやすいように丁寧に解説していきたいと思います。

 
「match関数」や「matchオブジェクト」以外の、正規表現全般に関する詳しい説明は以下を参照ください。
>> 図解！Python 正規表現の徹底解説！(文字列の抽出と置換など)

match関数の記述方法

match関数は、先頭の文字列からパターンに一致するものを検索する際に利用し、次のように記述します。

一致するものがあった場合、matchオブジェクトを返します。また一致するものが無かった場合、Noneが返ってきます。
 
注意点としては、あくまでも先頭の文字列から検索しますので、文字列の途中に一致するものがあっても、一致したとはみなされません。

戻り値 matchオブジェクト（groupなど）

match関数の実行結果は、パターンに一致するものがあればmatchオブジェクトというもので返ってきます。

 
matchオブジェクトのメソッドには、次のようなものがあります。

※開始位置は、1文字目は0から始まります。

match関数の使用例

まず簡単な正規表現を使って、match関数の例をいくつか確認していきましょう。

 
正規表現では、.（ドット）は任意の１文字を示します。ここでは、正規表現のパターンとして”x.y”（xとyの間に任意の１文字がある）が、ある文字列の先頭に含まれているかチェックしてみましょう。

 
match関数に対して、正規表現のパターン”x.y”と、文字列”xyz”を引数として渡し、返ってきたmatchオブジェクトの内容をprintで表示します。

import re
res = re.match("x.z","xyz")
print(res)

一致した結果として、matchオブジェクトの内容が表示されました。spanでは一致した文字列の範囲（開始位置、終了位置）が、matchには一致した文字列が表示されています。

 
今度はmatchオブジェクトのgroupメソッドを利用して、一致した文字列を返します。

print(res.group())

一致した文字列”xyz”が表示されました。

 
 
次に、検索対象の文字列として”vwxyz”を渡してみましょう。

res = re.match("x.z","vwxyz")
print(res)

結果は一致せず、Noneが表示されました。

 
このようにmatch関数は、あくまでも先頭の文字列から検索しますので、文字列の途中に一致するものがあっても、一致したとはみなされません。

matchオブジェクトのifによるTrue/Falseの判定

またmatchオブジェクトはif文でTrue/Falseの判定にも使うことができます。

 
パターンに一致した場合、matchオブジェクトが返ってきますので、その場合はTrueと判定されます。一方で、パターンに一致せずmatchオブジェクトが返ってこなかった場合はFalseと判定されます。

 
match関数に対して、正規表現のパターン”x.y”と、文字列”xyz”を引数として渡します。そして戻り値に対してif文でTrueの場合は”マッチしました。”と表示し、Falseの場合は”マッチしませんでした。”と表示します。

res = re.match("x.z","xyz")
if res:
    print("マッチしました。")
else:
    print("マッチしませんでした。")

ここではパターンに一致しますので、matchオブジェクトが返って来ます。そしてif文でtrueと判定され、”マッチしました。”と表示されました。

 
次に文字列”axyz”を引数として渡してみます。

res = re.match("x.z","axyz")
if res:
    print("マッチしました。")
else:
    print("マッチしませんでした。")

この場合はパターンに一致しませんので、matchオブジェクトが返って来ずif文でFalseと判定され、”マッチしませんでした。”と表示されました。

match関数とsearch関数の違い

search関数は、先頭に限らずパターンに一致するものがあるかを検索します。但し、一致したものが複数あっても、１つ目だけを返します。

search関数もmatch関数と同様に、一致するものがあった場合matchオブジェクトを返します。また一致するものが無かった場合、Noneが返ってきます。

 
 
まずいくつかの例を確認していきましょう。

 
search関数に対して、正規表現のパターン”x.y” （xとyの間に任意の１文字がある）と、文字列”vwxyz”を引数として渡し、返ってきたmatchオブジェクトの内容をprintで表示します。

res = re.search("x.z", "vwxyz")
print(res)

search関数では文字列の途中でも一致するものがあれば一致したとみなされます。一致した結果として、matchオブジェクトの内容が表示されました。

 
今度は、文字列”vwxyz vwxyz”を渡してみましょう。一致する箇所が２つ含まれているようです。

res = re.search("x.z", "vwxyz vwxyz")
print(res)

一致した結果としてmatchオブジェクトが返ってきました。但し、一致した箇所としてspanには(2,5)と表示されています。

 
つまり、search関数では、２つ一致するものがあっても、返ってくるのは最初のものだけになります。複数取得する場合、次のfinditer関数を使うことになります。

複数のmatchオブジェクトの取得

match関数やsearch関数は１つしかmatchオブジェクトを返しません。複数のmatchオブジェクトを取得したい場合、finditer関数を使います。
 
finditer関数は、パターンに一致するものを全てmatchオブジェクトで取得することができます。

 
finditer関数の詳しい説明は「図解！Python 正規表現の徹底解説！(文字列の抽出と置換など)」を参照ください。

正規表現のパターンをコンパイルする方法

正規表現ではパターンをコンパイルすることによって、同じパターンを効率的に繰り返し利用することができます。

 
コンパイルにはcompile()を使い、以下のように記述します。

パターンをコンパイルした結果を、変数patternに格納しています。そして、変数patternを元に、match()で検索対象の文字列に対して、パターンに一致するか否かを判定しています。ここでは関数にmatch()を使いましたが、別の関数でも同様です。

 
一度パターンをコンパイルすることで、次のコードの検索対象の文字列や関数を変更しながら、同じパターンを使いまわすことができます。

 
 
compile()に対して、正規表現のパターン”xy+”を引数として渡し、返ってきた値を変数patternに格納します。 変数patternを元に、match()に対して、文字列”xyyyyyy”を引数として渡し、返ってきたmatchオブジェクトの内容をprintで表示します。

pattern = re.compile("xy+")
res = pattern.match("xyyyyyy")
print(res)

 
次回、同じパターンで別の文字列を検索する場合、次のように記述します。

res = pattern.search("abcxyyx")
print(res)

ここでは、一度コンパイルした結果を格納した変数pattはそのまま利用しています。そして検索対象の文字列や関数を変更して、同じパターンで検索しています。

特殊文字をエスケープする記号(\)

“*”や”?”のような特殊な文字を検索する場合、\(バックスラッシュ)を付ける必要があります。

 
例として、”?”を検索してみましょう。
match関数に対して、正規表現のパターン”\?”と、文字列”?xy”を引数として渡し、返ってきたmatchオブジェクトの内容をprintで表示します。

res = re.match("\?", "?xy")
print(res)

“\?”はバックスラッシュが付いており、”?”と見なされマッチしました。

 
一方で正規表現のパターンから\(バックスラッシュ)を除くと

res = re.match("?", "?xy")
print(res)

“?”と見なされずエラーが表示されました。

Copyright © 2026 ビジPy All Rights Reserved.

XPathとは

XPathとは、XML形式の文書から特定の部分を指定して取得するための簡易言語です。HTMLにも使うことができます。

 
XPathはスクレイピングにおいて、HTMLの中から特定の情報を指定し取得するのに利用されます。

 
HTMLは次のようにタグと言う記号で構成されており、開始タグ、終了タグで囲まれたものを要素といいます。

 
上記の要素はtitleタグに囲まれていますので、titile要素と言います。

 
またHTMLは、１つのタグが別のタグで囲われ、というように入れ子の状態で記述されます。これらは階層構造とみなすことができます。
 
例えば次のHTMLについては、
 

 
このような階層構造で表すことができます。

 
またHTMLのタグの中には、いくつかの属性が含まれることがあります。

 
これらは属性と属性値からなり、上記のclass属性の属性値は”book”になります。またその横のid=”link1″も属性と属性値です。

 
属性にはid属性のように、HTMLの中で必ず重複しない属性値を持つものと、そうでないものとがあります。

 
これらの属性も組合せながら、XPathでは要素を指定します。
 
XPathを利用したPythonでのスクレイピングについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用いただければと思います。クリックすると自動的に適用されます。期間限定になりますのでお早めに。
>> 「PythonでWebスクレイピング・クローリングを極めよう！(Scrapy、Selenium編)(Udemyへのリンク)

XPathの基本的な書き方

ここではまずXPathの基本的な書き方を説明していきます。

 
この基本的な書き方を理解した上で、後から説明する属性の指定方法や階層の前後をたどって要素を指定する方法などの応用的なトピックに進んでいってください。

 
XPathにおいて、各要素はノードテストと呼ばれます。また各ノードテストを”/”（スラッシュ）で区切り、指定したい要素までの道のりを示したものをロケーションパスと言います。

ロケーションパスの書き方

HTMLのルート(html要素)からXPathを書く場合は、/ スラッシュを使って記述します。

 
例えば、html – head – titleとたどってtitle要素を指定する場合、

次のように書きます。

/html/head/title

テキストノードの表示: text()

要素に含まれるテキスト（テキストノードと呼びます）を表示したい場合はtext()を使います。ここではtitleのテキストを表示しています。

/html/head/title/text()

ノードパスを省略: //（ダブルスラッシュ）

パスを短縮して記述する場合は、//（ダブルスラッシュ）で途中のパスを省略して記述することができます。

 
ここでは、/html/head/ を省略してtitleから記述をしています。

//title/text()

ここでは、例のHTMLにtitle１つしか含まれませんでしたので、表示された結果は、/html/head/title/text()と同じです。

 
但し、HTMLの中にtitle要素がいくつか存在する場合に省略して記述すると、該当する要素が複数になります。その場合は複数の要素が表示されます。

 
1つに絞り込みたい場合、１つに絞り込める親の要素までを短縮して指定してそこから子要素を指定するか、属性と合わせて指定するなどが必要になります。

 
以降の章では、これらの基本的な書き方を元に、様々な属性の指定の方法や、HTMLの階層構造をたどって要素を指定する方法などの応用的なトピックに進んでいきます。

 
これらの応用的なトピックを理解するにあたっては、実際にXPathを入力し、実行結果を確認しながら進めていくことが重要です。

 
XPathの実行を試すことができるサイトをご紹介します。

XPathを試せる検証・テストツール(XPath Tester)

XPath Playground

XPath Playgroundのサイトでは、実際にXPathを記述し、実行結果を確認することができます。

 
XPathの練習にお勧めのサイトです。この記事を確認しながら、ブラウザでサイトも開けて、ぜひ実行結果を確認しながら読み進めていってください。

 
XPath Playgroundの画面にいくと、３つの入力欄があります。

• HTMLの入力欄では、XPathの検証に利用するHTMLを入力します。ここに入力されたHTMLを元に、XPathを実行し結果を表示します。
• XPathの入力欄では、実行を試したいXPathを入力してください。ここの入力内容を随時変更し、正しい結果が取得できているかを確認しながら進めていくことになります。
• 結果表示欄には、XPathにより取得された要素が表示されます。

サンプルHTMLコード

この記事で利用したHTMLを記載しておきます。XPath PlaygroundでHTML入力欄に張り付けてください。

<html>
    <head>
        <title>清水義孝の著書</title>
    </head>
    <body>
        <p class="title">
            <b>清水義孝の最新の著書には、次の本があります。</b>
        </p>
        <p class="recent books">
            <a class="book" href="https://www.amazon.co.jp/dp/B07TN4D3HG" id="link1">
                Python3によるビジネスに役立つデータ分析入門
            </a>
            <a class="book" href="http://www.amazon.co.jp/dp/B07SRLRS4M" id="link2">
                よくわかるPython3入門2.NumPy・Matplotlib編
            </a>
            <a class="book" href="http://www.amazon.co.jp/dp/B07T9SZ96B" id="link3">
                よくわかるPython3入門4.Pandasでデータ分析編
            </a>
        </p>
        <p class="end">
            <b>そして、これらの本は好評発売中です。</b>
        </p>
    </body>
</html>

 
上記のHTMLは、実際にブラウザで表示すると次のようになります。

XPathの述語による属性の取得方法

属性の取得: [](スクエアブラケット)と @(アットマーク)

属性は[]と@で指定し、条件に一致した要素を取得ます。

 
このように取得する要素を、属性などの条件でさらに絞り込むものを述語と呼びます。

 
ロケーションパス上の任意のノードテストの直後に付けることができます。

 
属性idが”link1”を持つa要素を指定してみます。

//a[@id="link1"]

 
先ほどの例のケースでは、属性を指定しなければ、該当するものが複数存在します。属性を指定することにより、１つに絞り込まれたことがわかります。

//a

任意の属性を取得（ワイルドカード）：＊(アスタリスク)

特定の属性ではなく任意の属性を指定する場合、アスタリスクを使って指定します。

//a[@*="link1"]

属性値を表示: @(アットマーク)

属性値を表示したい場合は@(アットマーク)を使います。

//p[@class="recent books"]/a/@href

複数属性の条件指定: and（かつ）

and（かつ）を使って、class属性に”book”を含み、かつ、href属性に” B07SRLRS4M”を含むa要素を取得してみます。
 
属性値にある特定の値が含まれているかを確認するには、contains()を使います。

 
これらのandとcontains()を組み合わせて、次のように記述します。

//a[contains(@class,"book") and contains(@href,"B07SRLRS4M")]

複数属性の条件指定: or （または）

or （または）でclass属性に”book”を含む、または、href属性に” B07SRLRS4M”を含むa要素のテキストを取得しています。

//a[contains(@class,"book") or contains(@href,"B07SRLRS4M")]

特定の属性を含まない要素の指定: not （～以外）

not （～以外）でhref属性に” B07SRLRS4M”を含まないa要素のテキストを取得しています。

//a[not(contains(@href,"B07SRLRS4M"))]

属性値に含まれる文字列を前方一致で検索: starts-with

前方一致でhref属性にhttp://www.amazon.co.jp/を含むa要素を取得しています。

//a[starts-with(@href,"http://www.amazon.co.jp/")]

属性値に含まれる文字列を後方一致で検索: ends-with

後方一致で検索する場合はends-withを使います。

//a[ends-with(@href,"96B")]

但し、この関数はXPath version2.0のみ対応しており、chromeなど多くのブラウザではサポートされていません。参考までに掲載しています。

属性値に含まれる文字列をあいまい検索: contains

ある属性に特定の文字列が含まれているかの確認は、先ほど出てきましたcontainsを使います。containsは完全一致ではなく、部分一致でもOKです。

//a[contains(@href,"amazon")]

ここではhref属性に”amazon”を含むa要素を取得しています。

テキストに含まれる文字列の検索: contains(text(), 検索文字列)

containsは、テキストに含まれる文字列も検索可能です。但し、大文字・小文字を区別するので注意が必要です。

//a[contains(text(),"NumPy")]

 
“NumPy”を”numpy”と全て小文字にすると、該当するものが無く、結果には何も表示されません。

//a[contains(text(),"numpy")]

リストの取得方法

ここからはリストの要素の取得方法を確認していきましょう。サンプルのHTMLは以下になります。

サンプルHTMLコード

<ul class="book">
  <li>Python3によるビジネスに役立つデータ分析入門</li>
  <li>よくわかるPython3入門1.基礎編</li>
  <li>よくわかるPython3入門2.NumPy・Matplotlib編</li>
  <li>よくわかるPython3入門4.Pandasでデータ分析編</li>
</ul>

全ての要素を取得

要素liを指定すると、全てのリストを取得できます。

//ul[@class="book"]/li

n番目の要素の取得: [] (スクウェアブラケット)で数値を囲む

[] (スクウェアブラケット)で数値を囲むと、その順番の要素を取得できます。
例えば、２番目の要素を取得したい場合、li[2]と記述します。

//ul[@class="book"]/li[2]

n番目の要素の取得: position

positionでもn番目の要素を指定することができます。
タグ[position()=何番目] 例えば２番目の要素を取得する場合は次のように書きます。

//ul[@class="book"]/li[position()=2]

複数の要素の取得: position & or

１つ目と４つ目を取得したい場合、[]に対してorを使ってもうまくいきません。

//ul[@class="book"]/li[1 or 4]

１から４番目までの全ての要素が表示されてしまいます。

 
次のようにposition()とorを使えば1番目と4番目の要素を取得できます。

//ul[@class="book"]/li[position()=1 or position()=4]

最後の要素を取得: last

最後の要素を取得したい場合、last()を使います。要素の数が変わる可能性があるけれども、必ず最後の要素を取得したいという時に使うと便利です。

//ul[@class="book"]/li[position()=last()]

最初の要素を取得: position()=1

最初の要素はposition()=1で取得できます。

//ul[@class="book"]/li[position()=1]

n番目以降・以前の要素を取得: 不等号

position()では>、<、>=、<=などの数学的オペレーションが使えます。 特定の順番以降の要素の取得に使います。 例えば、1番目の要素にはブランクが入っており、でも２番目以降に必要な情報が入っているなどの場合、2番目以降の要素を取得する必要があります。

//ul[@class="book"]/li[position()>1]

軸を用いた親・先祖・兄弟・子・子孫要素の指定

軸の使い方

今までの説明では、ルートもしくは途中のパスからから階層を降りて目的の要素を指定していました。

例えば、html – head – titleとたどってtitle要素を指定する場合、次のように書きます。

/html/head/title

 
但し、時にはある要素の親の要素やそのさらに親の要素（先祖要素）、子の要素とその子の要素（子孫要素）、同じ親を持つ子要素同士（兄弟要素）などを指定する必要があります。

 
これらはXPathでは軸を使って指定します。XPathでは軸はノードテストの前に「軸::」を付加して指定します。

軸はロケーションパス上の任意のノードテストの前に付けることができます。

 
軸には次のようなものがあります。

 
ここではこれらの軸の指定方法を確認していきます。

HTMLの階層構造

XPathでの軸の指定方法を確認する前に、兄弟要素や先祖要素などの言葉の定義を確認しましょう。

親・子・兄弟要素

ここでは、自分自身の要素を赤色のp要素とします。そこから１階層上に上がったbody要素（オレンジ色）が親要素になります。
 
また１つ階層を下に降りたa要素（黄色）が子要素になります。また同じ親要素の子である緑色のp要素は兄弟要素と呼ばれます。

先祖・子孫要素

また同様に自分自身の要素を赤色のp要素とします。そこから１階層上に上がったbody要素とさらに階層を上がったその親要素htmlが先祖要素（オレンジ色）になります。
 
そして、階層を下に順に下がっていった要素は子孫要素（黄色）と言います。

 
自分自身をid属性が”link2”のa要素（赤色）とすると、前にある要素とは黄色の要素になります。これらの取得方法を１つ１つ確認していきます。

親要素の取得: parent

親の要素（黄色）を取得するには、軸にparent::と入力します。

次のように記述します。

//a[@id="link2"]/parent::p

 
ここでは、親の要素がpとわかっておりparent::pとしましたが、わからない場合は、node()を使います。結果は同じです。

//a[@id="link2"]/parent::node()

先祖要素の取得: ancestor

先祖要素（黄色）の取得にはancestorを使います。

親要素だけでなく、その親とノードをたどっていき、各要素を取得します。

//a[@id="link2"]/ancestor::node()

ここではid属性が”link2”のa要素の先祖要素であるhtml、body、pが表示されました。

自身も含めた先祖要素の取得: ancestor-or-self

先ほどのancestorには自分自身は含まれません。自身も含めた先祖要素の取得にはancestor-or-selfを使います。

//a[@id="link2"]/ancestor-or-self::node()

すると自身（a要素）も含めて取得できます。

先祖を除く全ての前の要素を取得: preceding

自身の要素の前にある、先祖要素を除いた全ての要素の取得にはprecedingを使います。

次のように記述します。

//a[@id="link2"]/preceding::node()

実行すると、テキストも含めた全ての前の要素を取得することができました。但し、先祖要素のhtml、body、p(class属性が”recent books”)は除かれています。

前にある全ての兄弟要素の取得: preceding-sibling

自身より前にある全ての兄弟要素（黄色）の取得にはpreceding-siblingを使います。

このように書きます。

//a[@id="link2"]/preceding-sibling::node()

子要素の取得: child

子要素（黄色）の取得はchildを使います。

こちらも子要素の要素がわかっている場合、その要素を記述します。ここではa要素を記述しています。

//p[@class="recent books"]/child::a

 
子要素がわからない場合、child::node()と記述します。

//p[@class="recent books"]/child::node()

後ろの全ての要素を取得: following

ある要素の後続にある全ての要素（黄色）を取得するにはfollowingを使います。

以下のように記述します。

//p[@class="recent books"]/following::node()

テキストも含めた全ての後ろの要素を取得することができました。

後ろにある兄弟要素を取得: following-sibling

ある要素（ここでは赤色）を起点にして、後ろにある兄弟要素（黄色）を取得するにはfollow-siblingを使います。

次のようになります。

//p[@class="recent books"]/following-sibling::node()

ここではbodyの子要素の内、対象の要素以降の兄弟要素を取得しています。

後ろの子孫要素を取得: descendant

ある要素（ここでは赤色）の後続にある全ての子孫要素（黄色）を取得するにはdescendantを使います。

以下のようになります。

//p[@class="recent books"]/descendant::node()

自身を含む後ろの子孫要素を取得: descendant-or-self

先ほどのdescendantには自分自身は含まれません。自身も含めた子孫要素の取得にはdescendant-or-selfを使います。

//p[@class="recent books"]/descendant-or-self::node()

出力結果の最初に自分自身（class属性が”recent books”のp要素）が表示されているのがわかります。

自身の要素を取得: self

自分自身の要素を取得するにはselfを使います。

//a[@id="link2"]/self::node()

通常は、これらは省略されて//a[@id=”link2″]と記述されます。

属性の取得: attribute

自分自身の要素の属性を取得するにはattributeを使います。

//a[@id="link2"]/attribute::node()

Copyright © 2026 ビジPy All Rights Reserved.

Python初心者「Pythonのスキルを上げる良い方法はないかなぁ？」、「Udemyというオンラインサービスが良いと聞いたけれども、実際はどうだろうか？本当に役に立つのだろうか？」

この記事では、このような疑問にお答えします。

清水 義孝「この記事を書いている私（清水 義孝）は、現在、グローバル企業でデータサイエンティストとして働いております。」

 
元々はJavaやWeb系システムのプログラマーやシステムエンジニアをやっておりましたが、近年のAI・データサイエンスのブームもあり、転職後はデータ収集・分析にPythonをメインで使っています。

Pythonの習得やスキル向上には、かなり苦労しましたが、いろいろな教材を試した中でUdemyは良かったので、おすすめの講座をご紹介したいと思います。

UdemyのおかげでPythonのスキルが大幅に向上し、データサイエンティストの職にもつけたと言っても過言ではありません。

また同じデータサイエンティストとして働いている職場の同僚や新人、フリーランスで働いている友人に聞いても、Udemyの評判は良かったです。
 

今回は、彼らの意見も踏まえて、講座を選んでいます。

実際、おすすめするコースはたくさんありますが、あまりいくつも挙げても迷うだけなので、その中でも厳選しベストなものを５つご紹介したいと思います。
 
 
このページに来られた方の中には、何となくUdemyという名前を聞いたことがあるけれども、よく知らないという方もいらっしゃると思います。

まずはUdemyについて、ご紹介します。ご存じの方は、スキップしてくださいね。

>> 「おすすめのPython講座５選」へ移動

Udemyとは？評判は？なぜUdemyの講座がおすすめか

 
オンライン学習プラットフォームの会社の中では最大手の１つなので安心ですね。

その中でも特に最近ではAI・データサイエンスなど先端ITの講座が人気だそうです。

講座はオンデマンドのビデオになっており、視聴はパソコンからだけでなく、スマホのアプリもあるので、通勤時にも学習を進めることができます。

 
またコースの中にはたくさんのレクチャーがあるのですが、それぞれが５分前後のビデオになっているので、スキマ時間を有効活用して学習を進めることができます。

 
毎日を忙しく過ごされている方も多く、なかなかPythonの学習に時間を割くことができない方も多いかと思います。

 
それでも通勤時の電車やバスの中、またはランチ休憩の途中、人との待ち合わせの待ち時間、在宅勤務の合間など、細切れの利用できる時間はまだまだあると思います。

 
これらの細切れの時間をUdemyの講座の受講に使うことで、有効的にスキル向上に繋げていくことができます。

だそうです。結構な数ですね。

 
でもUdemyなら値段もお手頃です。１講座あたり数千～２万円程度で販売されていますので、コスパが最高です。また講座は一度購入すればいつまでも受講できます。

清水 義孝「満足しない場合は30日返金保証があるので安心だよ。返金保証の依頼も簡単です。」

参考までに、私も１度だけ返金保証のお世話になりましたが、ちゃんと返ってきました。

初心者へおすすめのPython3入門講座

Python3の入門に関する講座で最も良かったのは「現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル」という講座です。

>> Python 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイルを学ぶオンライン講座

 

講師の酒井さんは現役シリコンバレーエンジニアだそうです。ハイレベルなプロのコードスタイルやその考え方を学べる教材は少なく、他には無いたいへん貴重な講座です。

28.5時間もの盛りだくさんの講義でPythonの基礎を幅広く理解することができます。基本的なトピックを網羅的に学習できるのはありがたいですね。

講義内容も、Pythonの環境設定やPythonの入門的なトピック、応用としてコードスタイル、オブジェクトやクラス、データ解析など多岐にわたっています。

Pythonのいろいろなライブラリを理解できるのは良いですね。

講義のボリュームは多いですが、トピック毎に5分程度のレクチャーに分割されているので、サクサク進んでいく感じです。隙間時間にも受講できるのがありがたいですね。解説が丁寧で、ビデオ講座なので途中経過も説明があり理解しやすいです。

この講座からの知識をベースにデータサイエンスや人工知能・機械学習、データ収集などの応用的なトピックに進んでいくのがおすすめです。

データ収集(Webスクレイピング)のおすすめ講座

データサイエンスやデータ分析、機械学習を行うには、データ収集が欠かせません。データがあって初めて、分析したり機械学習のモデルを作成したりすることができます。

 
データ収集のおすすめ講座は「Pythonによるビジネスに役立つWebスクレイピング（BeautifulSoup、Selenium、Requests）」です。Pythonを用いて世界中のWebサイトから自動的にデータ収集する方法を、基礎からていねいに学ぶことができます。

 
スクレイピング初心者にもわかりやすいよう、基本的なトピックから順を追って、丁寧に解説しています。またPythonを初めて学ばれた方も、最初に取り組みやすい内容になっています。

>> Pythonによるビジネスに役立つWebスクレイピング（BeautifulSoup、Selenium、Requests）

コースを提供しているのは、私、清水ですので、割引クーポンをお渡しすることができます。以下のリンクをクリックすると８７％割引が自動的に適用されます。期間限定になりますのでお早めに。
Pythonによるビジネスに役立つWebスクレイピング（BeautifulSoup、Selenium、Requests）

またこの講座以外にも、データ収集スキルをさらに向上させることを目的とした講座を提供しています。



Udemyでも数少ないベストセラーのコースになっています。
 
こちらのコースも割引クーポンのリンクを掲載しておきます。期間限定になりますのでお早めに。
【3日で学べる】PythonでWebスクレイピング・クローリングを極めよう！（Scrapy、Selenium編）

データサイエンスのおすすめ講座

データサイエンスのおすすめ講座は「【世界で37万人が受講】データサイエンティストを目指すあなたへ〜データサイエンス25時間ブートキャンプ〜」です。
 
>> 【世界で37万人が受講】データサイエンティストを目指すあなたへ〜データサイエンス25時間ブートキャンプ〜
 

numpy、pandas、ScikitLearn、TensorFlowなどデータサイエンスに欠かせないライブラリについて、深く学習することができます。

データサイエンスの分野は、理論だけを学んでも学んだ知識を実業務でどのように活かしていけば良いかわからないことが多いです。

でもこの講座には、ケーススタディとして、ビジネス上の課題を解決すべく、実践形式のデータ分析のレクチャーが用意されています。

 
新人君「具体的に実践の場で、どのようにデータ分析を進めていけば良いかがわかるのは、スキル向上にたいへん役立ちました。」

人工知能と機械学習のおすすめ講座

人工知能と機械学習のおすすめ講座は「【キカガク流】人工知能・機械学習 脱ブラックボックス講座 – 初級編 -」です。
 
>> 人工知能・機械学習 脱ブラックボックス講座 – 初級編 –

特に全く知識のない状態から機械学習や人工知能について学ぶのに最適な講座です。
 

コースを提供しているのは、株式会社 キカガクというAI教育のベンチャー企業です。オンライン/オフライン研修で延べ１３，０００人を超える受講実績があるそうです。

この講座以外にも中級編などの講座を提供されているので、このコースを終えた後にさらなるレベルアップをはかることができます。
【キカガク流】人工知能・機械学習 脱ブラックボックス講座 – 中級編 –

データ分析のおすすめ講座

データ分析のおすすめ講座は「【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門」です。
 
【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門

実際のデータに基づいて基礎分析、可視化から前処理、機械学習の実装までデータ分析の一連の流れを学ぶことができます。

「ゼロから始める」というタイトルにふさわしく、データ分析の基礎からていねいに解説しています。

講座の申し込み方法

ユーザー登録がまだの方は新規登録ボタンを押してください。

新規登録には、以下の名前・メールアドレス・パスワードを入力し、新規登録ボタンを押せば登録が終わりです。

次に「レジに進む」画面にいきますので、ここで必要な情報を順に入力してください。

• は支払い方法の選択で、クレジット／デビッドカード、もしくは、PayPalを選んでください。
• 選んだ支払い方法に応じて、必要な情報を入力していきます。ここではクレジッット／デビッドカードを選んでいますので、カードの情報を入力します。
• 「今後もこのカードを使う」にチェックを入れていれば、次回から入力の手間が省けて便利です。
• 入力が終わりましたら、「支払いを完了する」ボタンを押せば、購入が終わりです。

するとコースの画面にいきますので、受講したいレクチャーを右側の「コースの内容」から選んでください。

レクチャーをクリックすると、左側の画面にビデオが表示されます。後は、Enjoy Udemy！

Udemyの講座を試してPythonのスキル向上を実感して下さい。

今回ご紹介したUdemyの５講座はオンデマンドなので、購入後に直ぐに始めることができます。次の講義の日程を確認する必要もありません。
 

またそれぞれの講座もトピック毎に細分化されていますので、受講したトピックから直ぐに効果を実感することができます。

 
これらの講座は、既に数千～７万人以上の方が購入済みです。また満足度を示した受講者からの評価も５段階で4.3以上と非常に高いです。

 
さらに今ならUdemyでは期間限定セール中で、対象コースがかなり安くなっているそうです。でも間もなく終了するので、ご興味のある方はお早めに。

 
もしコースに満足できなくても、返金保障で３０日以内なら理由を問わず返金を申請できるので安心です。

 
参考までにリンクを再度掲載しておきます。もし宜しければどうぞ。
>> Python 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイルを学ぶオンライン講座

>> Pythonによるビジネスに役立つWebスクレイピング（BeautifulSoup、Selenium、Requests）

【3日で学べる】PythonでWebスクレイピング・クローリングを極めよう！（Scrapy、Selenium編）

>> 【世界で37万人が受講】データサイエンティストを目指すあなたへ〜データサイエンス25時間ブートキャンプ〜

>> 人工知能・機械学習 脱ブラックボックス講座 – 初級編 –

>> 【ゼロから始めるデータ分析】 ビジネスケースで学ぶPythonデータサイエンス入門

 

最後に…
 
Pythonの学習は、上達する上達しないの前に大事なことが有ります。
 
それは、まず「始める」ことです。
 
ここで戻るのは簡単ですが、一歩踏み込んで、まずはひとつでも二つでもUdemyの講座に触れてみる、試してみる、この最初の一歩を踏み出せない人が多すぎます。
 
あなたは、踏み出す人・踏み出さない人、どちらでしょうか？？

 
というわけで、今回は以上です。Happy Python!

Copyright © 2026 ビジPy All Rights Reserved.