Webスクレイピングの仕組み — 商品名をHTMLから取り出してみよう
自分のHTMLから商品を取り出す
セレクタとJavaScriptの違い
ページの構造から、必要な文字を選ぶ
取得の条件を確認する
APIと、構造が変わったとき
まず、自分のHTMLから二つの文字を取る
Python 3と新しい練習用フォルダーを用意します。外部サイトや個人情報は使いません。必要なライブラリはBeautiful Soupです。
python -m pip install beautifulsoup4
次をextract_demo.pyとして保存します。
from bs4 import BeautifulSoup
html = """
<article class="product">
<h2 class="name">りんご</h2>
<p class="price">200円</p>
</article>
"""
soup = BeautifulSoup(html, "html.parser")
name = soup.select_one(".product .name")
price = soup.select_one(".product .price")
if name is None or price is None:
raise ValueError("商品名か価格が見つかりません")
print(name.get_text(strip=True))
print(price.get_text(strip=True))
python extract_demo.py
りんごと200円が順に表示されます。HTML側のnameをitem-nameへ変えると、元のセレクタでは見つからなくなります。抽出する指定も、ページの構造に合わせる必要があることを体験できます。
次の挑戦:商品が2件あったら?
select_oneは最初に一致した1要素を返します。成功したから全商品を集めたとは限りません。HTMLへ別の商品も加える場合は、まず商品ごとのまとまりを選ぶ方法を試せます。
products = soup.select(".product")
for product in products:
name = product.select_one(".name")
price = product.select_one(".price")
if name is None or price is None:
raise ValueError("商品名か価格が見つかりません")
print(name.get_text(strip=True), price.get_text(strip=True))
print("商品数:", len(products))
これは先ほどのsoupを使う追加コードです。元のHTMLなら1商品、productのarticleをもう一つ足せば2商品になるか確認します。別々に商品名と価格を全件取って番号で結び付けるより、同じ商品の中で対応を確認しやすくなります。0件のときはループ自体が動かないので、必要な件数かの検査も別に考えましょう。
取得、解析、抽出は別の仕事
| 段階 | すること | 今回の例 |
|---|---|---|
| 取得 | 解析する内容を用意 | 自分で書いたHTML文字列 |
| 解析 | タグと属性を構造として読む | BeautifulSoup |
| 抽出 | 指定した要素の文字を取る | CSSセレクタとget_text |
実際のWeb取得では、通信の失敗、文字コード、応答の状態、利用条件なども扱います。今回の練習が成功しても、任意のサイトから同じように取れるとは限りません。
もう少し詳しく:ブラウザーを使う場合
後からJavaScriptが描画する内容は、受信したHTMLとブラウザーのDOMで異なることがあります。ブラウザーでの確認に進むならPlaywright入門へ。単に待ち時間を長くするより、必要な要素が出たことを確認します。認証の回避や制限を破る手順にはしません。
外部のデータを扱う前に
公式の取得方法と利用条件、robots.txt、アクセス量、保存・再利用の範囲を確認します。robots.txtは認可や法的な利用許諾の代わりではありません。法的な適否は利用するデータと目的などで変わるため、この練習から一律に結論を出すことはできません。
ペンギン先生のまとめ
「スクレイピング」って出てきたら「ページの構造から、必要なデータを取り出す」と思えばだいたいOK! まず自分で用意したHTMLから、狙った二つの文字を取り出してみよう。
参考資料
- Beautiful Soup:公式ドキュメント — HTML文字列・CSSセレクタ・get_text
- RFC 9309:Robots Exclusion Protocol — クローラーのルールと認可の違い