【Python】Web スクレイピングのやり方 | 違法にならないための注意点とコード例

はじめに

「毎日決まった時間に Web サイトを開いて、数値をコピーして Excel に貼り付ける…」 「複数の競合サイトの商品価格を、手作業で調査して一覧にする…」

もしあなたがこのような単純作業に時間を奪われているなら、Python を使った Web スクレイピング がその悩みを一瞬で解決してくれるかもしれません。

Web スクレイピングとは、プログラムを使って Web サイトから情報を自動的に抽出し、利用しやすい形（Excel や CSV、データベースなど）に加工・保存する技術のことです。一度プログラムを書いてしまえば、寝ている間でも Python が勝手に最新データを集めてくれます。業務効率化のインパクト大です。

しかし、便利さと同時に「スクレイピングって違法じゃないの？」「サーバーに負荷をかけて怒られない？」といった不安を感じる方も多いのではないでしょうか。検索候補に「禁止」「違法」と出てくるとドキッとしますよね。

安心してください。スクレイピングは、正しい法律の知識とマナー（ルール）さえ守れば、すごく便利な道具になります。

Web スクレイピングとは？

Web スクレイピング（Web Scraping）とは、広義には「Web サイトからデータを収集し、利用しやすい形に加工すること」を指します。

普段、私たちが Web ブラウザ（Chrome や Edge）でサイトを見る時と、Python プログラムがアクセスする時では、見ているものが少し違います。

人間（ブラウザ）

HTML や CSS を読み込み、綺麗にデザインされた「画面」として見ています。

プログラム（Python）

サーバーから送られてくる 「HTML ソースコード（文字の羅列）」 を直接読み取ります。ここから「<title>タグの中身」や「class="price"の数字」といった特定の文字を探し出して抜き出すのがスクレイピングの正体です。

API との違い（公式な窓口か、通用口か）

データを取得する手段として、よく API（Application Programming Interface） と比較されます。どちらも「データを自動で取得する」点は同じですが、アプローチが全く異なります。

API は、サイト運営者が「データを提供するため」に用意した公式ルートです。もし取得したいサイトに API があるなら（例: X, Amazon Product Advertising API など）、基本的には API を使うのが正解です。

スクレイピングは、API が用意されていないサイトからデータを取得するための 「最終手段」 と言えます。あくまで「人間が見るためのページ」をプログラムで読み取るため、サイトのデザインが変わるとプログラムも動かなくなる（メンテナンスが必要になる）という弱点があります。

【重要】スクレイピングは違法？ 禁止事項とマナー

結論から言うと、「スクレイピング＝違法」ではありません。 しかし、やり方を間違えると「違法行為」や「迷惑行為」になり、トラブルに巻き込まれるリスクがあります。

「どこまでが OK で、どこからが NG なのか？」という境界線を正しく理解することが、スクレイピングを始めるための最初のステップです。

法律的には「適法」なケースが多い

日本の法律（著作権法）では、「情報解析（AI 開発やデータ分析など）」を目的とする場合、原則として他人の Web サイトからデータを収集・利用することが認められています（著作権法第30条の4）また、「私的利用（自分だけで使う）」の範囲内であれば問題になることは少ないです。

ただし、これには重要な例外があります。以下の行為は絶対に NG です。

• ❌ 取得したデータをそのまま転載・販売する: 著作権侵害になります。
• ❌ サーバーをダウンさせる: 偽計業務妨害罪などに問われる可能性があります。

絶対に守るべき「3つのルール（マナー）」

法律以前の問題として、Webサイトの運営者に迷惑をかけないための「マナー」を守る必要があります。以下の3つは、スクレイピングを行う上での最低限のルールです。

必要なライブラリと選び方

Python でスクレイピングを行う場合、主に以下の2つの組み合わせのどちらかを使用します。 対象の Web サイトがどのように作られているかによって、適切な道具を選ぶ必要があります。

どっちを使えばいいの？

基本的には、まず「Requests + BeautifulSoup」を検討し、それでもダメな場合に「Selenium」を使うのが鉄則です。理由は単純で、Requests の方が圧倒的に処理が速く、コードもシンプルだからです。

本記事では、スクレイピングの基礎を学ぶために、基本となる「Requests + BeautifulSoup」の組み合わせについて解説します。

実践: ニュースサイトのタイトルを取得する

それでは、実際に Python を動かしてデータを取得してみましょう。 今回は例として、Python 公式サイトの「最新ニュース（Latest News）」のタイトル一覧を取得します。

環境準備

まずは必要なライブラリをインストールします。コマンドライン（ターミナル）で以下を実行してください。

pip install requests beautifulsoup4

STEP

HTML を取得する（Requests）

まずは requests を使って、Web サイトのデータをダウンロードします。ここで重要なのが User-Agent （UA）の設定です。

なぜ UA（User-Agent）の設定が必要なのか？

通常、ブラウザでアクセスすると「私は Chrome です」「iPhone です」という名刺（UA）をサーバーに渡します。 しかし、Python の requests はデフォルトで「私は Python のプログラムです」という名刺を渡してしまいます。多くの Web サイトは、ボットによるアクセスを防ぐために、この「プログラムからのアクセス」を門前払い（403エラー）にします。 そのため、ヘッダー情報を偽装して「私は普通のブラウザですよ」と伝える必要があります。

STEP

データを抽出する（BeautifulSoup）

HTML を取得できたら、BeautifulSoup で解析（パース）し、欲しいデータを取り出します。 データの抽出には主に以下の2つのメソッドを使います。

• find() / find_all(): HTMLタグ（<div>や<a>）や属性を指定して探す方法
• select(): CSS セレクタ（#id や .class）を使って探す方法

今回は直感的な select() の方法を使います。

【重要】ブラウザの「検証ツール」を使った要素の探し方

スクレイピングで一番難しいのは、コードを書くことではなく「欲しいデータが HTML のどこにあるかを見つけること」です。これにはブラウザの「検証ツール（デベロッパーツール）」を使います。

サンプルコード: コピペで動く実例

以下のコードは、Python 公式サイトからニュースのタイトルと URL を抽出して表示します。 そのままコピーして実行してみてください。

import requests
from bs4 import BeautifulSoup
import time

# 1. ターゲットURL（今回はPython公式サイトのニュース）
url = "https://www.python.org/blogs/"

# 2. User-Agentの設定（ブラウザのふりをする）
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36"
}

try:
    # 3. Webページを取得
    # timeoutを設定して、応答がない場合に無限待ちになるのを防ぐ
    response = requests.get(url, headers=headers, timeout=10)
    response.raise_for_status() # エラー（4xx, 5xx）があればここで例外を発生させる

    # 4. BeautifulSoupでHTMLを解析
    soup = BeautifulSoup(response.text, "html.parser")

    # 5. 要素を抽出（検証ツールで調べたセレクタを指定）
    # Python.orgでは <li> の中の <h3 class="event-title"> の中の <a> にタイトルがある
    news_list = soup.select("ul.list-recent-posts li h3.event-title a")

    print(f"取得件数: {len(news_list)}件")
    print("-" * 30)

    # 6. ループでデータを取り出す
    for news in news_list:
        title = news.getText().strip() # タイトル（余白削除）
        link = news.get("href")        # リンクURL
        
        print(f"タイトル: {title}")
        print(f"URL: {link}")
        print("-" * 30)

        # 【重要】マナーとして1秒待機（サーバー負荷軽減）
        time.sleep(1)

except Exception as e:
    print(f"エラーが発生しました: {e}")

実行結果:

取得件数: 5件
------------------------------
タイトル: Python 3.12.0 Released
URL: https://pythoninsider.blogspot.com/2023/10/python-3120-released.html
------------------------------
タイトル: Python 3.11.6 Released
URL: https://pythoninsider.blogspot.com/2023/10/python-3116-released.html
...

よくあるエラーと対処法

スクレイピングをしていると、コードは合っているはずなのにエラーが出る場面によく遭遇します。 ここでは、特に頻発する3つのエラーとその解決策を紹介します。

まとめ

本記事では、Python を使った Web スクレイピングの基礎から、法的な注意点、実践コードまでを解説しました。

スクレイピングは強力なツール

手作業で数時間かかる作業を、数秒で終わらせることができます。

マナー最重要

便利な反面、相手のサーバーに負荷をかける攻撃行為にもなり得ます。「robots.txtを確認する」「アクセス間隔を空ける」といったマナーを必ず守りましょう。

まずは静的サイトから

最初から複雑なサイト（要ログイン、JavaScript多用）に挑むと挫折しがちです。まずは Requests + BeautifulSoup で抜き出せるシンプルなサイトで練習し、データ抽出の楽しさを体感してみてください。

以上、最後までお読みいただきありがとうございました。

---

スッキリわかるPython入門 第2版 （スッキリわかる入門シリーズ） [ 国本 大悟 ]

created by Rinker

¥2,750 (2026/03/05 21:12:52時点 楽天市場調べ-詳細)

• Amazon
• 楽天市場
• Yahooショッピング

おすすめ書籍