Web スクレイピングでページソースを取得しようとした際、ブラウザで表示する場合と異なるテキストが表示されることがあります。
User-Agent を設定していない場合、Web サイト側でブロックされることがありますが、User-Agent を設定しても解決しない場合は、WAF などでブロックされている可能性があり、この場合は回避策はありません。
具体的例として、以下のようなテキストが出力された場合は WAF によりブロックされている可能性があります。
Request unsuccessful. Incapsula incident ID: あわせて読みたい
Web スクレイピングとは スクレイピングとは、web ページから情報を抽出することを言います。取得した情報は、エクセルなどにまとめて利用することができます。…（中略）…Python を使えば、web ページをスクレイピングし、デー[…]
以上