考えられる原因
Web スクレイピングでページソースを取得しようとした際、ブラウザで表示する場合と異なるテキストが表示されることがあります。
User-Agent を設定していない場合、Web サイト側でブロックされることがありますが、User-Agent を設定しても解決しない場合は、WAF などでブロックされている可能性があり、この場合は回避策はありません。
具体的例として、以下のようなテキストが出力された場合は WAF によりブロックされている可能性があります。
Request unsuccessful. Incapsula incident ID: [sitecard subtitle=関連記事 url=https://mytech-blog.com/python-web-scraping/ target=]
以上
