Python– tag –

Google Custom Search API とは Google が提供する検索エンジン API で、独自の検索エンジンを作成し、Web サイトやアプリケーション内で Google 検索の機能を利用することができます。具体的には、Google Custom Search API を使用すると、特定のキーワー...

Backlog API とは Backlog のプロジェクト情報（課題・Wiki・ファイル）の追加や取得等、Web でできる操作の大部分を、API 経由で実行することができます。詳細については、「Backlog API とは」をご参照ください。本記事では、Python を使って、Backlog ...

Python でスクリプトを実行した際に次のエラーに遭遇しました。 SyntaxError: Non-UTF-8 code starting with '\x82' in file test.py on line 234, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details 原因と対策 ...

はじめに Twitter API と Python を利用して、過去のツイートを一括削除することができます。Twitter API の概要と申請方法は、以下の記事をご参照ください。[sitecard subtitle=関連記事 url=https://mytech-blog.com/twitter-api/ target=] Twitter ...

はじめに Web スクレイピングは、それ自体は違法とされていないものの、ルールや注意点を十分に理解して実施しないと違法となる可能性があります。今回は「違法とならないために注意すること」の 4 つについて紹介いたします。TOPCOURT 様の記事を参考にさ...

考えられる原因 Web スクレイピングでページソースを取得しようとした際、ブラウザで表示する場合と異なるテキストが表示されることがあります。User-Agent を設定していない場合、Web サイト側でブロックされることがありますが、User-Agent を設定しても...

HTML 要素の取得について Beautiful Soup で HTML 要素を取得する方法として「select() メソッド」と「find() メソッド」の 2 つがあります。違いは検索条件の書き方です。本記事ではシンプルな「select() メソッド」について書きます。 使い方 以下のよう...

Web スクレイピングとは スクレイピングとは、web ページから情報を抽出することを言います。取得した情報は、エクセルなどにまとめて利用することができます。…（中略）…Python を使えば、web ページをスクレイピングし、データを自動で取ってくることが...

はじめに Python で import requests を実行した時に次のエラーに遭遇しました。 エラー内容 >>> import requests Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/hatkobelab/...

はじめに Python で Web スクレイピングや REST API を利用するコードを書いていると、「ベースとなる URL（ドメイン）」 と 「相対パス」 をくっつけて、アクセス先の絶対 URL を作りたい場面が頻繁にあります。 base = "https://example.com/"...