とも– Author –
-
Web スクレイピングで HTML 要素を取得
HTML 要素の取得について Beautiful Soup で HTML 要素を取得する方法として「select() メソッド」と「find() メソッド」の 2 つがあります。違いは検索条件の書き方です。本記事ではシンプルな「select() メソッド」について書きます。 使い方 以下のよう... -
AWS Vault 実行時にエラー
エラー内容 AWS Vault でコマンドを実行時、以下のエラーに遭遇しました。 aws-vault: error: exec: aws-vault sessions should be nested with care, unset $AWS_VAULT to force 原因 原因はわからなかったのですが、次のコマンドを実行すると 100% 再現... -
Ubuntu 20.04 LTS に AWS Vault をインストール
はじめに Ubuntu Desktop 20.04 LTS に AWS Vault をインストールして、基本的な操作をするまでの手順です。 AWS Vault とは ざっくりいうと、AWS のアクセスキーを OS のキーストアに保存することができるソフトウェアです。Windows の場合は「... -
Python で Web スクレイピング
Web スクレイピングとは スクレイピングとは、web ページから情報を抽出することを言います。取得した情報は、エクセルなどにまとめて利用することができます。…（中略）…Python を使えば、web ページをスクレイピングし、データを自動で取ってくることが... -
Expect で対話コマンドを自動化
はじめに Ubuntu Desktop 20.04 LTS に Expect をインストールして、対話コマンドを自動化するまでの手順です。 Expect とは 対話コマンドは、簡単にいうとシステムが入力を受付け、ユーザーが入力することで出力を返すコマンドです。具体例でいうと、sudo... -
Python で AttributeError がでた原因について
はじめに Python で import requests を実行した時に次のエラーに遭遇しました。 エラー内容 >>> import requests Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/hatkobelab/... -
【Python】URL 結合は「+」ではなく「urljoin」を使うべき理由と注意点
はじめに Python で Web スクレイピングや REST API を利用するコードを書いていると、「ベースとなる URL（ドメイン）」 と 「相対パス」 をくっつけて、アクセス先の絶対 URL を作りたい場面が頻繁にあります。 base = "https://example.com/"... -
Active Directory の基礎について
はじめに 本記事では、Active Directory の 5 つのサービスの概要と、最も代表的なサービスである Active Directory ドメインサービス（AD DS）の基礎について紹介します。 Active Directory の 5 つのサービスについて Active Directory は 5 つのサービ... -
Python の Selenium モジュールについて
Selenium モジュールとは ブラウザを操作できるモジュールです。主に requests モジュールや Beautiful Soup モジュールと組み合わせて WEB スクレイピングに利用されます。 実行例 次のコードを実行すると、Chrome ブラウザが起動します。 from selenium ... -
Python の Beautiful Soup モジュールについて
Beautiful Soup モジュールとは HTML や XML ファイルからデータを取得し、解析するライブラリです。主に requests モジュールと組み合わせて、Web スクレイピングに使用されます。 実行例 次のコードを実行します。 import requests from bs4 import Beau...
