-
Web スクレイピングでページを取得できない
考えられる原因 Web スクレイピングでページソースを取得しようとした際、ブラウザで表示する場合と異なるテキストが表示されることがあります。User-Agent を設定していない場合、Web サイト側でブロックされることがありますが、User-Agent を設定しても... -
Web スクレイピングで HTML 要素を取得
HTML 要素の取得について Beautiful Soup で HTML 要素を取得する方法として「select() メソッド」と「find() メソッド」の 2 つがあります。違いは検索条件の書き方です。本記事ではシンプルな「select() メソッド」について書きます。 使い方 以下のよう... -
AWS Vault 実行時にエラー
エラー内容 AWS Vault でコマンドを実行時、以下のエラーに遭遇しました。 aws-vault: error: exec: aws-vault sessions should be nested with care, unset $AWS_VAULT to force 原因 原因はわからなかったのですが、次のコマンドを実行すると 100% 再現... -
Ubuntu 20.04 LTS に AWS Vault をインストール
はじめに Ubuntu Desktop 20.04 LTS に AWS Vault をインストールして、基本的な操作をするまでの手順です。 AWS Vault とは ざっくりいうと、AWS のアクセスキーを OS のキーストアに保存することができるソフトウェアです。Windows の場合は「... -
Python で Web スクレイピング
Web スクレイピングとは スクレイピングとは、web ページから情報を抽出することを言います。取得した情報は、エクセルなどにまとめて利用することができます。…（中略）…Python を使えば、web ページをスクレイピングし、データを自動で取ってくることが... -
Expect で対話コマンドを自動化
はじめに Ubuntu Desktop 20.04 LTS に Expect をインストールして、対話コマンドを自動化するまでの手順です。 Expect とは 対話コマンドは、簡単にいうとシステムが入力を受付け、ユーザーが入力することで出力を返すコマンドです。具体例でいうと、sudo... -
Python で AttributeError がでた原因について
はじめに Python で import requests を実行した時に次のエラーに遭遇しました。 エラー内容 >>> import requests Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/hatkobelab/... -
Python の urljoin メソッドについて
urljoin メソッドとは 基底 URL（base）と別の URL（url） を結合して、絶対 URL を作成します。 実行例 次のコードを実行します。 from urllib.parse import urljoin baseurl = 'https://friendsnow.hatenablog.com/' relativeurl = 'archive... -
Active Directory の基礎について
はじめに 本記事では、Active Directory の 5 つのサービスの概要と、最も代表的なサービスである Active Directory ドメインサービス（AD DS）の基礎について紹介します。 Active Directory の 5 つのサービスについて Active Directory は 5 つのサービ... -
Python の Selenium モジュールについて
Selenium モジュールとは ブラウザを操作できるモジュールです。主に requests モジュールや Beautiful Soup モジュールと組み合わせて WEB スクレイピングに利用されます。 実行例 次のコードを実行すると、Chrome ブラウザが起動します。 from selenium ...
