Azure でデータ分析基盤を自動化

Azure ポータルから「ストレージアカウント」を作成します。「階層型名前空間（HNS）」の有効化が重要です。

• リソースグループ: rg-lake-demo
• アカウント名: stlakedemo01
• リージョン: Japan West
• 詳細設定: 階層型名前空間（HNS）を「有効」 にする
• その他: Standard / LRS

リソース作成後、CSV を格納するフォルダを作成します。

• 作成したストレージを開き、左メニュー「コンテナー」へ
• 「+ コンテナー」 で名前 raw を作成（アクセスレベル: 非公開）
• raw コンテナの中に、サブフォルダ inbox を作成します。

raw/
 └── inbox/

ユーザーの運用は、この inbox フォルダにファイルをアップロードするだけです。これをトリガーに自動処理が走ります。

Azure ポータルから「SQL データベース」を作成します。

• DB 名: sqlauto
• サーバー: 新規作成 sqlsrv-auto01（Japan East）
• コンピューティング: サーバーレスを選択
• 自動一時停止: ON（1時間）

ADF や自分の PC から接続できるようにします。

• 概要ページ上部の「サーバーのファイアウォールの設定」をクリック。
• 「Azure サービスおよびリソースがこのサーバーにアクセスすることを許可」 を ON にします。
• 「現在のクライアント IP を追加」もクリックして保存します。

「クエリエディター」を開き、以下の SQL を実行してテーブルを作成します。

CREATE TABLE dbo.TableTennisDemo (
  Rally INT,
  [Server] NVARCHAR(50),
  Winner NVARCHAR(50),
  ServeType NVARCHAR(100),
  Outcome NVARCHAR(100),
  Axis NVARCHAR(50),
  SpinClass NVARCHAR(50),
  [Length] NVARCHAR(50),
  Course NVARCHAR(50),
  Contact NVARCHAR(50) NULL,
  SetNumber INT,
  match_id NVARCHAR(50),
  created_at DATETIME2,
  player NVARCHAR(50),
  opponent NVARCHAR(50)
);

テーブルが作成されたか確認します。

SELECT COUNT(*) AS cnt FROM sys.tables WHERE name = 'TableTennisDemo';

結果の cnt が 1 ならOKです。

Azure ポータルから「Data Factory」を作成し、ADF Studio（管理画面）を開きます。

• 名前: adf-lakedemo
• リージョン: Japan East

1. Azure Data Lake Storage Gen2
   • 名前: ls_adls
   • アカウント: stlakedemo01
2. Azure SQL Database
   • 名前: ls_sqlauto
   • サーバー: sqlsrv-auto01... / DB：sqlauto

ここが重要です。ファイル名をパラメータ化します。

• 「データセット」新規作成 → Azure Data Lake Storage Gen2 (DelimitedText)
• 名前：ds_raw_csv / コンテナ: raw
• 「パラメータ」タブで以下を追加:
  • folder (String)
  • file (String)
• 「接続」タブに戻り、ファイルパスの入力欄で「動的なコンテンツ」を選び、以下を設定します。

Directory = @{dataset().folder}
File      = @{dataset().file}

• 「データセット」新規作成 → Azure SQL Database
• 名前: ds_sql_tennis
• テーブル: dbo.TableTennisDemo を選択

• 新規パイプライン pl_inbox_to_sql を作成
• キャンバスの空白部分をクリックし、「パラメータ」タブで以下を追加
  • p_folder (String)
  • p_file (String)
• 「Copy data」アクティビティを配置し、設定します。
  • ソース: ds_raw_csv
  • データセットプロパティ:
    • folder = @pipeline().parameters.p_folder
    • file = @pipeline().parameters.p_file
• シンク: ds_sql_tennis

• Copy data の「マッピング」タブを開く。
• 「スキーマのインポート」をクリックし、パラメータに仮の値を入力して読み込む。
  • p_folder → inbox
  • p_file → demodata.csv
• 列が表示されたら、Set 列を SetNumber に紐付け直します。
• 最後に左上の「すべて発行」をクリックします。

「管理」→「トリガー」→「+ 新規」をクリックします。

• 名前: trg_inbox_to_sql
• 種類: ストレージイベント（Blob created）
• コンテナ: raw
• Blob パス末尾: .csv

「次へ」進み、実行するパイプラインに pl_inbox_to_sql を選択します。 パラメータの設定画面で、トリガーからファイル情報を受け渡す記述を行います。

• p_file: @{triggerBody().fileName}
• p_folder: @{triggerBody().folderPath}

• トリガーを作成し、「すべて発行」します。
• トリガーの状態が「有効」になっていることを確認します。
• 実際に raw/inbox/ に新しい CSV をアップロードし、パイプラインが自動起動するか確認しましょう。

今回はリアルタイム性を重視し、DirectQuery モードを使用します。

• Power BI Desktop を起動し、「データの取得」→「Azure SQL Database」を選択。
• 以下の情報を入力して接続します。
• サーバー: sqlsrv-auto01.database.windows.net
• データベース: sqlauto
• データ接続モード: DirectQuery

フィールド一覧に dbo.TableTennisDemo テーブルが表示されます。 これらをキャンバスにドラッグ＆ドロップして、グラフや表を作成します。

Storage Explorer や Azure ポータルを使い、raw/inbox/ フォルダに新しいファイル（例：demodata_new.csv）をアップロードします。

参考: demodata_new.csv の中身

Rally,Server,Winner,ServeType,Outcome,Axis,SpinClass,Length,Course,Contact,Set,match_id,created_at,player,opponent
1,Alice,Alice,Forehand,Winner,Right,Topspin,Short,Forehand,None,1,M001,2025-09-30 10:00:00,Alice,Bob
2,Bob,Alice,Backhand,Error,Left,Backspin,Long,Backhand,Edge,1,M001,2025-09-30 10:01:00,Alice,Bob
3,Charlie,Charlie,Reverse sidespin serve,Service ace,Right,Topspin,Half-long,Middle,,2,M002,2025-10-01 09:00:00,Charlie,Dana
4,Dana,Charlie,Vertical-spin serve,Rally won,Left,Non-backspin,Long,Forehand,,2,M002,2025-10-01 09:05:00,Charlie,Dana

ADF Studio の「Monitor（監視）」タブを開きます。 ファイルのアップロードを検知してパイプラインが自動起動し、ステータスが Succeeded になっていることを確認します。

SQL Database 側に行数が増えていることをクエリで確認するか、Power BI の「更新」ボタンを押してグラフが変化することを確認します。