Azure でデータ基盤を構築・可視化

URLをコピーしました！

はじめに

この記事では、Azure を利用してデータ基盤を構築し、可視化する手順について紹介します。具体的には、Azure Blob Storage に CSV データを格納し、Data Factory を用いて Azure SQL Database に取り込み、Power BI でレポートを作成する流れを解説します。

全体アーキテクチャ

今回の構成は以下のとおりです。

Blob Storage: データレイクの入り口（CSV 置き場）
Data Factory: データのコピーを担う ETL パイプライン
Azure SQL Database: データの格納先（DWH）
Power BI: データの可視化ツール

AWS に例えると「S3 → Glue → Redshift → QuickSight」に近いイメージです。

導入手順

STEP

Azure Blob Storage に CSV を格納

まずはストレージアカウントを作成し、raw コンテナにサンプルデータをアップロードします。

リソースグループ: Test-RG
ストレージアカウント: blobdemodata01
ファイル: demodata.csv

アップロード後、ポータルでファイルを開くとサイズや最終更新日時が確認できます。

STEP

SQL Database の準備

格納先となるデータベース（例：sqldemo）を用意し、テーブルを作成しておきます。

以下のクエリを実行してテーブルを作成しました。

CREATE TABLE TableTennisDemo (
    Rally INT,
    Server NVARCHAR(50),
    Winner NVARCHAR(50),
    ServeType NVARCHAR(100),
    Outcome NVARCHAR(100),
    Axis NVARCHAR(50),
    SpinClass NVARCHAR(50),
    Length NVARCHAR(50),
    Course NVARCHAR(50),
    Contact NVARCHAR(50) NULL,
    SetNumber INT,
    match_id NVARCHAR(50),
    created_at DATETIME2,
    player NVARCHAR(50),
    opponent NVARCHAR(50)
);

STEP