Databricks 認定学習資料

テーマ切替

実運用で理解する Databricks：ECサイト日次データ基盤の例 ​

「機能名だけ聞いてもピンとこない」を解消するため、架空のECサイトの日次データ基盤を題材に、各機能が実際の運用で何をして、どう連携するかを図解します。 図は Mermaid 記法。VSCode の Markdown プレビュー（Cmd+Shift+V）や GitHub で図として表示されます。 機能単体の説明は databricks-overview.md を参照。

想定シナリオ ​

「ECサイト A社」 が、毎晩バッチで前日の売上を集計し、朝までにダッシュボードとレコメンドAIを最新化する、という運用を考えます。

  • データソース：注文DB（PostgreSQL）／Web・アプリのイベントログ（JSONファイル）／在庫マスタ（CSV）
  • やりたいこと：毎晩02:00に自動でデータを取り込み→整形→集計し、朝には経営ダッシュボードとレコメンドモデルが最新になっている
  • 求められること：品質保証（不良データを止める）、権限管理、障害時にすぐ気づいて直せる

0. 登場する機能マップ（役割を先に掴む） ​

機能運用での役割このECシナリオでの「担当」
Auto Loader / Lakeflow Connectデータの取り込み口ソースを毎晩取り込む「受付」
Delta Lakeデータの保存（永続化）Bronze/Silver/Gold を置く「倉庫の棚」
Lakeflow 宣言型パイプライン変換・品質チェック生データを整形・集計する「工場ライン」
Lakeflow Jobsオーケストレーション「毎晩2時に工場を動かす」現場監督
コンピュート（+ Photon）実行エンジン実際に処理する「機械・人手」
Unity Catalogガバナンス「誰が何を触れるか」の管理室＋監視カメラ
Databricks SQL / AI-BI / Genie分析・BI経営・現場が見る「ダッシュボード」
Mosaic AI / MLAI活用レコメンドを出す「AIエンジン」
システムテーブル / アラート監視異常を知らせる「警報」
Asset Bundles / Git フォルダーCI/CD設計図の管理と「本番反映（出荷）」

1. エンドツーエンドの処理フロー（データの流れ） ​

データが「ソース → 倉庫 → 利用者」へ流れる様子。矢印のラベル＝その工程を担当する機能です。

  • ①〜③がデータエンジニアの主戦場（＝認定資格の中心）。生データを段階的に「使える」形へ。
  • 各段階は Delta テーブルとして保存されるので、途中からやり直せる／過去に遡れる（タイムトラベル）。

2. 機能同士の連携（誰が誰を動かすか） ​

処理は勝手に流れません。「監督が指示 → エンジンが実行 → 倉庫に読み書き」 という縦の連携があり、Unity Catalog が全体を横串で監視します。

読み解き方

  • Lakeflow Jobs が一番上の「監督」。何を・どの順で・失敗したらどうするかを決める。
  • コンピュートが唯一「実際に計算する」場所。Photon で高速化。処理が終われば自動終了してコスト削減。
  • Delta Lake が唯一「データが物理的に存在する」場所。
  • Unity Catalog はデータを処理する部分ではなく、「触っていいか」を判定し、履歴を残す横串の存在（点線）。

3. 日次バッチ「1回の実行」を時系列で追う ​

毎晩02:00に何が起きるか、時間の流れで見ます（これが「運用」の実感）。

ポイント

  • ⑤「前回以降の新規分だけ」= 増分処理。Auto Loader がチェックポイントで「どこまで読んだか」を覚えているので、毎回全件読み直さない。
  • ⑨ 品質チェックで不良データを止められる（例：金額がマイナスの注文を隔離）。ここが「本番運用グレード」の肝。
  • 成功なら自動でクラスター停止＝使った分だけ課金。失敗ならすぐ人に通知。

4. 障害が起きたときの運用フロー ​

「アラートが鳴ってから直して本番反映するまで」。ここに 監視・Spark UI・CI/CD が絡みます。

  • Repair run ＝ 最初からやり直さず、失敗したタスクから再開できる（時間・コスト節約）。
  • コード修正は Git → Asset Bundles で本番反映。手作業で本番を触らない＝安全。

5. まとめ：一言でいうと ​

  • 縦の流れ：Jobs（監督）→ Compute（実行）→ Delta（保存）→ SQL/AI（活用）
  • 横の見張り：Unity Catalog がすべての工程で「権限・履歴」を管理
  • 入口は Auto Loader、加工は宣言型パイプライン、品質は Expectations、運用の安全は CI/CD＋監視

この1枚のイメージ（入れる→整える→貯める→使う＋見張る）を持っておくと、個々の機能が「全体のどこの担当か」で腹落ちします。

関連 ​