テーマ切替
Databricks 概要と主要機能まとめ
データエンジニア認定資格（Associate / Professional）学習の土台として、Databricks が「何であるか」「どんな機能があるか」を体系的に整理したドキュメントです。 図は Mermaid で記述しているため、VSCode の Markdown プレビュー（拡張機能）や GitHub 上でそのまま図として表示されます。
目次
- Databricks とは
- 中核概念：レイクハウス（Lakehouse）
- プラットフォーム全体アーキテクチャ
- 主要コンポーネント・機能一覧
- メダリオンアーキテクチャとデータフロー
- コンピュートと料金の考え方
- 認定資格との対応表
- 用語集（英語UI表記つき）
1. Databricks とは
Databricks は、データ分析・データエンジニアリング・機械学習・生成AI を 1 つの基盤 で扱える「レイクハウス（Lakehouse）」型のデータ & AI プラットフォームです。現在は Data Intelligence Platform と呼ばれています。
- 成り立ち：分散処理エンジン Apache Spark の開発者たちが創業。Delta Lake、MLflow、Unity Catalog など主要技術の多くを OSS として公開している。
- マルチクラウド：AWS / Azure / Google Cloud 上で動作。特に Azure Databricks は Azure のファーストパーティ（Microsoft 純正）サービス。
- ねらい：これまで別々の製品で組んでいた「データレイク＋DWH＋ETL＋BI＋ML/AI」を単一基盤に統合し、データとAIの民主化を実現する。
一言でいうと 「データの取り込みから加工・分析・AI 活用までを、同じ場所・同じガバナンスで完結できる基盤」 です。
2. 中核概念：レイクハウス（Lakehouse）
従来は用途ごとに 2 つの基盤を使い分けていました。
| データレイク | データウェアハウス(DWH) | |
|---|---|---|
| 得意 | あらゆる形式を安く大量に保存 | 高速集計・高信頼(ACID)・BI |
| 苦手 | 品質・信頼性・トランザクション | 非構造化データ・コスト・柔軟性 |
レイクハウスは、この両者の長所を 1 つの基盤 で両立させる設計です。安価なクラウドストレージの上に、DWH 並みの信頼性（ACID トランザクション）を与える Delta Lake を重ねることで実現しています。
要点：構造化データも、ログ・画像・音声・テキストなどの非構造化データも同じ場所に置き、ETL → BI → AI までをまとめて実行できる。データを複製して別基盤へコピーする必要がない（＝単一のコピーを全用途で共有）。
3. プラットフォーム全体アーキテクチャ
Databricks は大きく 4 層 で捉えると理解しやすいです。下から「ストレージ → コンピュート → ガバナンス → ワークロード」。
- ① ストレージ層：データの実体はユーザー自身のクラウドストレージに Delta Lake（オープン形式） で置かれる。ベンダーロックインが少ない。
- ② コンピュート層：Spark ベースのクラスター、または管理不要の サーバーレス。Photon という高速クエリエンジンで SQL / DataFrame 処理を加速。
- ③ ガバナンス層：Unity Catalog が全データ・全AIモデルの権限とメタデータを一元管理。
- ④ ワークロード層：エンジニアリング・BI・AI の各仕事を、同じデータ・同じ権限の上で実行。
4. 主要コンポーネント・機能一覧
4-1. ストレージ／基盤
| 機能 | 説明 |
|---|---|
| Delta Lake | レイクハウスの心臓部。Parquet + トランザクションログで ACID トランザクション、タイムトラベル（過去バージョン参照）、スキーマ管理、MERGE、CDF（変更データフィード）を提供。 |
| Unity Catalog | データ & AI のガバナンスを一元化。catalog.schema.table の 3 階層で管理し、権限制御・データリネージ（来歴追跡）・監査ログ・タグ付けを横断的に提供。 |
| Delta Sharing | オープンなプロトコルで、社外・他組織へデータをコピーせず安全に共有。 |
| Databricks Marketplace | データセット・ノートブック・AIモデルを公開／入手できるマーケット。 |
4-2. データエンジニアリング（Lakeflow）
Lakeflow はデータエンジニアリング機能の総称。3 つの柱で構成されます。
| 機能 | 旧称 | 役割 |
|---|---|---|
| Lakeflow Connect | — | 各種DB・SaaS・ファイルからの**データ取り込み（インジェスト）**用コネクタ群。 |
| Lakeflow Declarative Pipelines | Delta Live Tables (DLT) | 宣言的にパイプラインを定義。データ品質チェック（Expectations）、依存関係の自動解決、増分処理を自動化。 |
| Lakeflow Jobs | Workflows / Jobs | ジョブのオーケストレーション（スケジュール・依存関係・リトライ・通知）。 |
| Auto Loader | — | クラウドストレージに届く新規ファイルを増分で自動検知・取り込み（cloudFiles）。 |
4-3. 分析・BI（Databricks SQL / AI/BI）
| 機能 | 説明 |
|---|---|
| Databricks SQL (DBSQL) | レイクハウス上で DWH 相当の高速 SQL 分析。SQL ウェアハウス（サーバーレス可）で実行。 |
| AI/BI Dashboards | ドラッグ&ドロップで作るダッシュボード。 |
| AI/BI Genie | 自然言語でデータに質問すると SQL を生成して答えるアシスタント。 |
4-4. AI / 機械学習（Mosaic AI）
| 機能 | 説明 |
|---|---|
| MLflow | 実験管理・モデル管理・デプロイの OSS 標準（Databricks が主導）。 |
| Mosaic AI Model Serving | モデルを REST API として本番提供。 |
| Mosaic AI Vector Search | RAG 向けのベクトル検索（埋め込み検索）。 |
| Mosaic AI / Agent Bricks | 生成AI・AIエージェントを構築・評価・運用するツール群（2026 時点の最新領域）。 |
| Databricks Assistant | ノートブック内の AI コーディング支援（コード生成・修正・説明）。 |
4-5. 開発環境・その他
| 機能 | 説明 |
|---|---|
| Notebooks | Python / SQL / Scala / R を混在できる対話型ノートブック。共同編集可。 |
| Databricks Apps | データ/AI アプリをプラットフォーム上で直接ホスティング。 |
| Databricks CLI / Asset Bundles | CI/CD。パイプラインやジョブをコードとして管理・デプロイ（IaC 的運用）。 |
| Git Folders | ノートブックの Git 連携（旧 Repos）。 |
5. メダリオンアーキテクチャとデータフロー
Databricks で推奨されるデータ設計パターンが メダリオンアーキテクチャ（Bronze → Silver → Gold）です。段階的にデータの品質を上げていきます。
| 層 | 中身 | 目的 |
|---|---|---|
| Bronze（銅） | 生データをほぼそのまま取り込む | 再処理できるよう原本を保持 |
| Silver（銀） | クレンジング・結合・重複排除 | 信頼できる「使えるデータ」 |
| Gold（金） | 集計・ビジネス指標化 | BI や AI がすぐ使える形 |
典型的なエンドツーエンドの流れ
6. コンピュートと料金の考え方
- コンピュート種別
- All-purpose クラスター：ノートブックでの対話的な開発・分析用。
- Job クラスター：ジョブ実行のたびに起動・終了する使い捨て（コスト効率が良い）。
- SQL ウェアハウス：Databricks SQL 用の専用コンピュート。
- サーバーレス：クラスター管理不要。起動が速く、上記各種でサーバーレス版が拡大中。
- 料金：利用したコンピュート量に応じた DBU（Databricks Unit） ＋ 裏側のクラウドインフラ費用。使った分だけの従量課金が基本。
- Photon：C++ 実装の高速ベクトル化エンジン。SQL / DataFrame 処理を透過的に高速化。
7. 認定資格との対応表
各機能が、どの試験でどれくらい問われるかの対応イメージです（詳細は最新の公式試験ガイドを参照）。
| 機能領域 | Associate | Professional |
|---|---|---|
| Delta Lake 基礎（テーブル操作・タイムトラベル） | ◎ | ◎ |
| Delta 高度機能（CDF・OPTIMIZE・Liquid Clustering） | ○ | ◎ |
| PySpark / Spark SQL での ETL | ◎ | ◎（コード読解が中心・比重大） |
| Auto Loader / Lakeflow Connect（取り込み） | ○ | ◎ |
| Lakeflow Declarative Pipelines（旧 DLT） | ○ | ◎ |
| Lakeflow Jobs（オーケストレーション） | ◎ | ◎ |
| Structured Streaming（リアルタイム処理） | △ | ◎ |
| Unity Catalog（ガバナンス・セキュリティ） | ○（15%程度） | ◎ |
| 監視・トラブルシューティング（Spark UI・最適化） | ○ | ◎ |
| CI/CD（Asset Bundles・Git Folders・CLI） | ○ | ◎ |
| データモデリング（SCD 等） | △ | ○ |
◎=重点 / ○=出題あり / △=軽め。Professional は「PySpark コードを読んで挙動を答える」実装・運用寄り、Associate は基礎タスク中心、という違いがそのまま機能の深さの違いに対応します。
8. 用語集（英語UI表記つき）
試験・UI は英語表記が多いので、日本語概念と英語をセットで覚えると迷いません。
| 日本語 | 英語表記 | 補足 |
|---|---|---|
| レイクハウス | Lakehouse | データレイク + DWH |
| デルタレイク | Delta Lake | ストレージ形式。ACID を付与 |
| ユニティカタログ | Unity Catalog | ガバナンス（catalog.schema.table） |
| フォトン | Photon | 高速クエリエンジン |
| 宣言的パイプライン | Lakeflow Declarative Pipelines | 旧 Delta Live Tables (DLT) |
| ジョブ | Lakeflow Jobs | 旧 Workflows。オーケストレーション |
| オートローダー | Auto Loader | 増分ファイル取り込み（cloudFiles） |
| 変更データフィード | Change Data Feed (CDF) | 行レベルの変更履歴 |
| メダリオン | Medallion | Bronze / Silver / Gold |
| アセットバンドル | Databricks Asset Bundles | CI/CD の単位 |
| Git フォルダ | Git Folders | 旧 Repos |
| モザイクAI | Mosaic AI | ML / 生成AI スイート |
参考リンク
- Databricks とは（Microsoft Learn 日本語 / Lakehouse）
- Databricksとは？（Qiita 日本語解説）
- Databricksをちょっとだけ理解する（Zenn）
- Data Engineer Associate 認定 公式ページ（日本語）
- Data Engineer Professional 認定 公式ページ
※製品名・機能名は更新が速い領域です（例：DLT → Lakeflow Declarative Pipelines、Workflows → Lakeflow Jobs、Repos → Git Folders）。本ドキュメントは 2026 年時点の呼称に基づきます。