Databricks 認定学習資料

テーマ切替

Associate 認定 セクション別 学習教材集（公式ドキュメント日本語版） ​

roadmap-associate.md の 7 セクション それぞれに対応する、Databricks 公式ドキュメント（日本語版） の学習教材リンク集です。 各セクションで「読む順番 → 公式リンク → 学習ポイント → 手を動かすチュートリアル」の流れで学べます。

公式日本語ドキュメントの2大ソース ​

ソースURL特徴
Databricks 公式ドキュメント（日本語）docs.databricks.com/ja/Databricks 本家。ページにより日本語対応
Azure Databricks 公式（Microsoft Learn 日本語）learn.microsoft.com/ja-jp/azure/databricks/日本語が最も網羅的。以下では主にこちらを使用

💡 ポイント：Delta Lake / Spark / Unity Catalog / Lakeflow などのエンジン概念はクラウド共通です。AWS/GCP を使う場合でも、日本語が充実した Azure Databricks 版ドキュメントで概念を学べます（クラウド固有の初期設定部分だけ読み替え）。

学習の全体像（公式教材の読む順番） ​

まず ①→③ で「置く・変える」の中核を固め、②で入口、④⑤で運用とガバナンス、⑥⑦で最適化と自動化、の順が効率的です。

① プラットフォーム基礎 ​

ねらい：レイクハウス／ワークスペース／クラスター／Delta Lake の全体像をつかむ。

トピック公式ドキュメント（日本語）
Azure Databricks とはAzure Databricks とは
構成要素の全体像Azure Databricks コンポーネント
レイクハウスとはData Lakehouse とは
Delta Lake とはAzure Databricks の Delta Lake とは
開発言語開発言語の選択（Python/SQL/Scala/R）

学習ポイント

  • レイクハウス＝データレイク＋DWH。Delta Lake が ACID・タイムトラベル・スキーマ管理を提供する仕組み。
  • ワークスペース・ノートブック・クラスターの役割分担。

② データ取り込み ​

ねらい：ファイル/ストレージからの取り込み手段（Auto Loader・COPY INTO）を使い分けられるようにする。

トピック公式ドキュメント（日本語）
Auto Loader とはAuto Loader とは（Databricks 公式）
Auto Loader 実践パターンAuto Loader の一般的なデータ読み込みパターン
COPY INTO で読み込むCOPY INTO を使用してデータを読み込む
COPY INTO 例COPY INTO の一般的なデータ読み込みパターン

学習ポイント

  • Auto Loader（cloudFiles）：新規到着ファイルを増分検知。チェックポイントでexactly-once、スキーマ推論・進化に対応。
  • COPY INTO：冪等（idempotent）で再実行可。読み込み済みファイルはスキップ。少量/定期ロード向き。
  • 「増分・大規模なら Auto Loader、シンプルな一括なら COPY INTO」の使い分けを理解。

③ データ変換・モデリング（最重要） ​

ねらい：PySpark / Spark SQL で ETL を書き、メダリオンで段階的に整形できるようにする。

トピック公式ドキュメント（日本語）
Spark で ETL（実践入門）チュートリアル：Apache Spark で ETL パイプラインを構築
メダリオンアーキテクチャメダリオン レイクハウス アーキテクチャとは
UDF（ユーザー定義関数）ユーザー定義関数 (UDF) とは
MERGE（アップサート）MERGE INTO 構文リファレンス
SQL 言語リファレンスSQL 言語リファレンス

学習ポイント

  • DataFrame API（select/filter/withColumn/join/groupBy）と Spark SQL の両方で同じ処理を書ける。
  • メダリオン Bronze→Silver→Gold で品質を段階的に上げる。
  • MERGE INTO によるアップサート、UDF の定義と使いどころ。

④ Lakeflow Jobs（オーケストレーション） ​

ねらい：ジョブの作成・依存関係・スケジュール・宣言的パイプラインを扱えるようにする。

トピック公式ドキュメント（日本語）
Lakeflow ジョブとはLakeflow ジョブ
宣言的パイプライン（旧 DLT）でETLチュートリアル：Lakeflow Spark 宣言型パイプラインで ETL 構築
パイプラインでデータ読み込みLakeflow 宣言パイプラインを使用してデータを読み込む
パイプラインエディター入門チュートリアル：Lakeflow Pipelines エディターで最初のパイプライン作成

学習ポイント

  • ジョブ＝複数タスクを依存関係付きで実行。スケジュール・リトライ・通知・パラメータ渡し。
  • 宣言的パイプラインの Expectations（データ品質チェック） と自動依存解決。

⑤ ガバナンス・セキュリティ（Unity Catalog） ​

ねらい：Unity Catalog の 3 階層と権限管理を理解する。

トピック公式ドキュメント（日本語）
Unity Catalog とはUnity Catalog とは
カタログ（3階層の最上位）Azure Databricks のカタログとは
使い始めるUnity Catalog の使い方を始める
ボリューム（非表形式データ）Unity Catalog のボリュームとは

学習ポイント

  • catalog.schema.table の 3 階層ネームスペース。
  • GRANT/REVOKE による権限、データリネージ・監査ログの自動記録。

⑥ トラブルシューティング・最適化 ​

ねらい：Spark UI で診断し、OPTIMIZE / Liquid Clustering で改善できるようにする。

トピック公式ドキュメント（日本語）
最適化の推奨事項（入口）Azure Databricks の最適化に関する推奨事項
ファイルレイアウト最適化（OPTIMIZE）データファイルレイアウトを最適化する
Liquid Clusteringテーブルに液体クラスタリングを使用する
Spark UI で診断Spark UI ガイド：小さい多数の Spark ジョブ
性能ベストプラクティスパフォーマンス効率のベストプラクティス

学習ポイント

  • Spark UI でシャッフル・スキュー・small files を読む。
  • OPTIMIZE・Liquid Clustering・predictive optimization（Unity Catalog マネージドテーブルで OPTIMIZE を自動実行）の役割。

⑦ CI/CD ​

ねらい：Asset Bundles・Git Folders・CLI でコードとしてデプロイできるようにする。

トピック公式ドキュメント（日本語）
Asset Bundles 設定例Databricks Asset Bundles の構成例（Databricks 公式）
Git フォルダー（旧 Repos）Azure Databricks Git フォルダー
Git フォルダーの操作Git フォルダーの作成と管理
Git フォルダーの設定Databricks Git フォルダーを設定する
Databricks CLIDatabricks CLI とは

学習ポイント

  • Databricks Asset Bundles：ジョブ/パイプラインを YAML でコード管理し、dev→prod にデプロイ。
  • Git Folders：ノートブックの Git 連携（clone/commit/pull/push）。
  • Databricks CLI：REST API 上に構築されたコマンドライン操作。

補助教材（横断） ​

種別リンク
公式ドキュメント トップ（日本語）Azure Databricks のドキュメント
公式トレーニング/認定（日本語）Data Engineer Associate 認定 公式ページ
全体像（本リポジトリ内）databricks-overview.md
学習ロードマップ（本リポジトリ内）roadmap-associate.md

使い方の推奨フロー ​

  1. roadmap-associate.md の週次スケジュールに沿って進める
  2. 各週で対応するセクションの公式ドキュメントを読む → チュートリアルで手を動かす
  3. セクション末の学習ポイントを自分の言葉で説明できるか確認
  4. 一通り終えたら公式練習問題へ（→ ロードマップ Phase 3）

⚠️ 公式ドキュメントの URL やページ構成は更新されることがあります。リンク切れの場合は、ページ内検索（日本語）でトピック名（例：「Auto Loader」「Unity Catalog」）を検索してください。用語自体は英語表記で覚えておくと、英語 UI・英語試験選択肢の両方で迷いません。