テーマ切替
Professional 認定 ドメイン別 学習教材集｜索引
Databricks 認定データエンジニア Professional の 10 ドメインについて、公式ドキュメント（日本語版）の中身を読み込んで書き起こした自習教材の索引です。 各ファイルは「リンク集」ではなく、そのファイルだけで学習が完結するよう、重要用語・概念・構文・コード例を漏らさずまとめています。 Professional は Associate の上位試験です。まず ../02_roadmap/roadmap-professional.md で全体戦略を確認してください。
教材一覧（配点順）
| # | ドメイン | 配点 | 教材ファイル |
|---|---|---|---|
| ① | Python/SQL コード開発 | 22% | 01-code-development.md |
| ② | コスト・パフォーマンス最適化 | 13% | 02-cost-performance.md |
| ③ | データ変換・クレンジング・品質 | 10% | 03-transformation-quality.md |
| ④ | モニタリング・アラート | 10% | 04-monitoring-alerting.md |
| ⑤ | セキュリティ・コンプライアンス | 10% | 05-security-compliance.md |
| ⑥ | デバッグ・デプロイ | 10% | 06-debugging-deploy.md |
| ⑦ | データインジェスト | 7% | 07-ingestion.md |
| ⑧ | データガバナンス | 7% | 08-governance.md |
| ⑨ | データモデリング | 6% | 09-data-modeling.md |
| ⑩ | データ共有・フェデレーション | 5% | 10-sharing-federation.md |
各ドメインの主な内容
| # | 主な内容 |
|---|---|
| ① | PySpark DataFrame／変換・アクション・遅延評価／ウィンドウ関数／ネスト処理／UDF の性能特性 |
| ② | OPTIMIZE／Z-ORDER／液体クラスタリング／予測的最適化／VACUUM／スキュー・スピル・AQE・Photon／DBU・コスト設計 |
| ③ | Expectations（warn/drop/fail）／クレンジング／MERGE INTO／データ品質監視 |
| ④ | システムテーブル／データ品質監視（プロファイル・ドリフト）／ストリーム監視／SQL アラート・ジョブ通知 |
| ⑤ | 行フィルター・列マスク／動的ビュー／ABAC／機密データ保護（DBR 要件・制限に注意） |
| ⑥ | Spark UI 診断（スキュー・スピル・OOM）／CI/CD・Asset Bundles／Git フォルダー／CLI・サービスプリンシパル |
| ⑦ | Auto Loader／Structured Streaming（トリガー・出力モード・チェックポイント・WAL）／foreachBatch・冪等・ウォーターマーク |
| ⑧ | Unity Catalog 階層・カタログ設計／データリネージ／監査ログ・システムテーブル／タグ |
| ⑨ | SCD Type 1/2／AUTO CDC（旧 APPLY CHANGES）／変更データフィード(CDF)／ディメンショナルモデル |
| ⑩ | Delta Sharing（オープン／D2D）／Lakehouse フェデレーション（外部DBクエリ・プッシュダウン） |
各教材の共通構成
すべてのファイルが同じ構成です。
- このドメインの概要
- 重要用語集（日本語（English）＋説明の表）
- 詳細解説（トピックごとに概念・仕組み・注意点を漏らさず）
- 構文・コード例（PySpark / SQL）
- 試験で問われるポイント
- 理解度チェックリスト
学習の進め方（推奨順）
- ① コード開発（22%）を最優先。PySpark を「読める・書ける」状態にする
- ②⑥⑦⑨（最適化・デバッグ・Streaming・モデリング）で実装/運用力を深める
- ③④⑤⑧⑩（品質・監視・セキュリティ・ガバナンス・共有）を上乗せ
- 各ファイルの「理解度チェックリスト」を全部説明できたら、ロードマップの 問題演習フェーズ へ
関連ドキュメント
| ファイル | 役割 |
|---|---|
| ../README.md | 全資料の入口 |
| ../01_overview/databricks-overview.md | Databricks 全体像 |
| ../02_roadmap/roadmap-professional.md | Professional ロードマップ（週次スケジュール） |
| ../03_associate-materials/00-index.md | Associate 教材（前提の土台） |
作成にあたっての注記
- 出典は Databricks 公式ドキュメント日本語版（主に Azure Databricks / Microsoft Learn）。各ファイル冒頭に参照した公式ページ URL を記載しています。
- Professional は「シナリオで最適解を選ぶ」実装・運用判断が中心です。用語暗記だけでなく、コード例を自分で書き・読めるようにしてください。
- 各エージェントが指定ページに加え、用語を漏らさないため関連ページも追加取得しています（例：⑦は triggers/foreach/watermarks、②は AQE/VACUUM/tune-file-size、⑨は AUTO CDC/CDF など）。
- 用語・数値・バージョン境界（DBR バージョン、しきい値、保持期間）は公式記載に基づきます。ドキュメントは更新されるため、細部は受験時点で公式を再確認してください。