テーマ切替
Databricks Free Edition で試験対策する｜共通ガイド
Associate / Professional の試験対策を Databricks Free Edition（無料・クレジットカード不要） で行うための共通ガイドです。 セットアップ手順、Free Edition の制約、そして「試験範囲のうちどこが実機で練習でき、どこは座学で補うしかないか」の対応表をまとめています。
具体的な課題は次の 2 ファイルにあります。
- handson-associate.md — Associate 7 セクション対応（12 課題）
- handson-professional.md — Professional 10 ドメイン対応（15 課題）
参照した公式ページ（2026-07 時点で実読）:
- Databricks Free Edition の制限: https://docs.databricks.com/aws/en/getting-started/free-edition-limitations
- Free Edition のサインアップ: https://docs.databricks.com/aws/en/getting-started/free-edition
- サーバーレスコンピューティングの制限: https://docs.databricks.com/aws/en/compute/serverless/limitations
1. Free Edition とは
- 無料で使える Databricks。旧 Community Edition の後継で、Community Edition は 2025 年に廃止されました。
- サインアップは Free Edition signup ページから、メール OTP / Google / Microsoft サインインのいずれかで完了します（クレジットカード不要）。
- ワークスペースには サーバーレスコンピュートと既定ストレージが最初から付いてくるので、クラスター作成なしですぐノートブックを実行できます。
- Unity Catalog が有効なので、
catalog.schema.objectの 3 階層・GRANT・リネージ・ボリュームといった試験の中核をそのまま触れます。
⚠️ 重要な前提: Free Edition は 商用利用不可、SLA / サポートなし、長期間非アクティブだとアカウントが削除されることがあります。学習専用と割り切って使ってください。
2. 最初にやるセットアップ（15分）
2-1. 学習用のスキーマとボリュームを作る
Free Edition は 1 ワークスペース / 1 メタストアです。既定のワークスペースカタログの下に、学習用のスキーマとボリュームを作って作業場所を固定します。
sql
-- 自分のカタログ名を確認（Free Edition ではワークスペースカタログが既定）
SELECT current_catalog(), current_schema();
SHOW CATALOGS;
-- 学習用スキーマ（以降 <catalog> は上で確認した名前に置き換える）
CREATE SCHEMA IF NOT EXISTS <catalog>.de_sandbox
COMMENT '認定試験対策用サンドボックス';
-- ファイル置き場（マネージドボリューム）
CREATE VOLUME IF NOT EXISTS <catalog>.de_sandbox.landing
COMMENT 'Auto Loader の取り込み元・チェックポイント置き場';
USE CATALOG <catalog>;
USE SCHEMA de_sandbox;
-- 確認
LIST '/Volumes/<catalog>/de_sandbox/landing/';2-2. 使えるサンプルデータを確認する
Free Edition でも samples カタログが使えます。ハンズオンの入力データはここを起点にするのが最も確実です。
sql
SHOW SCHEMAS IN samples; -- nyctaxi, tpch など
SELECT * FROM samples.nyctaxi.trips LIMIT 10;
SELECT count(*) FROM samples.tpch.orders;注:
/databricks-datasets/は DBFS 上のパスで、サーバーレスでは DBFS アクセスが強く制限されるため読めない場合があります。公式チュートリアルが/databricks-datasets/...を使っていても、Free Edition ではsamplesカタログかspark.range()での合成データに置き換えてください（各課題ではそうしています）。
2-3. SQL ウェアハウスを起動する
Free Edition の SQL ウェアハウスは 1 台・2X-Small 固定です。SQL エディター／ダッシュボード／アラートの課題で使います。
3. Free Edition の制約（アカウント・機能）
| 区分 | 制約 |
|---|---|
| コンピュート | サーバーレス専用。カスタム構成（ノード種別・DBR バージョン・ワーカー数など）は指定不可 |
| SQL ウェアハウス | 1 台のみ、2X-Small サイズ固定 |
| ジョブ | アカウントあたり同時実行タスク最大 5 |
| パイプライン | パイプライン種別ごとにアクティブ 1 本 |
| ワークスペース | 1 アカウント = 1 ワークスペース / 1 メタストア |
| 管理 | アカウントコンソールなし・アカウントレベル API なし・SSO / SCIM なし。認証はメール OTP / Google / Microsoft サインインのみ |
| 言語 | R は非サポート、Scala はノートブックで非サポート |
| モデルサービング | GPU エンドポイント・プロビジョンドスループット不可 |
| その他非サポート | カスタムワークスペースストレージ、オンラインテーブル、クリーンルーム、レガシ機能、Knowledge Assistant |
| クォータ | 超過するとその日（極端な場合はその月）の残り時間、コンピュートが停止する |
| ネットワーク | LinkedIn 認証をしていない場合、外向き（アウトバウンド）インターネット通信が制限される |
| 利用規約 | 商用利用不可、SLA / サポート対象外、Marketplace プロバイダーにはなれない |
4. サーバーレス専用ゆえの制約（試験対策に直結）
Free Edition はサーバーレス専用なので、サーバーレスコンピューティングの制限がそのまま効きます。試験対策上インパクトが大きいものを抜き出します。
| 制限 | 試験対策への影響 | 代替手段 |
|---|---|---|
| Spark UI が使えない | Professional ⑥ / Associate ⑥ の「Spark UI でスキュー・スピル・ステージ・タスクを読む」が実機で練習できない | 公式が案内するクエリプロファイル（query profile） を使う。判定基準（Max > 75%tile の 50% 増 など）は座学で暗記 |
RDD API 非サポート（Spark Connect API のみ、SparkContext 不可） | RDD を使った演習は不可（試験でも RDD は主題ではない） | DataFrame API に集中する（むしろ試験範囲そのもの） |
| Scala / R 非サポート | Professional ① の「Scala UDF は Python UDF より速い」を体感できない | 性能順（組み込み ＞ Scala ＞ pandas ＞ 行ごと Python）は暗記。Python UDF vs pandas UDF vs 組み込み関数の差は実測できる |
ストリーミングトリガーは AvailableNow() と Once() のみ（ProcessingTime / Continuous 不可） | 継続ストリーミング・固定間隔マイクロバッチの挙動を実機で見られない | Trigger.AvailableNow で増分バッチを反復実行して代替。トリガー種別の使い分けは座学 |
キャッシュ API が例外を投げる（df.cache() / persist() / CACHE TABLE） | 「Spark キャッシュは避ける」の検証ができない | ディスクキャッシュ／クエリ結果キャッシュの概念は座学 |
| コンピュートポリシー・init スクリプト・コンピュートスコープライブラリ非サポート | クラスター構成系の演習は不可 | ライブラリはノートブックスコープ（%pip install）で代替 |
| DBFS アクセスが強く制限 | /databricks-datasets/ や dbfs:/ 前提のチュートリアルが動かないことがある | Unity Catalog ボリューム（/Volumes/...）とワークスペースファイルを使う |
| UDF は外部ネットワーク不可・メモリ 1 GB 上限 | 外部 API を叩く UDF の演習は不可 | UDF のメモリ制限自体は Professional ① の出題ポイントなので、むしろ制約を体験できる |
| 最大実行時間 7 日 | 長期ストリーム運用の演習は不可 | — |
5. 試験範囲 × Free Edition での練習可否
Associate（7 セクション）
| # | セクション | 実機練習 | メモ |
|---|---|---|---|
| ① | プラットフォーム基礎 | ⭕ 一部 | Delta の ACID・タイムトラベル・トランザクションログは全部触れる。クラスター種別（汎用 vs ジョブ）・SQL ウェアハウス 3 種の比較は不可（サーバーレスのみ） |
| ② | データ取り込み | ⭕ | Auto Loader（cloudFiles）・COPY INTO・スキーマ推論／進化・_rescued_data すべて可。ボリュームを取り込み元にする |
| ③ | データ変換・モデリング | ⭕ | PySpark / Spark SQL / UDF / MERGE INTO / メダリオン。最重要セクションが丸ごと練習可 |
| ④ | Lakeflow Jobs | ⭕ 一部 | タスク・依存関係・DAG・cron・リトライ・通知・パラメータ・宣言型パイプライン・Expectations は可。同時タスク 5・パイプライン 1 本の枠内で |
| ⑤ | ガバナンス（UC） | ⭕ 一部 | 3 階層・GRANT / REVOKE・ボリューム・マネージド vs 外部の概念は可。外部ロケーション／ストレージ資格情報は自前クラウドが必要で実質不可 |
| ⑥ | 最適化・トラブルシューティング | 🔺 | OPTIMIZE / ZORDER / 液体クラスタリング / VACUUM / DESCRIBE HISTORY は可。Spark UI 診断は不可 → クエリプロファイルで代替 |
| ⑦ | CI/CD | ⭕ 一部 | Git フォルダー・CLI・バンドルの検証／デプロイ／実行は可。dev/prod の別ワークスペース分離は 1 ワークスペースのため不可 |
Professional（10 ドメイン）
| # | ドメイン | 配点 | 実機練習 | メモ |
|---|---|---|---|---|
| ① | Python/SQL コード開発 | 22% | ⭕ | DataFrame API・ウィンドウ関数・複雑型・高階関数・UDF（Python / pandas / UDTF / UDAF）。Scala UDF のみ不可 |
| ② | コスト・パフォーマンス最適化 | 13% | 🔺 | 液体クラスタリング・OPTIMIZE FULL・VACUUM・ファイルサイズは可。クラスターサイズ／インスタンスファミリ／スポット／プール／AQE 構成変更・Spark キャッシュは不可 |
| ③ | データ変換・品質 | 10% | ⭕ | Expectations（warn/drop/fail）・隔離・検証テーブル・MERGE 全パターン。データ品質監視はサーバーレス実行なのでクォータに注意 |
| ④ | モニタリング・アラート | 10% | 🔺 | SQL アラート・ジョブ通知（メール）・df.observe は可。システムテーブルはアカウント管理者権限前提で制限される可能性が高い（自環境で SELECT * FROM system.information_schema.tables LIMIT 1 を試して判断） |
| ⑤ | セキュリティ・コンプライアンス | 10% | ⭕ 一部 | 行フィルター・列マスク・動的ビュー・タグは可（サーバーレスなので FGAC 要件も満たす）。ABAC の管理タグはアカウントレベル機能のため制限される可能性あり。CMK・ネットワーク系は不可 |
| ⑥ | デバッグ・デプロイ | 10% | 🔺 | バンドル（init/validate/deploy/run/destroy）・Git フォルダー・foreachBatch の冪等化は可。Spark UI 診断・Executor ログ・OOM 再現は不可、別ワークスペースへの本番デプロイも不可 |
| ⑦ | データインジェスト | 7% | ⭕ 一部 | Auto Loader・チェックポイント・出力モード・ウォーターマーク・txnAppId/txnVersion・CDF 読み取りは可。トリガーは AvailableNow のみ |
| ⑧ | データガバナンス | 7% | ⭕ 一部 | カタログ設計・権限継承・BROWSE・リネージ（列レベル）・タグは可。監査ログ／システムテーブルは制限される可能性あり |
| ⑨ | データモデリング | 6% | ⭕ | SCD Type 1/2・AUTO CDC・AUTO CDC FROM SNAPSHOT・CDF。パイプライン 1 本の枠で順に試す |
| ⑩ | データ共有・フェデレーション | 5% | ❌ ほぼ不可 | プロバイダー側の受信者作成は有料エディション向けとされ、Free Edition では制限される。Lakehouse フェデレーションも接続先外部 DB とアウトバウンド通信が必要。座学（教材＋確認問題）で固める |
凡例: ⭕ ほぼ練習できる / 🔺 一部のみ / ❌ 実質不可
6. 実機で練習できない範囲をどう埋めるか
Free Edition で触れない領域は、次の 3 点セットで代替します。
- 教材の該当節を読む — 03_associate-materials/ / 04_professional-materials/
- 確認問題を解く — 05_practice-questions/（数値境界・バージョン境界はここで詰める）
- 公式ドキュメントの画面キャプチャで代替 — Spark UI のスキュー／スピルの見え方は Spark UI ガイドに実画面の図があるので、それを見て判定基準を覚える
特に暗記で押さえるべき「実機で確かめられない数値」:
| 項目 | 値 |
|---|---|
| スキュー判定 | Max が 75 パーセンタイルより 50% 以上長い |
| 小さいファイル | 8 MB を下回らないようにする |
| ファイルサイズ自動チューニング | < 2.56 TB → 256 MB / > 10 TB → 1 GB。自動圧縮 true は 128 MB |
| AQE 既定値 | ブロードキャスト切替 30MB / advisory 64MB / スキュー factor 5 かつ 256MB |
| パーティション設計 | 1 TB 未満は分割しない、分割するなら各 1 GB 以上 |
| VACUUM | 既定保持 7 日、7 日以上推奨。LITE/FULL は DBR 16.1 以降 |
| 液体クラスタリング | キーは最大 4、統計は既定で先頭 32 列 |
| 行フィルター／列マスク | 標準 12.2 LTS+ / 専用 15.4 LTS+（書き込みは 16.3+） |
7. クォータを使い切らないコツ
Free Edition はクォータ超過でその日のコンピュートが止まります。学習効率を落とさないために:
- ストリーミングは必ず
Trigger.AvailableNowで止める。書きっぱなしにしない（そもそもProcessingTimeは使えません） - ノートブックを閉じる前に 実行中のストリームを停止するpython
for q in spark.streams.active: print("stopping:", q.name) q.stop() - パイプラインは 1 本ずつ。課題が終わったら停止／削除して次の課題へ
- ジョブのスケジュールは検証後に必ず一時停止する（
PAUSED） - 巨大データは不要。
samples.nyctaxi.tripsのサブセットやspark.range()で十分に挙動は確認できる - 課題が終わったスキーマは片付けるsql
DROP SCHEMA IF EXISTS <catalog>.de_sandbox CASCADE;
8. 進め方
各課題は「目的 → 対応する教材／確認問題 → 手順・コード → 確認ポイント（試験で問われる形）」の構成です。教材を読んだ直後に対応する課題をやるのが最も定着します。
9. 出典
| 内容 | リンク |
|---|---|
| Free Edition の制限（本ファイル 3 章） | Databricks Free Edition limitations |
| サインアップ・同梱内容（2 章） | Sign up for Databricks Free Edition |
| サーバーレスの制限（4 章） | Serverless compute limitations |
| Spark UI 診断（6 章の代替手段） | Spark UI ガイド（日本語） |
⚠️ Free Edition の制限とクォータは変更されます。「⭕/🔺/❌」の判定は 2026-07 時点の公式記載に基づく見込みなので、自分のワークスペースで実際に試して確かめるのが最終確認です。特に「制限される可能性あり」と書いた項目（システムテーブル、ABAC 管理タグ、Delta Sharing プロバイダー、サービスプリンシパル）は、公式に Free Edition 個別の明記がないため推定を含みます。