Databricks-Certified-Data-Engineer-Professional日本語最も有効な質問と解答で勉強

ジュニアデータエンジニアの1人が、DataFrame dfを用いたグループ化された集計機能を備えたストリーミングデータパイプラインの開発を依頼されました。このパイプラインでは、重複しない5分間隔ごとに平均湿度と平均気温を計算する必要があります。イベントはデバイスごとに1分ごとに記録されます。
ストリーミング DataFrame df には次のスキーマがあります。
「device_id INT、event_time TIMESTAMP、temp FLOAT、humidity FLOAT」
コードブロック:

このタスクを完了するには、コード ブロック内の空白を正しく埋める応答を選択してください。

• A. window("event_time", "5 minutes").alias("time")
• B. "event_time"
• C. lag("event_time", "10 minutes").alias("time")
• D. to_interval("event_time", "5 minutes").alias("time")
• E. window("event_time", "10 minutes").alias("time")

データエンジニアが、customer_id、transaction_timestamp(ミリ秒単位の精度)、amount_spent を含む PySpark DataFrame df 内のトランザクションデータを分析しています。目的は、顧客ごとに、transaction_timestamp の順序に従って、amount_spent の累積合計を計算することです。累積合計には、最も古いタイムスタンプから現在の行までのすべてのトランザクションが含まれ、各顧客パーティション内の時間的な順序が尊重される必要があります。適切なウィンドウ指定を最も正確に構築し、集計を適用して顧客ごとの正確な累積支出を算出する PySpark コードスニペットはどれですか。

• A.
  
• B.
  
• C.
  
• D.
  

施設監視チームは、Delta テーブル device_readings からほぼリアルタイムの PowerBI ダッシュボードを構築しています。
列:
device_id (文字列、一意のセンサーID)
event_ts (TIMESTAMP、取り込みタイムスタンプ UTC)
temperature_c (DOUBLE、温度(℃))
要件：
各センサーについて、重複しない5分ごとに1行生成する
間隔、2 分ずつオフセットされます (例: 00:02-00:07、00:07-00:12、...)。
各行には、間隔の開始、間隔の終了、平均を含める必要があります。
そのスライスの温度。
下流のBIツール(Power BIなど)は、間隔タイムスタンプを使用する必要があります。
時系列バーをプロットします。

• A. デバイスIDを選択します。
  イベントts、
  AVG(温度_c) OVER (
  デバイスIDによるパーティション
  イベントtsで順序付け
  5分前の行と現在の行の間の範囲
  ) AS 平均温度5分
  device_readingsから
  WINDOW w AS (window(event_ts, '5 分', '2 分'));
• B. デバイスIDを選択します。
  date_trunc('minute', event_ts - 間隔 2 分) + 間隔 2 分 AS bucket_start、date_trunc('minute', event_ts - 間隔 2 分) + 間隔 7 分 AS bucket_end、AVG(temperature_c) AS avg_temp_5m FROM device_readings GROUP BY device_id、date_trunc('minute', event_ts - 間隔 2 分) ORDER BY device_id、bucket_start;
• C. バケットを AS として (
  デバイスIDを選択します。
  window(event_ts, '5分', '2分', '5分') AS勝利、
  温度_c
  device_readingsから
  )
  デバイスIDを選択します。
  win.start AS bucket_start、
  win.end AS bucket_end、
  AVG(温度_c) AS avg_temp_5m
  バケットから
  GROUP BY device_id、win
  デバイスID、バケット開始で順序付けします。
• D. デバイスIDを選択します。
  window.start AS bucket_start、
  window.end AS bucket_end、
  AVG(温度_c) AS avg_temp_5m
  device_readingsから
  GROUP BY device_id、window(event_ts、'5 minutes'、'5 minutes'、'2 minutes') ORDER BY device_id、bucket_start;

データエンジニアリングチームは、DatabricksアセットバンドルとGitプロバイダーのCI/CD機能を用いて統合テストを自動化するGitプロジェクトを構築しています。パイプラインへの変更を含むプルが送信されたら、データパイプラインをテストするためのジョブを実行する必要があります。このタスクにおいて、GitプロバイダーのCI/CD自動化から実行すべき正しいDatabricksバンドルコマンドシーケンスは何ですか？

• A. デプロイ、実行、検証
• B. 初期化、デプロイ、実行、検証
• C. 検証、デプロイ、実行
• D. 初期化、検証、デプロイ、実行

データエンジニアは、頻繁に更新と削除が行われる 800GB の UC マネージドテーブルに対する MERGE 操作を最適化しています。MERGE のパフォーマンスを向上させるために、エンジニアが優先すべき 2 つのアクションはどれですか(2 つ選択してください)。

• A. テーブル上の削除ベクトルがまだ有効になっていない場合は有効にします。
• B. 高カーディナリティ列では ZORDER を使用します。
• C. マージの代わりにテーブルを上書きします。
• D. テーブルを日付でパーティション分割します。
• E. マージ結合キーを使用して Liquid クラスタリングを適用します。