Databricks-Certified-Data-Engineer-Professional Korean最も有効な質問と解答で勉強

데이터 엔지니어는 데이터 레이크에서 대량의 원시 JSON 로그를 가져와 보고용 Delta 테이블로 처리하는 야간 배치 ETL 파이프라인을 구축해야 합니다. 데이터는 하루에 한 번 대량으로 유입되며, 파이프라인 처리에는 몇 시간이 소요됩니다. 비용 효율성도 중요하지만, 파이프라인 완료의 성능과 안정성이 최우선 과제입니다. 데이터 엔지니어는 어떤 유형의 Databricks 클러스터를 구성해야 할까요?

• A. 파이프라인 실행 중에 여러 워커에 걸쳐 자동 확장되도록 구성된 작업 클러스터입니다.
• B. 작업 시작 시 지연 시간을 최소화하기 위해 항상 실행 중인 다목적 클러스터가 있습니다.
• C. 비용 절감을 위해 워커 노드 수가 적은 경량 단일 노드 클러스터입니다.
• D. 대화형 SQL 워크로드를 위해 설계된 고동시성 클러스터입니다.

시간 단위 배치 작업이 구성되어 클라우드 객체 스토리지 컨테이너에서 데이터 파일을 수집합니다. 각 배치는 해당 시간 동안 소스 시스템에서 생성된 모든 레코드를 나타냅니다. 이러한 레코드를 레이크하우스에 처리하는 배치 작업은 지연된 데이터가 누락되지 않도록 충분한 시간 간격을 두고 실행됩니다. user_id 필드는 데이터의 고유 키이며, 다음과 같은 스키마를 갖습니다.
user_id는 BIGINT, username은 STRING, user_utc는 STRING, user_region은 STRING, last_login은 BIGINT, auto_pay는 BOOLEAN, last_updated는 BIGINT입니다. 모든 새 레코드는 account_history라는 테이블에 입력되며, 이 테이블은 소스와 동일한 스키마에 모든 데이터의 전체 기록을 유지합니다. 시스템의 다음 테이블은 account_current이며, 각 고유 user_id에 대한 최신 값을 나타내는 Type 1 테이블로 구현됩니다.
수백만 개의 사용자 계정과 시간당 수만 건의 레코드가 처리된다고 가정할 때, 매시간 배치 작업의 일부로 설명된 account_current 테이블을 효율적으로 업데이트하는 데 사용할 수 있는 구현 방법은 무엇입니까?

• A. 계정 내역에서 마지막 업데이트 필드와 최근 처리 시간을 기준으로 레코드를 필터링하고, 사용자 이름이 중복되지 않도록 합니다. 각 사용자 이름에 대해 최신 값을 업데이트하거나 삽입하는 병합 문을 작성하세요.
• B. Delta Lake 버전 기록을 사용하여 계정 기록의 최신 버전과 이전 버전 간의 차이점을 가져온 다음 이러한 기록을 계정 현재 상태에 기록합니다.
• C. 사용자 ID별로 그룹화하고 마지막 업데이트 값의 최댓값을 기준으로 필터링하여 계정 내역 테이블에 대한 쿼리 결과를 사용하여 각 배치마다 계정 현재 테이블을 덮어씁니다.
• D. 자동 로더를 사용하여 계정 기록 디렉터리의 새 파일을 구독하고, 구조화된 스트리밍 트리거를 한 번 실행하여 새로 감지된 파일을 계정 현재 테이블에 일괄 업데이트하도록 구성합니다.
• E. 계정 내역에서 마지막 업데이트 필드와 최근 처리 시간, 그리고 사용자 ID별 최대 마지막 로그인 시간을 기준으로 레코드를 필터링하고, 각 사용자 ID에 대해 가장 최근 값을 업데이트하거나 삽입하는 병합 문을 작성합니다.

데이터 엔지니어가 클라우드 스토리지에서 Delta Lake 테이블로 JSON 파일을 수집하는 스트리밍 데이터 파이프라인을 구축하고 있습니다. 이 파이프라인은 파일을 점진적으로 처리하고, 스키마 변경을 자동으로 처리하며, 정확히 한 번만 처리되도록 보장하고, 수동 인프라 관리를 최소화해야 합니다.
데이터 엔지니어는 이러한 요구 사항을 어떻게 충족해야 할까요?

• A. 자동 로더를 배치 모드로 사용하여 일일 작업으로 델타 테이블을 덮어씁니다.
• B. Lakeflow Spart 선언적 파이프라인을 자동 로더와 함께 사용하고 스키마 추론을 활성화합니다.
  "cloudFiles.schemaEvolutionMode"= "addNewColumns"
• C. 기존 Spark Structured Streaming과 Auto Loader를 사용하고, 체크포인트 위치를 수동으로 구성하며, "mergeSchema"= "true"로 설정하여 스키마 추론을 활성화합니다.
• D. Lakeflow Spark 선언적 파이프라인을 사용하여 정적 DataFrame을 읽고, spark.conf.set("spark.databricks.delta.schema.autoMerge.enabled", "true")를 설정하여 스키마를 병합합니다.

데이터 조직에서 Unity Catalog 기반 워크스페이스에서 선별된 데이터 세트를 안전하게 배포하기 위해 Delta Sharing을 도입했습니다. 데이터 엔지니어링 팀은 대규모 Delta 테이블을 Databricks-to-Databricks를 통해 내부적으로 공유하고, 집계 보고서 생성을 위해 Open Sharing을 통해 외부로 공유합니다. 테스트 과정에서 접근 제어, 데이터 업데이트 가시성, 공유 가능한 객체 유형과 관련된 문제에 직면했습니다. Databricks-to-Databricks 또는 Open Sharing과 함께 Delta Sharing 프로토콜 또는 구현을 사용할 때 발생하는 제한 사항은 무엇일까요?

• A. Databricks 간 공유를 사용하는 경우 Unity Catalog 수신자는 COPY INTO 또는 REST API를 사용하여 데이터를 수동으로 다시 수집해야 합니다.
• B. 오픈 공유를 사용하면 수신자는 볼륨, 모델 또는 노트북에 액세스할 수 없으며 정적 델타 테이블만 지원됩니다.
• C. 델타 공유(Databricks 간 공유 및 오픈 공유 모두)를 사용하면 수신자가 특정 권한이 있는 경우 원본 데이터를 수정할 수 있습니다.
• D. Delta Sharing은 Unity Catalog가 활성화된 테이블을 지원하지 않습니다. 기존 Hive Metastore 테이블만 공유할 수 있습니다.

신입 데이터 엔지니어가 관계형 데이터베이스 시스템의 워크로드를 Databricks Lakehouse로 마이그레이션하고 있습니다. 소스 시스템은 스타 스키마를 사용하며, 외래 키 제약 조건과 다중 테이블 삽입을 활용하여 레코드 쓰기 시 유효성을 검사합니다.
이 워크로드를 마이그레이션하는 동안 엔지니어의 결정에 영향을 미치는 고려 사항은 무엇입니까?

• A. 여러 테이블에 동시에 커밋하려면 여러 테이블 잠금을 설정해야 하므로 교착 상태가 발생할 수 있습니다.
• B. 모든 Delta Lake 트랜잭션은 단일 테이블에 대해 ACID를 준수하며, Databricks는 외래 키 제약 조건을 적용하지 않습니다.
• C. 외래 키는 기본 키 필드를 참조해야 하며, 여러 테이블에 데이터를 삽입할 때는 Delta Lake의 upsert 기능을 활용해야 합니다.
• D. Databricks는 해시된 식별자에 대해서만 외래 키 제약 조건을 허용하여 고도로 병렬화된 쓰기 작업에서 충돌을 방지합니다.
• E. Databricks는 Spark SQL 및 JDBC를 지원하며, 모든 로직은 리팩토링 없이 소스 시스템에서 직접 마이그레이션할 수 있습니다.