最も有効な Databricks-Certified-Data-Engineer-Professional Korean 試験参考書

Databricks를 처음 사용하는 사용자가 작업 중인 파이프라인 로직의 실행 시간이 너무 오래 걸리는 문제를 해결하려고 합니다. 현재 사용자는 display() 호출을 사용하여 코드를 셀 단위로 실행하면서 새로운 변환이 작업에 추가될 때 코드가 논리적으로 올바른 결과를 생성하는지 확인하고 있습니다. 평균 실행 시간을 측정하기 위해 각 셀을 대화형으로 여러 번 실행하고 있습니다.
다음 중 어떤 조정을 하면 실제 운영 환경에서 코드 성능을 더 정확하게 측정할 수 있을까요?

• A. 개발 노트북에서 코드 실행 시간을 의미 있게 문제 해결하는 유일한 방법은 프로덕션 규모의 데이터와 프로덕션 규모의 클러스터를 사용하여 "모두 실행" 모드로 실행하는 것입니다.
• B. Scala는 인터랙티브 노트북을 사용하여 정확하게 테스트할 수 있는 유일한 언어입니다. Scala 코드를 JAR 파일로 컴파일하여 사용할 때 최상의 성능을 얻을 수 있기 때문입니다. 모든 PySpark 및 Spark SQL 로직은 리팩토링해야 합니다.
• C. Photon은 예약된 작업을 위해 시작된 클러스터에서만 활성화할 수 있으므로, 증분 코드 개발 중에 노트북을 작업으로 실행하고 실행 시간을 추적하려면 Jobs UI를 활용해야 합니다.
• D. 실제 운영 환경에서의 코드 개발은 반드시 IDE를 사용하여 수행해야 합니다. 오픈 소스 Spark 및 Delta Lake의 로컬 빌드 환경에서 코드를 실행하면 실제 운영 환경에서의 코드 성능을 가장 정확하게 예측할 수 있습니다.
• E. display()를 호출하면 작업이 강제로 트리거되지만, 많은 변환은 논리적 쿼리 계획에만 추가됩니다. 캐싱으로 인해 동일한 로직이 반복적으로 실행되면 의미 있는 결과를 얻을 수 없습니다.

데이터 엔지니어는 워크스페이스에 있는 기존 파이프라인의 설정을 가져와서, 이를 기반으로 새 파이프라인을 생성하고 버전 관리하는 JSON 파일을 만들어야 합니다. Databricks CLI로 구성된 웹 터미널에서 데이터 엔지니어가 입력해야 하는 명령어는 무엇일까요?

• A. 파이프라인 목록을 사용하여 모든 파이프라인의 사양을 가져옵니다. 반환된 결과를 파싱하여 파이프라인 사양을 가져온 다음, 이를 사용하여 파이프라인을 생성합니다.
• B. alone 명령어를 사용하여 기존 파이프라인의 복사본을 생성하고, get JSON 명령어를 사용하여 파이프라인 정의를 가져온 다음, 이를 Git에 저장합니다.
• C. get 명령어를 사용하여 기존 파이프라인의 설정을 가져옵니다. pipeline_id를 제거하고 파이프라인 이름을 변경한 다음, 이를 create 명령어에 사용합니다.
• D. 기존 파이프라인을 중지하고, 반환된 설정을 재설정 명령에 사용합니다.

데이터 엔지니어가 메시지 버스 시스템에서 데이터를 수집하는 파이프라인을 구축하고 있는데, 이 시스템은 때때로 중복 메시지를 전송합니다. 중복 메시지는 최대 일주일 간격으로 전송될 수 있습니다. 목표는 Databricks Delta Lake 테이블이며, 각 레코드는 정확히 한 번만 표시되어야 합니다. 구성된 워터마크 범위를 벗어나 이벤트가 도착하는 경우 발생할 수 있는 중복을 처리하기 위해 어떤 Databricks 데이터 수집 패턴을 구현해야 할까요?

• A. 델타 레이크 타임 트래블을 사용하여 중복 항목을 식별하고 제거합니다.
• B. Delta Lake의 변경 데이터 피드를 사용하여 중복 레코드를 필터링하세요.
• C. dropDuplicates 변환을 사용하여 구조화된 스트리밍을 구성합니다.
• D. 고유 키를 사용하여 MERGE INTO를 이용한 쓰기 작업을 구현하세요.

레이크하우스 데이터베이스에 있는 customer_churn_params라는 테이블은 머신러닝 팀에서 고객 이탈 예측에 사용됩니다. 이 테이블에는 여러 상위 소스에서 가져온 고객 정보가 포함되어 있습니다. 현재 데이터 엔지니어링 팀은 상위 데이터 소스에서 가져온 최신 유효한 값으로 테이블을 덮어쓰는 방식으로 매일 밤 이 테이블을 업데이트하고 있습니다.
머신러닝 팀에서 사용하는 이탈 예측 모델은 실제 운영 환경에서 상당히 안정적입니다. 해당 팀은 지난 24시간 동안 변경된 기록에 대해서만 예측을 수행하는 데 관심이 있습니다.
어떤 접근 방식이 이러한 변경된 기록을 식별하는 것을 단순화할까요?

• A. 덮어쓰기 로직을 ​​수정하여 호출을 통해 채워진 필드를 포함하도록 합니다.
  데이터가 기록될 때 spark.sql.functions.current_timestamp() 필드를 사용하여 특정 날짜에 기록된 레코드를 식별할 수 있습니다.
• B. 현재의 덮어쓰기 로직을 ​​변경된 레코드만 수정하는 병합문으로 대체하고, 변경 데이터 피드를 통해 식별된 변경된 레코드에 대한 예측 로직을 작성합니다.
• C. 배치 작업을 전체 출력 모드를 사용하는 구조화된 스트리밍 작업으로 변환하고, 구조화된 스트리밍 작업이 customer_churn_params 테이블에서 데이터를 읽어 이탈 모델을 기반으로 점진적으로 예측하도록 구성합니다.
• D. 새로운 예측을 하기 전에 고유 고객을 식별하는 키를 기준으로 이전 모델 예측과 현재 고객 이탈 매개변수 간의 차이를 계산합니다. 이전 예측에 포함되지 않은 고객에 대해서만 예측을 수행합니다.
• E. customer_churn_params 테이블의 모든 행에 이탈 예측 모델을 적용하되, 예측값이 변경되지 않은 행은 무시하고 예측 테이블에 업서트하는 로직을 구현하십시오.

PySpark 애플리케이션에 단위 테스트를 통합하려면 작업 설계에 대한 사전 고려가 필요하거나 기존 코드에 상당한 리팩토링이 필요할 수 있습니다.
다음 중 이러한 추가적인 노력을 상쇄하는 주요 이점을 설명하는 문장은 무엇입니까?

• A. 데이터 품질을 향상시킵니다
• B. 배포 및 실행 시간이 더 빠릅니다.
• C. 원하는 최종 결과를 얻기 위해 모든 단계가 올바르게 상호 작용하도록 보장합니다.
• D. 애플리케이션의 전체 사용 사례를 검증합니다.
• E. 모든 단계가 분리되어 개별적으로 테스트되므로 문제 해결이 더 쉽습니다.