Delta DataFrame의 혼합 대소문자 Hadoop key를 보존한다
대소문자가 있는 Hadoop option은 원문 key와 실제 Configuration 조회 결과를 연결한다. 전달된 문자열의 존재만으로 I/O 설정 적용을 승인하지 않고 자격증명 값은 기록에서 제외한다.
option map의 편의와 key 정체성을 나눈다
대소문자 비민감 map을 지나도 Hadoop의 민감 key 정체성은 남아야 한다. 운영자가 유효 key 조회 상태를 준비하면 Truthound Core로 I/O 승인 전 대조할 수 있다. [1, 2, 3]
fs·dfs key가 소문자가 된 보고
Delta #8016은 master·Spark 4.1에서 혼합 대소문자 DataFrame fs·dfs key가 소문자로 바뀐다고 보고한다. 원래 key 조회는 null이고 cache matching도 달라질 수 있다. Scala·V2 map 변환을 각각 지목한다. [1]
비밀값 대신 이름과 조회 상태를 남긴다
원문·전달 key와 effective Configuration 조회를 기록한다. 원래 key가 없으면 해당 I/O 설정 승인을 보류한다. 자격증명 원문은 검사표에 넣지 않는다. [1, 3]
원문 key의 true 조회
설명용 fs.azure.skipUserGroupMetadataDuringInitialization의 기대 조회는 true다. 없으면 resolved=false로 정규화한다. true는 전달 조건을 통과하고 false는 다른 소문자 key에 값이 있어도 실패다. [1, 3]
설정 변경과 비교 검사는 별도다
Truthound Core Python SDK 3.3.2의 ColumnPairValidator는 비결측 resolution flag를 대조한다. 운영자가 effective config를 읽고 case를 보존한다. SDK는 Hadoop 설정을 바꾸거나 credential을 검증하지 않는다. [1, 2, 3]
작은 I/O로 실제 효과도 확인한다
원문 key를 보존하는 지원 설정 경로를 검토한 뒤 필요한 동작을 작은 I/O로 확인한다. key 보존만으로 외부 연결이나 모든 옵션의 효과가 입증되지는 않는다. [1, 3]
제출한 text보다 유효 key가 중요하다
완료 근거에는 실제 조회된 key를 남긴다. 그래야 전달 중 사라진 option과 올바른 요청 뒤 service 실패를 구별할 수 있다. [1, 3]
적용 조건
비밀값 없이 original key·전달 key·effective 조회 결과를 준비한다.
대안
case를 보존하는 지원 경로 뒤 작은 I/O로 필요한 동작을 확인한다.
한계
key 보존은 외부 연결·모든 option 동작이나 credential 유효성을 입증하지 않는다.
근거
- 사건 확인일
- 대상 확인일
- 수정일
