금융 · 공공
정적 S3 키 제거 · 규제 대응
엔진의 정적 S3 키를 vended 단기 자격증명으로 대체하고, 모든 카탈로그 변경을 감사합니다. 접근제어·감사 요건을 카탈로그 레이어에서 충족.
PADION
catalog · Iceberg Metastore
Iceberg · REST · OIDC · Vended Creds
Hive Metastore를 넘어,
인증을 갖춘 Iceberg 카탈로그
Apache Iceberg REST 카탈로그로 Hive Metastore를 대체합니다. 매 요청을 gatekeeper OIDC로 검증하고, 테이블 단위 단기 자격증명을 발급해 정적 키 없이 운영합니다.
Iceberg REST Catalog
엔진은 REST로 접속 → 카탈로그가 메타데이터(MariaDB)·단기 S3 자격증명 관리
What is
왜 Iceberg REST 카탈로그인가
Hive Metastore(HMS)는 Hadoop 3.x · Hive 3.1.x 의존성 트리를 그대로 짊어집니다. 그 대부분은 취약점 스캔을 통과하지 못하고, 상위 패치도 없습니다. 저장을 하둡에서 걷어내도 메타스토어가 하둡에 묶여 있으면 절반만 벗어난 셈입니다.
PADION catalog은 하둡 코드 없이 동작하는 Apache Iceberg REST 카탈로그로 HMS를 대체합니다. MariaDB에 메타데이터를, S3에 데이터를 두고, 표준 Iceberg REST로 Trino·Spark·PyIceberg를 그대로 연결합니다.
단순한 JDBC 카탈로그와의 차이는 네 가지 — gatekeeper OIDC 인증 · vended 자격증명 · 컬럼 네이밍 정책 · 카탈로그 감사. 저장·접근제어·감사를 처음부터 갖춘 카탈로그입니다.
Key Features
6가지 핵심
gatekeeper OIDC 인증
매 요청이 검증된 RS256 토큰을 지참합니다. 카탈로그는 호출자용 정적 자격증명을 보관하지 않습니다.
Vended credentials
클라이언트는 테이블 prefix 하나에만 유효한 단기 S3 자격증명을 받습니다. Trino·Spark는 정적 S3 키 없이 실행됩니다.
컬럼 네이밍 정책
식별자를 ^[a-z][a-z0-9_]62$로 제한하고, 중첩 스키마 필드까지 강제합니다. DB CHECK 제약이 못 보는 스키마 내부를 통제.
카탈로그 감사
모든 변경을 인증 주체 · 대상 객체 · 결과와 함께 기록합니다. 누가 무엇을 바꿨는지 사후 추적이 가능합니다.
Hive Metastore 대체
하둡 코드·의존성 0. HMS의 취약 의존성 트리를 제거하고, padionmigrate CTAS로 HMS→Iceberg 점진 전환.
표준 Iceberg 호환
Iceberg REST v1 · table format-v2. Trino 483 · Spark 3.5.3 · PyIceberg 0.11.1로 테이블·뷰 호환성 검증. 지원 엔드포인트는 /v1/config로 선언.
How it Works
접속 → 발급 → 전환
1
REST 접속 · 인증
엔진이 Iceberg REST로 접속하고 gatekeeper OIDC 토큰(RS256)으로 인증. 정적 자격증명은 오가지 않습니다.
2
메타데이터 · 자격증명
카탈로그가 MariaDB에 테이블 메타데이터를 관리하고, 테이블 prefix 범위의 단기 S3 자격증명을 발급합니다.
3
점진 전환
전환 중에는 Trino가 HMS와 catalog를 동시에 물고, padionmigrate CTAS로 테이블을 하나씩 옮겨 갑니다.
Use Cases
실제 도입 시나리오
데이터 플랫폼
하둡 탈피 · HMS 대체
HMS의 하둡·하이브 취약 의존성을 걷어내고, CTAS 마이그레이션으로 무중단에 가깝게 Iceberg로 전환. 저장을 이미 레이크하우스로 옮겼다면 그 마지막 조각.
Tech Spec
기술 사양
| 카탈로그 규격 | Iceberg REST v1 (지원 엔드포인트는 /v1/config로 선언) |
|---|---|
| 테이블 · 뷰 | table format-version 2 · view format-version 1 |
| 메타 저장소 | MariaDB / Galera |
| 오브젝트 스토리지 | S3 호환 (MinIO) |
| 인증 · 자격증명 | gatekeeper OIDC (RS256) · Vended (테이블 prefix scope) |
| 검증 엔진 | Trino 483 · Spark 3.5.3 (iceberg 1.9.1) · PyIceberg 0.11.1 |
| 마이그레이션 | CTAS (padionmigrate) · 검증 (padionverify) |
| 보안 | TLS fail-closed · 인증서 무중단 갱신 · 최소 의존성(2 모듈) |
| PADION 연동 | data lakehouse 메타스토어 · EoH 적재 테이블 등록 |
In the PADION Flow
데이터 흐름의 카탈로그 단계 — 08
EoH가 적재한 테이블을 catalog가 Iceberg 메타데이터로 등록·관리하면, lakehouse(Trino)가 그 카탈로그를 통해 테이블을 질의합니다.