데이터 · AI/ML
파이프라인 오케스트레이션
EoH ETL · Trino 쿼리 · 스크립트를 하나의 DAG로 스케줄. 실패해도 멱등 재실행으로 결과가 흔들리지 않습니다.
What is
왜 워크플로 오케스트레이터인가
배치 작업이 늘면, 무엇이 무엇에 의존하는지·언제 돌아야 하는지·실패하면 어디부터 다시 돌릴지가 곧 운영 리스크가 됩니다. 스케줄러와 스크립트만으로는 순서·상태·재실행을 일관되게 보장하기 어렵습니다.
PADION flowkeeper는 작업을 Project · Workflow · Task 계층의 DAG로 정의하고, 의존성·병렬·조건 분기를 해석해 실행합니다. 핵심은 세 가지 — 의존성 해석 · 상태 추적 · 멱등 재실행입니다.
EoH가 데이터를 싣는 ETL 엔진이라면, flowkeeper는 어떤 작업이든(ETL 포함) 언제·어떤 순서로 돌릴지 통제하는 오케스트레이터입니다. SQL · HTTP · Trino · 스크립트를 하나의 DAG에서 다룹니다.
Key Features
6가지 핵심
DAG 엔진 — 순서 · 병렬 · 조건
의존성은 순차, 독립 작업은 병렬로 실행. 성공/실패/항상/조건식에 따른 분기까지 그래프로 정의.
크래시 안전 · 결정적 재실행
멈춘 작업은 자동 복구되고, 부분 실패는 멱등 재실행으로 되살립니다. 몇 번을 다시 돌려도 결과가 같습니다.
호스트 affinity · failover
워크플로를 특정 호스트/풀에 고정하고, 호스트 장애 시 정지(HALT) 또는 인계(FAILOVER)를 선택. 동시성 상한으로 부하 급증 방지.
인증 · 위변조 방지 감사
gatekeeper OIDC로 인증하고 역할 기반 권한(RBAC)으로 통제. 모든 조작은 월별 HMAC 해시체인으로 봉인해 사후 삭제·조작을 탐지.
내장 웹 UI
실행 이력 · 실행별 간트 타임라인 · 드래그앤드롭 DAG 에디터 · 스케줄 관리 · 감사 체인 검증을 한 콘솔에서. Azkaban 워크플로 import 지원.
다양한 작업 타입
SQL · HTTP · Trino 쿼리 · 스크립트를 하나의 DAG에서 조합. EoH ETL도 flowkeeper가 구동하는 작업의 한 종류.
How it Works
정의 → 스케줄 → 복구
1
Workflow 정의
Project · Workflow · Task 계층으로 작업을 구성. DAG로 의존성 · 병렬 · 조건 분기를 명시.
2
스케줄 · 실행
cron 스케줄로 자동 실행. 실행 상태를 추적하며 일시정지 · 재개 · 취소를 지원.
3
복구 · 감사
부분 실패는 멈춘 지점부터 멱등 재실행. 모든 이력은 위변조 방지 감사로 남습니다.
Use Cases
실제 도입 시나리오
금융 · 공공
망분리 환경 배치 운영
코디네이터/워커 분리 배치로 워커의 자격증명 노출을 최소화. 대량 배치를 감사 가능하게 통제합니다.
Tech Spec
기술 사양
| 실행 모델 | DAG (순서 · 병렬 · 조건 분기) |
|---|---|
| 스케줄링 | cron 표현식 · 의존성 트리거 |
| 재실행 · 복구 | 멱등 재실행 · 스냅샷 보정 · 멈춘 작업 자동 복구 |
| 가용성 | 호스트 affinity · HALT / FAILOVER · 동시성 상한 |
| 작업 타입 | SQL · HTTP · Trino · 스크립트 |
| 인증 · 감사 | gatekeeper OIDC · RBAC · 월별 HMAC 해시체인 감사 |
| 마이그레이션 | Azkaban (Flow 2.0 · 1.0) import |
| PADION 연동 | EoH · Trino 작업 구동 (인증은 gatekeeper 위임) |
In the PADION Flow
데이터 흐름의 워크플로 단계 — 05
권한이 정의된 다음, flowkeeper가 파이프라인 작업의 실행 순서·재실행을 통제하고, EoH가 그 지시대로 수집·변환을 수행합니다.