BCORE — 비코어 주식회사

PADION

data lakehouse · Service Platform

AI · Data · Innovation · ON

하둡을 대체하는
차세대 데이터 플랫폼

복잡한 HDFS · YARN 클러스터 운영 없이 동일한 규모의 빅데이터를 다룹니다. 기존 Hive Metastore는 그대로 유지해 점진적 전환이 가능합니다.

도입 문의 핵심 기능 보기

Hadoop → Lakehouse

NameNode

YARN

MapReduce

HDFS

Container

Object Store

Trino

Hive Meta ✓

운영 부담은 제거하고, 자산은 유지합니다.

What is

왜 지금 하둡을 떠나야 하는가

하둡은 빅데이터 시대를 열었지만, 운영 비용은 매년 누적됩니다. NameNode SPOF 대비, YARN 자원 관리, MapReduce 튜닝, 클러스터 노드 증설/장애 대응 — 데이터 가치를 만드는 시간보다 인프라를 돌보는 시간이 더 길어집니다.

PADION data lakehouse는 이 부담을 컨테이너 기반의 가벼운 lakehouse 레이어로 대체합니다. 객체 스토리지(또는 호환 스토리지) + Trino 쿼리 엔진 + 기존 Hive Metastore 호환 — 데이터팀의 일상 도구는 그대로 두고 인프라만 현대화합니다.

기존 Hive 테이블/스키마를 재정의할 필요 없이 점진적으로 전환할 수 있는 것이 핵심입니다. PoC → 일부 워크로드 이전 → 전면 전환의 안전한 마이그레이션 경로를 보장합니다.

Key Features

6가지 핵심 기능

하둡 운영 부담 제거

NameNode·YARN·MapReduce 클러스터 불필요. 컨테이너 기반의 가벼운 lakehouse 레이어로 운영팀의 무게를 줄입니다.

RDBMS · Hive · File 통합 적재

서로 다른 소스를 단일 분석 레이어로 모읍니다. 데이터를 옮기지 않고도 통합 쿼리가 가능합니다.

Hive Metastore 호환

기존 Hive 메타데이터를 그대로 사용. 스키마 재정의 없이 점진적으로 전환할 수 있어 마이그레이션 리스크가 최소화됩니다.

Docker Swarm 출시 · K8s 준비중

현재 Docker Swarm 환경에서 안정 운영 중이며, Kubernetes 지원을 준비하고 있습니다. 작게 시작해 필요한 만큼만 키우는 점진적 확장.

객체 스토리지 기반

HDFS의 NameNode SPOF 부담을 제거합니다. 스토리지와 컴퓨트를 분리해 각자 독립적으로 확장 가능합니다.

Trino 인터랙티브 쿼리

MapReduce의 배치 지연을 인터랙티브 SQL로 대체. 분석가가 곧바로 lakehouse 데이터를 탐색합니다.

How it Works

하둡 → Lakehouse 컴포넌트 매핑

기존 하둡 스택의 각 컴포넌트가 lakehouse에서 어떻게 대체·승계되는지.

Before

Hadoop Stack

  • HDFS

    NameNode SPOF · DataNode 클러스터 운영

  • YARN

    자원 스케줄러 · 큐 정책 관리

  • MapReduce

    배치 처리 · 분단위 쿼리 지연

  • Hive Metastore

    테이블·파티션 메타 카탈로그

After

PADION data lakehouse

  • Object Storage

    스토리지·컴퓨트 분리. SPOF 제거.

  • Container Orchestration

    Docker Swarm. 큐 정책 단순화.

  • Trino Engine

    초·분 단위 인터랙티브 SQL.

  • Hive Metastore (그대로 호환)

    기존 메타 자산 100% 승계.

Migration Path

3단계 점진적 전환

1

PoC

기존 Hive Metastore 연동만으로 lakehouse 위에서 동일한 쿼리 검증.

2

일부 워크로드 이전

특정 도메인 / 분석 워크로드부터 lakehouse 운영. 하둡과 병행.

3

전면 전환

안정성 검증 후 클러스터 셧다운. 운영 비용/인력 재배치.

Tech Spec

기술 사양

컨테이너 오케스트레이션 출시 Docker Swarm 준비중 Kubernetes
메타 카탈로그 Hive Metastore (호환)
쿼리 엔진 Trino
데이터 소스 RDBMS · Hive · File (정형 / 비정형 통합 적재)
스토리지 객체 스토리지 (스토리지 · 컴퓨트 분리)
PADION 통합 gatekeeper(인증) · datakeeper(권한) · EoH(ETL) · analyze(분석)
권장 환경 규모/워크로드별 사양은 도입 컨설팅에서 산정
In the PADION Flow

데이터 흐름에서의 위치

data lakehouse는 PADION 데이터 라이프사이클의 07번 — 저장 단계입니다. 이 모든 단계는 통합 운영 플랫폼 위에서 컨테이너로 운영됩니다.

PADION Flow · You are here

06 / data lakehouse

운영 플랫폼 → dnsd → gatekeeper → datakeeper → EoH → data lakehouse → analyze

← Upstream (06)

PADION EoH

EoH의 워크플로 ETL 결과가 lakehouse로 적재됩니다.

Downstream (08) →

PADION analyze

lakehouse 데이터를 노트북·컨테이너에서 분석/활용.

하둡을 졸업할 시간,
PADION이 함께합니다.

PoC · 기존 Hive Metastore 연동 검증 · 단계적 마이그레이션 컨설팅까지 — 한 번의 미팅으로 시작합니다.

도입 문의 메일 전화 02-6216-3000

평일 10:00 – 19:00 · info@bcore.co.kr