기술과 산업/AI

Apache NiFi 시리즈 6회 - Process Group과 Template으로 데이터 파이프라인 모듈화 하기

B컷개발자 2025. 5. 21. 12:37
728x90

Apache NiFi에서 Process Group과 Template 기능을 활용하여 복잡한 데이터 흐름을 모듈화하고 재사용할 수 있는 방법을 소개합니다. 파이프라인을 팀 단위로 공유하거나 대규모 환경에 적용하는 실전 전략까지 다룹니다.

왜 모듈화가 필요한가?

NiFi는 시각적인 흐름 설계가 가능해 매우 직관적이지만, 흐름이 커질수록 유지보수가 어려워집니다.

  • 수십 개의 Processor가 하나의 Canvas에 노출되어 복잡도가 증가
  • 동일한 흐름을 다른 프로젝트나 환경에 재사용하기 어려움
  • 팀 단위 협업 시 한 명이 작업 중이면 다른 사람은 접근이 어렵다는 한계

이런 문제를 해결하기 위해 NiFi는 Process Group과 Template이라는 모듈화 수단을 제공합니다.

Process Group이란?

Process Group은 하나의 흐름(Flow)을 블록 단위로 묶어 캡슐화하는 기능입니다.
마치 프로그램에서 함수 또는 모듈을 정의하듯, 특정 흐름을 독립된 단위로 분리할 수 있습니다.

주요 특징

  • 외부에 Input/Output 포트만 노출 → 내부 흐름은 숨겨짐
  • 복잡한 흐름을 계층화하여 구조적 관리 가능
  • 하나의 Group을 여러 Canvas에서 재사용 가능

Template이란?

Template은 현재 흐름의 구조와 설정을 XML 파일로 저장한 후, 다른 곳에 복제하거나 공유할 수 있는 기능입니다.

주요 특징

  • Flow 전체 또는 일부를 XML로 내보내기 가능
  • 재사용 및 이관에 유리 (테스트 → 운영 환경 등)
  • Git으로 버전 관리 가능 (템플릿 XML 파일 기반)

실습: 기존 흐름을 모듈화하는 과정

1단계: Process Group 생성

  1. Canvas에서 우클릭 → Create Process Group
  2. 이름: Standard Data Ingest Flow
  3. 더블클릭하여 내부 진입

이제 내부에서 GenerateFlowFile, EvaluateJsonPath, RouteOnAttribute, PutFile을 구성했던 이전 플로우를 그대로 구성합니다.

2단계: Input/Output Port 설정

  • 내부 그룹에서는 데이터 입출력을 위해 반드시 Input Port, Output Port를 구성해야 합니다.
  • Input Port 이름: In
  • Output Port 이름: Out

→ 외부 흐름에서 이 Group을 사용할 때 In으로 데이터를 주고, Out으로 결과를 받는 구조가 됩니다.

3단계: 외부 연결

  • 상위 Canvas로 돌아와 Group을 클릭
  • 우클릭 → Configure → Enable Input/Output Ports
  • 외부 흐름의 다른 Processor들과 연결 가능

실습: Template 저장과 불러오기

Template 저장

  1. Canvas 상단 메뉴 → Create Template
  2. 이름 입력 → 저장할 Processor/Group 전체 선택 → 저장
  3. 템플릿 파일은 XML로 내보내기 가능

Template 불러오기

  • Upload Template → 저장한 XML 파일 선택
  • 원하는 위치에서 Add Template 실행
  • 동일한 구조로 흐름이 자동 구성됨

실무 적용 예시

시나리오 적용 방식

공통 데이터 수집 흐름 Process Group으로 만들어 여러 프로젝트에서 재사용
지역별 ETL 흐름 Template으로 배포 후 변수만 지역별로 변경
운영환경 이관 Template → 다른 서버로 가져오기 후 배치 실행

변수(Variable)와 연동하기

Process Group 내부에서 사용하는 경로, 파라미터, 자격정보 등을 변수화하면 더욱 유연한 재사용이 가능합니다.

  1. 상위 Group → Configure → Variables 탭
  2. 예: output.dir = /data/output/us
  3. 내부 Processor에서 ${output.dir} 형태로 사용 가능

이를 통해 동일한 구조를 갖는 흐름이라도 환경별 설정만 바꿔서 재사용할 수 있게 됩니다.

모듈화 Best Practice 요약

  • Group 하나에는 하나의 논리적 기능(예: 데이터 수집, 변환, 전송 등)만 포함시킬 것
  • 외부와의 연결은 Port 기반으로만 설계하여 인터페이스 명확히 할 것
  • Template 저장 시 이름 규칙 및 버전 관리 체계 수립할 것
  • 변수 활용을 통해 환경 설정 유연하게 대응할 것

마무리 – NiFi는 “데이터 파이프라인의 함수형 구조”를 제공한다

Apache NiFi의 강력한 시각적 설계 기능은 모듈화와 조합으로 더욱 빛을 발합니다.
Process Group과 Template 기능은 단순한 편의 기능이 아니라, 엔터프라이즈급 확장성과 유지보수를 가능하게 하는 핵심 설계 전략입니다.

다음 글 예고

Apache NiFi 시리즈 7회 - Back Pressure와 데이터 흐름 제어 전략

  • FlowFile이 몰릴 때 발생하는 병목 문제 해결
  • Queue 설정과 압력 조절 전략
  • 데이터 유실 없이 안정적인 흐름 유지하기
728x90