ComfyUI 워크플로로 숏폼 드라마 컷 만들기: API JSON 내보내기부터 캔버스 연동까지

ComfyUI 워크플로의 기본 구조와 숏폼 드라마 컷 생성

ComfyUI는 모델 불러오기, 프롬프트 입력, 샘플러 설정, 이미지 디코딩 등 AI 생성의 각 단계를 블록 형태의 노드로 연결해 다루는 도구입니다. 한 번 구조를 짜 두면 동일한 세팅을 파일로 저장해 두고 여러 장면에 반복 적용할 수 있어, 회차당 수십 개 이상의 컷을 제작해야 하는 숏폼 드라마 작업에서 폭넓게 쓰입니다.

일반적인 단일 이미지 생성기와 달리, ComfyUI 워크플로 안에서는 인물 얼굴 일관성을 돕는 참조 노드, 특정 화풍을 반영하는 LoRA, 인물 포즈나 구도를 잡아주는 컨트롤넷을 체계적으로 엮을 수 있습니다. 또한 연속된 움직임을 만드는 영상 생성 모듈까지 하나의 파이프라인으로 묶어둘 수 있어, 컷 전환이 빠르고 인물 외형 유지가 중요한 숏폼 영상 제작에 유용합니다.

• 체크포인트 로더: 작품 전체의 기본 톤과 화풍을 결정하는 기초 모델을 불러옵니다.
• CLIP 텍스트 인코더: 대본의 상황, 인물 감정, 배경 조명, 카메라 앵글을 긍정/부정 프롬프트로 전달합니다.
• KSampler: 노이즈 제거 단계, 스텝 수, CFG 스케일, 시드값을 지정해 컷의 완성도를 조절합니다.
• VAE 디코드 및 저장: 잠재 데이터를 사람이 볼 수 있는 고해상도 이미지 또는 영상 프레임으로 변환합니다.

일반 저장과 다른 API JSON 내보내기: Workflow 메뉴 활용법

ComfyUI에서 상단 메뉴의 'Save' 버튼을 누르면 다운로드되는 JSON 파일은 화면상의 노드 좌표, 창 크기, 연결 선 모양 등 UI 레이아웃 정보를 포함한 편집용 파일입니다. 하지만 외부 프로그램이나 백엔드 서버에서 ComfyUI 엔진만 구동해 렌더링을 지시하려면 화면 배치 정보가 아닌 실행 그래프만 담긴 'API 포맷 JSON'이 필요합니다.

API JSON에는 불필요한 그래픽 인터페이스 정보가 빠지고, 노드 간의 실제 데이터 전달 경로와 위젯 입력값만 번호화된 구조로 기록됩니다. 이 포맷으로 내보내야 다른 소프트웨어나 자동화 환경에서 파라미터(프롬프트, 시드, 입력 이미지)를 정확히 치환하며 실행할 수 있습니다.

1. 01

   상단 메뉴에서 Export (API) 선택

   최신 버전 인터페이스에서는 상단 메뉴의 'Workflow'(일부 버전에서는 'File') → 'Export (API)'를 클릭해 바로 저장할 수 있습니다.

2. 02

   메뉴에 없을 경우 개발자 모드(Dev Mode) 활성화

   만약 상단 메뉴에서 해당 항목을 찾을 수 없다면, 설정(Settings) 메뉴를 열고 'Enable Dev mode Options'(개발자 모드)를 켠 뒤 다시 메뉴를 열어 확인합니다.

3. 03

   API JSON 파일 저장

   경고 창이 나타나면 확인을 선택해 JSON 파일을 저장합니다. 이때 파일명을 해당 워크플로의 역할(예: character-shot-api.json)에 맞게 명확히 지정해 두면 관리가 수월합니다.

로컬 PC, 사내 네트워크, 클라우드 서버 환경 비교와 선택

ComfyUI를 구동하는 하드웨어 환경은 작업 규모, 예산, 협업 인원에 따라 크게 세 가지로 나뉩니다. 각 방식의 특성을 이해하고 현재 제작 상황에 적합한 구성을 선택해야 불필요한 지출과 렌더링 병목을 줄일 수 있습니다.

• 로컬 PC (단독 개인 작업): 고성능 외장 그래픽카드가 장착된 개인 컴퓨터에서 직접 실행합니다(비디오 워크플로는 일반적으로 비교적 큰 VRAM이 필요합니다). 추가 비용이 발생하지 않고 인터넷 연결 상태에 구애받지 않으나, 렌더링 중 컴퓨터 리소스가 점유되어 다른 편집 작업을 병행하기 어렵습니다.
• 사내 네트워크 / LAN (소규모 팀 공유): 스튜디오나 사무실의 특정 데스크톱에 ComfyUI를 띄우고 실행 옵션에 '--listen 0.0.0.0'을 지정합니다. 같은 공유기(서브넷) 안에 있는 팀원들이 내부 IP 주소로 접속해 연산 자원을 함께 쓸 수 있어 장비 효율이 높아집니다.
• 클라우드 GPU 인스턴스 (대량 생성 및 고사양 작업): 원격 GPU 대여 서비스에 가상 머신을 띄우고 ComfyUI를 설치해 사용합니다. 고성능 GPU를 필요한 시간만큼 대여해 쓸 수 있어 사양 확장이 유리하지만(비디오 워크플로처럼 큰 VRAM이 필요한 작업에 적합), 사용 시간에 따라 호스팅 비용이 지속적으로 발생하며 원격 포트 포워딩이나 보안 설정에 신경 써야 합니다.

숏폼 드라마 컷 및 영상 제작 시 자주 겪는 함정과 해결책

단일 일러스트 제작과 달리 숏폼 드라마는 연속된 장면에서 동일한 인물, 통일된 공간감, 자연스러운 구도를 이어가야 합니다. 노드 구성 단계에서 미리 방지하지 않으면 나중에 전체 분량을 다시 생성해야 하는 네 가지 대표적인 문제를 짚어드립니다.

• 시드(Seed) 값 고정으로 인한 동일 포즈 반복: 캐릭터 외형을 유지하려고 KSampler의 시드를 무작정 고정하면, 프롬프트로 표정이나 동작을 바꿔도 구도가 경직되거나 이전 컷과 거의 똑같은 자세만 출력됩니다. 인물 특징은 참조 이미지나 LoRA로 유지하고, 시드값은 매 컷 랜덤 생성 또는 순차 변경되도록 설계하는 것이 자연스럽습니다.
• 참조 이미지와 숏폼 비율(9:16) 불일치: 숏폼 드라마의 기본 규격인 세로형 9:16(예: 832x1216, 768x1344) 캔버스에 가로형(16:9) 인물 사진을 무리하게 참조 노드에 입력하면, 인물 비율이 옆으로 늘어나거나 얼굴이 뭉개지기 쉽습니다. 참조 이미지를 사전에 9:16 비율로 크롭하거나 리사이즈 노드로 비율을 맞춘 뒤 모델에 입력해야 왜곡을 줄일 수 있습니다.
• 비디오 생성 노드의 VRAM 부족(OOM) 오류: 비디오 워크플로는 일반적으로 비교적 큰 VRAM이 필요합니다. 고해상도 ComfyUI 영상 워크플로를 실행할 때 프레임을 과도하게 한 번에 렌더링하려 하면 그래픽카드 메모리가 초과되어 렌더링이 강제 종료될 수 있습니다. 생성 프레임 단위를 나누어 생성하거나, FP8 양자화 모델 및 프리뷰 축소 옵션을 적용해 안정적인 렌더링 메모리를 확보해야 합니다.
• 기본 파일명으로 인한 컷 식별과 정리의 어려움: ComfyUI의 기본 출력 파일명은 자동으로 번호가 증가하므로(예: ComfyUI_00001_) 기존 파일이 덮어씌워지지는 않습니다. 그러나 이 기본 파일명만으로는 어떤 에피소드의 몇 번째 컷인지 알아보기 어려워 후반 정리 작업이 복잡해집니다. 따라서 저장 노드(Save Image 등)의 파일명 접두사(prefix)에 에피소드 및 컷 번호(예: ep01_cut02_)를 미리 지정해 두는 것을 권장합니다.

ComfyUI Bridge로 보유한 장치 등록하고 연결하기

ComfyUI에서 완성한 워크플로를 드라마 스토리보드 제작 환경과 이어주기 위해 DramaCanvas의 내장 플러그인인 'ComfyUI Bridge'를 활용할 수 있습니다. Bridge는 ComfyUI가 설치된 컴퓨터나 서버에서 동작하는 독립 에이전트 프로그램으로, 로컬에서 능동적으로 클라우드에 연결하여 작업을 가져오므로 공용 IP 포트 매핑이나 인트라넷 통과가 필요하지 않습니다.

외부 의존성 패키지(Node.js나 npm)를 별도로 설치할 필요가 없으며, 공식 빌드된 프로그램을 다운로드받아 안내된 실행 명령어를 터미널이나 명령 프롬프트에 입력하면 연동되어 클라우드 캔버스와 통신을 시작합니다.

1. 01

   플러그인 활성화 및 설정 메뉴 이동

   DramaCanvas에 로그인한 후 '플러그인 센터'에서 'ComfyUI Bridge'를 활성화하고, 설정 페이지의 'ComfyUI Bridge' 메뉴로 들어갑니다.

2. 02

   장치 정보 및 워크플로 경로 입력

   식별하기 쉬운 Bridge 이름(예: '스튜디오 워크스테이션')을 정하고, Bridge를 실행할 컴퓨터에서 접근 가능한 ComfyUI 주소(기본 로컬 실행 시 http://127.0.0.1:8188)와 API JSON 파일들이 저장된 로컬 폴더 경로를 입력합니다.

3. 03

   Bridge 등록 및 토큰 발급

   'Bridge 등록'을 클릭하면 기기 인증에 필요한 일회성 토큰과 운영체제별 '설치 및 실행' 명령어가 생성됩니다. 이 토큰은 보안상 화면에 한 번만 표시되므로 즉시 복사해 두어야 합니다.

4. 04

   에이전트 실행 및 워크플로 확인

   Windows는 독립 실행 프로그램(.exe)으로 제공되며, Linux는 다양한 아키텍처를 지원하는 네이티브 프로그램으로 제공되어 클라우드 서버 환경에서는 보통 x64를 선택합니다. 다운로드 후 복사한 명령어를 실행합니다. Bridge가 온라인 상태가 되면 지정한 폴더 내의 ComfyUI API JSON 파일들을 자동으로 발견하며, 필요 시 직접 JSON 내용을 붙여넣어 등록할 수도 있습니다.

캔버스에서 워크플로 노드로 연결하고 컷 생성하기

Bridge가 연결되면 DramaCanvas의 작업 보드에서 ComfyUI 파이프라인을 시각적인 노드 단위로 불러올 수 있습니다. 워크플로 노드의 파라미터 필드는 저장된 워크플로 설정에서 불러오며, 시드는 주사위 아이콘을 클릭해 무작위로 변경할 수 있습니다.

노드에 연결된 참조 이미지, 참조 비디오, 참조 오디오, 마스크는 필드 설정에 따라 워크플로의 해당 입력 항목에 자동으로 채워집니다. 실제 렌더링 요청과 필드 데이터 조합은 플랫폼에서 처리하므로, 제작자는 복잡한 JSON 코드를 건드리지 않고 캔버스 인터페이스 위에서 편안하게 작업할 수 있습니다.

1. 01

   필드 매핑 및 테스트

   ComfyUI Bridge 설정 화면에서 발견된 워크플로를 선택하고, 용도(이미지/영상/오디오)를 지정합니다. 텍스트 프롬프트와 참조 입력 슬롯을 매핑한 후 '테스트 요청'을 눌러 정상 출력을 검증하고 저장합니다.

2. 02

   캔버스에 워크플로 노드 배치

   드라마 편집 캔버스의 노드 추가 메뉴에 있는 '워크플로'에서 워크플로 노드(RunningHub 및 ComfyUI 공용)를 추가합니다. 만약 해당 메뉴가 보이지 않는다면 캔버스 상단 바에서 '전문가 모드'로 전환합니다.

3. 03

   참조 리소스 연결 및 컷 생성

   워크플로 노드에 참조 이미지, 참조 비디오, 참조 오디오, 마스크를 연결하면 필드 설정에 맞춰 워크플로의 해당 입력값으로 자동 입력됩니다. 시드는 주사위 아이콘을 클릭해 무작위로 변경할 수 있으며, 생성을 실행하면 연결된 장치의 ComfyUI에서 연산이 진행되어 완성된 결과물이 캔버스에 표시됩니다.

안정적인 운영을 위한 보안 수칙과 기기 관리

ComfyUI Bridge는 내 컴퓨터의 연산 자원을 외부 캔버스와 연결하는 통로이므로 안전한 권한 관리 원칙을 지키며 운영해야 합니다. Bridge는 로컬에서 능동적으로 클라우드에 연결하여 작업을 가져오므로, 공용 IP 포트 매핑이나 인트라넷 통과 없이도 안전하게 연동할 수 있습니다.

• 일회성 토큰 철저 관리: Bridge 등록 시 표시되는 인증 토큰은 발급 시점에 단 1회만 화면에 노출됩니다. 다른 사람에게 토큰을 공유하거나 공개 커뮤니티, 공유 문서에 남겨서는 안 됩니다.
• 언제든 가능한 즉각 취소(Revoke): 기기 사용이 끝났거나 토큰이 외부에 노출된 것으로 의심될 경우, 설정 페이지에서 해당 Bridge를 즉시 취소할 수 있습니다. 취소 즉시 토큰이 무효화되며 외부 통신이 차단됩니다.
• 환경 변경 시 재시작: ComfyUI 실행 포트나 로컬 워크플로우 저장 폴더 경로를 변경했다면, 설정 페이지에서 정보를 수정한 후 새롭게 생성된 명령어를 복사해 Bridge 프로세스를 다시 시작해야 정상 반영됩니다.