Codex 操作 ComfyUI Portable 完整教學:從劇本、分鏡到 AI 影片自動生成

從左至右的 AI 影片製作場景:劇本與分鏡、節點式 ComfyUI 工作流程、影音剪輯時間軸和生成影片成品

AI 影片創作教學|2026 年 11 月 7 日更新

你寫好故事、準備好角色照片,接下來還得手動寫每段提示詞、逐支按下生成,最後再剪成一支片嗎?現在可以把重複工作交給 Codex+ComfyUI Portable+MiniMax H3:Codex 讀劇本、拆分鏡、呼叫 API 並檢查結果;本機 ComfyUI 用 GPU 生成含聲音的片段;FFmpeg 把它們接成 MP4。

本文從完全沒有程式經驗的入門路線開始,先實際建立「能跑出第一段影片」的環境,再教你將分鏡寫成 JSON、讓 Codex 自動提交工作流、處理片段延續、了解 GPU 規格與相關費用。文章依官方文件和社群案例整理,不是已在讀者電腦上完成的實測報告。

30 秒先看懂

先有影片

官方 H3 模板生成第一段 4~15 秒有聲影片。

再讓 AI 操作

Codex 透過 API 或 MCP 觸發本機工作流。

最後做長片

JSON 分鏡、片段接續、FFmpeg 合成。

01架構總覽:Codex 不是影片模型,而是 AI 製片助理

整套系統可以想成一個五階段的製片小隊:你給需求 → Codex 寫出劇本與分鏡 → ComfyUI 送給影片模型渲染 → Codex 檢查與重試 → FFmpeg 合成最終影片。Codex 不必具備高階 GPU,真正的生成運算在執行 H3 的本機或雲端機器上。

工作階段主要工具可得到的檔案
故事與角色設定Codex/LLM角色外觀、場景、分鏡規則
分鏡規劃Codex + Prompt Skillstoryboard.json
逐段渲染ComfyUI + MiniMax H3shot_01.mp4 等片段
延續前段動作(進階)H3 Motion Context 節點上下文銜接與同步裁切
後製與合成FFmpeg(及可選剪輯工具)final.mp4
先別追求一鍵完成

建議從官方模板生成一段短片,確認模型與顯卡能正常運作,再讓 Codex 呼叫 API。若第一段都失敗,直接套自動化 Skill 只會讓問題變得更難排查。

02需要什麼設備?哪些免費、哪些要花錢?

項目新手建議費用
作業系統Windows 10/11;本文以 NVIDIA 版 ComfyUI Portable 為例已有電腦不另付費
GPU 與 VRAM建議優先考慮 24GB 顯存以上;12GB 能研究量化與卸載,但速度可能很慢;8GB 只屬特定社群實驗配置顯卡硬體成本或雲端租金
RAM/儲存空間建議 64GB RAM、至少 100GB SSD 可用空間;保存多種模型與大量影片宜準備更多視既有硬體而定
ComfyUI Portable節點式本機生成引擎免費開源
MiniMax H3 權重T2V/I2V/R2V 下載對應版本;受 Community License 條款約束本機無每次生成的模型 API 計費
Codex可用 ChatGPT 帳戶,額度依方案而異;也可使用相關 API 方案可能有訂閱/Token 成本
FFmpeg裁切、影片合併、音訊格式檢查免費開源

H3 是大型影音共同生成模型,不只下載主模型,還需要大型文字編碼器與影片/聲音 VAE。下載量可能達數十 GB,模型檔案大小與 VRAM 需求也不是同一件事。官方推薦 NVIDIA Portable 的 CUDA 13.0/Python 3.13 組合可搭配其 int8_convrot 模型;低 VRAM 還要看卸載和解析度設定。

03第一步:下載 ComfyUI Portable,啟動本機 API

  1. 前往 ComfyUI 官方 Windows Portable 教學,選符合顯卡的版本並下載。
  2. 將壓縮檔解壓到例如 C:\AI\ComfyUI_windows_portable\;建議路徑簡短且有足夠硬碟空間。資料夾內應有 ComfyUI 與 python_embeded。
  3. 執行 run_nvidia_gpu.bat,不要關掉開啟的終端視窗。
  4. 在瀏覽器開 http://127.0.0.1:8188,再測試 http://127.0.0.1:8188/system_stats;看到 GPU/系統的 JSON 資訊,代表 API 已有回應。
本機安全提醒

本篇所有測試都使用 127.0.0.1,不要為了讓 Codex 連得到,直接把 ComfyUI 設成對外公開監聽,也不要隨手開放路由器的 8188 埠。

04第二步:用官方 MiniMax H3 工作流先做一段影片

ComfyUI 已正式提供 MiniMax H3 的三類原生模板:T2V(文字轉影片)、I2V(圖片轉影片)、R2V(多參考素材轉影片)。H3 在同次生成中處理影像與立體聲,文字提示詞可以描述台詞、音效、音樂及運鏡。

  1. 更新 ComfyUI 至能載入 H3 模板的版本,點 Template Library → Video → MiniMax H3,先選最簡單的 T2V。
  2. 依模板提示下載模型,或查 Comfy-Org 的 H3 模型頁;只下載所選模式對應的權重,不必一口氣抓齊每一種量化。
  3. 在模板輸入簡單場景,例如「雨夜,女子撐傘走向書店;鏡頭慢速跟拍;雨聲與腳步聲;沒有字幕」。保持模板原本的預覽解析度與短時長,先按 Queue 測試。
  4. 成功得到 MP4 後,才切換 I2V 載入人物圖;需要固定角色與聲音,再改用 R2V(Ref2VA)和其專用權重。

H3 官方原生模板的模型路徑示意;T2V 與 R2V 主模型不同

ComfyUI/
  models/
    diffusion_models/
      minimax_h3_fl2va_pruned_int8_convrot.safetensors  # T2V/I2V
      minimax_h3_ref2va_pruned_int8_convrot.safetensors # R2V 選用
    text_encoders/
      qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors
    vae/
      minimax_h3_video_vae_fp16.safetensors
      minimax_h3_audio_vae_fp32.safetensors

官方模板支援直式 9:16、橫式 16:9 等比例。原生生成多為 4~15 秒、24fps,且時長會對齊模型的影格格點;因此「要求 5 秒」不應當成成品精確等於 5.000 秒。若以人物照維持一致性,優先使用官方參考圖輸入,而非只在每段 Prompt 反覆形容同一角色。

05第三步:安裝 Codex 與 H3 官方 Prompt Skill

Codex 能讀專案目錄、協助編修 JSON、撰寫 Python 腳本並呼叫本機服務。你可以使用 Codex 桌面版或 CLI;以下採 CLI,先安裝 Node.js 的 LTS 版本。

PowerShell:安裝 Codex 並登入

npm install -g @openai/codex@latest
codex --version
codex

接著安裝 MiniMax 官方的 h3-prompt-writing Skill。它是文字規範,協助 Codex 依 T2VA、I2VA、FL2VA、L2VA、Ref2VA 正確整理時間軸、參考圖標籤、聲音與鏡頭,不會替你下載模型或自動創造節點。

PowerShell:建立專案與安裝 Skill

mkdir D:\AI-Video-Lab
cd D:\AI-Video-Lab
npx skills add https://github.com/MiniMax-AI/MiniMax-H3 --skill h3-prompt-writing

專案 Skill 通常在 .agents/skills/,個人共用目錄則是 ~/.agents/skills/;依 Skills 安裝介面的範圍選項為準。安裝前可閱讀 官方 SKILL.md 原文。不明來源的 Skill 可能包含執行命令,請先檢查內容。

06第四步:匯出 API 格式,讓程式能操作 ComfyUI

新手最容易卡在這裡:在 ComfyUI 一般按「儲存」得到的視覺工作流程 JSON,不等於可直接提交給 /prompt 的 API 格式。請打開剛才已成功產生影片的工作流,點 File → Export Workflow (API),存到 D:\AI-Video-Lab\h3_api.json。

以下是可實際執行的最小 Python 程式:讀取已匯出的 H3 API JSON,傳送到本機 POST /prompt,並印出 prompt_id。它不會擅自修改任何節點 ID 或模型參數,正適合驗證第一步是否接通。

儲存為 queue_comfy.py(只使用 Python 標準函式庫)

from pathlib import Path
import json, sys
from urllib.request import Request, urlopen
from urllib.error import HTTPError, URLError

server = "http://127.0.0.1:8188"
path = Path(sys.argv[1] if len(sys.argv) > 1 else "h3_api.json")
workflow = json.loads(path.read_text(encoding="utf-8"))
if not isinstance(workflow, dict) or not all(
    isinstance(v, dict) and "class_type" in v
    for v in workflow.values()
):
    raise SystemExit("請匯出 File > Export Workflow (API) 的 JSON")

body = json.dumps({"prompt": workflow}, ensure_ascii=False).encode()
request = Request(
    server + "/prompt", data=body, method="POST",
    headers={"Content-Type": "application/json"}
)
try:
    with urlopen(request, timeout=30) as response:
        result = json.load(response)
except (HTTPError, URLError) as exc:
    raise SystemExit(f"無法提交:{exc}")

if "prompt_id" not in result:
    raise SystemExit(f"工作流驗證未通過:{result}")
print("已送入佇列:", result["prompt_id"])
print("檢查:", server + "/history/" + result["prompt_id"])

在另一個終端執行,保持 ComfyUI 啟動

cd D:\AI-Video-Lab
python queue_comfy.py h3_api.json

如果 PowerShell 顯示找不到 python,可另行安裝 Python 3.11,或用 Portable 內附的 Python 直接執行:C:\\AI\\ComfyUI_windows_portable\\python_embeded\\python.exe D:\\AI-Video-Lab\\queue_comfy.py D:\\AI-Video-Lab\\h3_api.json。請依實際解壓縮路徑替換;這支程式只使用 Python 標準函式庫,無須先安裝其他套件。

取得 prompt_id 只代表成功排入任務,不等於輸出已完成。再從 /history/{prompt_id}、ComfyUI Queue 或 ComfyUI\output\ 檢查結果。若出現 node_errors 或工作流驗證錯誤,回到對應節點檢查模型檔名、參數與缺失的自訂節點。

07第五步:讓 Codex 把劇本改成可重複執行的 JSON 分鏡

把影片拆成分鏡,不能只有「第一段很漂亮、第二段更感人」。每段至少寫出主角與場景、具體動作、鏡頭運動、台詞和最後一個畫面(end_state)。這份 storyboard.json 是你自己制定的製片契約,不是 H3 官方直接使用的工作流格式。

storyboard.json:三段約四秒的劇本示例

{
  "title": "雨夜書店",
  "aspect_ratio": "9:16",
  "fps": 24,
  "character": "短髮、深藍雨衣、左手拿書的年輕女性",
  "reference_image": "assets/character.png",
  "shots": [
    {
      "id": "S01", "target_seconds": 4,
      "action": "走近書店,伸手推玻璃門",
      "camera": "背後緩慢跟拍",
      "dialogue": "",
      "end_state": "門打開一半,主角站在門口"
    },
    {
      "id": "S02", "target_seconds": 4,
      "action": "走進書店,望向發光的書架",
      "camera": "緩慢推進至中景",
      "dialogue": "原來你一直在這裡。",
      "end_state": "主角停在書架前,抬起頭"
    },
    {
      "id": "S03", "target_seconds": 4,
      "action": "取下一本發光的書,慢慢打開",
      "camera": "雙手特寫轉臉部",
      "dialogue": "",
      "end_state": "發光書本在雙手中展開"
    }
  ]
}

Codex 應先檢查每段是否有可見動作、結尾狀態、固定角色描述和可說完的對白;再依所選 H3 模式把分鏡轉成 Prompt。完成影片後還要用 ffprobe 讀取真正時長,而不是把 JSON 目標秒數直接相加當作最終片長。

08第六步:複製這段指令,正式交辦 Codex

將 h3_api.json、storyboard.json 與人物圖放好,使用 Codex 開啟 D:\AI-Video-Lab 專案。把以下任務貼進去,先只做第一段,確定有輸出再批次跑完整影片。

給 Codex 的完整可複製任務

你是本機 AI 影片製作助理。
請在目前專案 D:\AI-Video-Lab 工作。

目標:將 storyboard.json 的劇本與人物圖,
透過本機 ComfyUI Portable + MiniMax H3 生成分鏡影片,
最後用 FFmpeg 組成 final.mp4。

工作順序:
1. GET http://127.0.0.1:8188/system_stats 確認本機 API。
   無法連線就停止,勿自行開啟對外監聽或上傳素材。
2. 讀 h3_api.json;辨認實際節點的 class_type 與 inputs,
   找到提示詞、參考圖、時長、比例及輸出節點。
   不可猜測或寫死 node ID,不可擅自換大模型。
3. 讀取 h3-prompt-writing Skill;依所使用的
   T2V/I2V/R2V 生成模式改寫每段 Prompt,保留中文台詞。
4. 先只送出 S01 到 /prompt;追蹤 /history/{prompt_id},
   確定得到可播放且有聲音的 MP4,才執行其他段落。
5. 建立可以重試的 Python 腳本,記錄每段輸入、
   prompt_id、輸出檔路徑、耗時、失敗原因。
6. 批次完成 S02、S03;若尚未裝 Motion Context,
   請明確標示是獨立分鏡,不能宣稱已無縫接續。
7. 以 ffprobe 檢查每段解析度、fps、時長與聲音,
   依序合成 final.mp4,輸出到 output 資料夾。
8. 只有我允許時才安裝新節點或下載大型權重。
   請回報已完成、未完成、已驗證的結果。

這段任務讓 Codex 先讀你電腦上的真實工作流,避免假設所有 ComfyUI 節點的 ID 都相同。若使用 WSL 版 Codex,請先檢查它是否真的能連到 Windows 啟動的 API;權限受限時也要先取得相應核准。

09第七步:做成長影片,Motion Context 怎麼接才不會跳畫面?

同一位女性角色連續出現在三段故事分鏡及最終影片中,示意跨片段人物一致性與剪輯串接
跨分鏡角色一致性的概念示意:人物參考、前段上下文與後製接續,是讓長片更連貫的三個環節。ImageGen 概念圖,非模型實測截圖。

每一段獨立生成容易發生人物面貌、動作、位置和音色漂移。H3 的 Ref2VA 可用相同角色照片維持設定;如果你要的是「下一段接續上一段動作」,可進一步用 H3 Motion Context 自訂節點,把前一段尾部的畫面與聲音上下文帶進新段。

  • 先讓原生 R2V 工作流單段成功,再讀取 Motion Context 的 README,安裝相容版本與範例工作流。它不是 Codex Skill,必須真的在 ComfyUI 節點圖中接線。
  • README 建議的畫面 context_length=22 是在 24fps 下約 0.92 秒,不是固定上一段最後 3 秒;常見建議的聲音上下文另有自己的設定。
  • 第二段生成後必須裁掉重複的開頭影格,並同步處理音訊;否則畫面會卡一下、音訊可能位移。影片尺寸、FPS 和模型模式也要維持相容。
  • 若第 3 段內容改變,依第 3 段尾部條件生成的第 4 段及之後也可能需要重做。可只重算受影響的分鏡,但不能保證只改一段就讓長片完全連續。

若要加速,也可研究 SelfLift 逐級解析度採樣 或 Sage Attention;它們是版本敏感的進階選項,有可能改變速度與畫質,不是初次使用 H3 的必要步驟。

用 FFmpeg 組裝影片(每段先完成必要裁切)

建立 clips.txt;三個片段編碼規格須相容

file 'S01.mp4'
file 'S02.mp4'
file 'S03.mp4'

在 clips.txt 所在資料夾執行

ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1 S01.mp4
ffmpeg -f concat -safe 0 -i clips.txt -c copy final.mp4
關於 -c copy 的限制

此命令只適合編碼、FPS、解析度、音軌等相容的檔案;不相容時要先統一規格或重新編碼。FFmpeg 不會自動幫你辨認 Motion Context 的重複影格,重疊段必須先在工作流或後製裁除。

10進階路線:ComfyUI 官方 Local MCP,讓 Codex 直接找節點

ComfyUI 目前已提供官方 Comfy MCP(公開測試版),本機版可以讓 Codex 呼叫 server_info、search_models、list_nodes、validate_workflow、run_workflow、fetch_outputs 等工具。它更接近「用自然語言操作 ComfyUI」的體驗,但 Portable 的 Python 路徑與 comfy-cli 工作區須先設定正確。

依 官方 Local Comfy MCP 安裝指南,需 Python 3.10+、comfy-cli ≥ 1.14.0、comfy-mcp。最安全的方式是獨立建立 Python 虛擬環境,不要任意覆寫 Portable 隨附的嵌入式 Python。

Windows 本機環境示意:路徑需依實際位置更改

cd D:\AI-Video-Lab
py -3.11 -m venv .venv
.\.venv\Scripts\python.exe -m pip install "comfy-cli>=1.14.0" comfy-mcp

# 告知 comfy-cli 真正的 Portable ComfyUI 程式目錄
.\.venv\Scripts\comfy.exe set-default C:\AI\ComfyUI_windows_portable\ComfyUI

# 註冊到同一台 Windows 電腦上的 Codex CLI
codex mcp add comfy-local -- D:\AI-Video-Lab\.venv\Scripts\comfy-mcp.exe
codex mcp list

使用原本的 run_nvidia_gpu.bat 保持 Portable 開啟,再讓 Codex 呼叫 server_info,確認它看到的是你的模型與工作流。若 Codex 在 WSL 或遠端容器,而非同一個 Windows 執行環境,需另外調整路徑、可執行檔與網路連線。想先完成作品的新手可以跳過此節,直接沿用前面的 HTTP API。

11本機與雲端費用比較:真正花錢的是哪裡?

方案收費邏輯適合誰必看提醒
自有電腦ComfyUI 與模型本機推論可免逐次影片生成費,仍有顯卡、電力、SSD、Codex 方案成本長期大量製作、希望素材保留本機硬體昂貴,低 VRAM 速度可能難以接受
RunPod/雲端 GPUGPU 使用時數 × 當時租金,另有儲存與流量等費用;服務商一般 GPU 入門價每小時 US$0.27 起,非特定 H3 配置報價沒有高階顯卡但要自訂節點24GB 或更高 VRAM 的實際單價要另查;用完停止實例
Google Colab免費資源與 GPU 不保證;付費有運算單元或訂閱權益想用 Notebook 試驗的人可能拿不到 L4;資源配額、閒置與連線限制會變
Comfy Cloud + Cloud MCP依平台訂閱和生成額度;官方提供新用戶有限免費試用不想自己管理環境的人這是雲端生成,不是本機 Portable
Codex/外部 LLMCodex 依 ChatGPT 方案有不同額度,另串 Gemini/OpenAI API 可能有 Token 費需要劇本規劃和自動化的人AI 訂閱費不等於 GPU 費

成本公式是:總成本=Codex/LLM+GPU 時數+儲存/流量+電力/硬體攤提+重做成本。例如純示例假設 GPU 租金每小時 US$0.60,實際運行 2 小時,GPU 費約 US$1.20;這不是任何供應商的即時 H3 報價。

OpenAI 公開價格頁列 ChatGPT Plus 每月 US$20,Codex 另有 Free/Go 的有限使用額度;Google 台灣頁面列 Google AI Pro 每月 US$19.99(以實際付款幣別、優惠與地區頁面為準),並提供 Colab 的運算單元福利。RunPod、Colab、Comfy Cloud 的 GPU 類別與價格會持續變動,不適合在教學中承諾固定生成幾分鐘或固定每支影片費用。

12六大常見錯誤與處理方式

症狀先檢查建議做法
127.0.0.1:8188 無法連線Portable 啟動終端與埠號查看錯誤日誌、確認 GPU 批次檔成功啟動
模型在下拉選單找不到models 子資料夾與檔名分清 fl2va 與 ref2va 權重
CUDA out of memory顯存、解析度、片長、量化先降解析度、減少片長、使用正確量化版本
有 prompt_id,卻沒有輸出/history/、Queue、後端錯誤分清排隊、執行失敗與缺少儲存節點
人物變臉、畫面接不上參考圖、上下文節點與裁切固定角色圖、檢查 22 格設定及音訊同步
Codex 找不到模型或節點MCP 工作區、Windows/WSL 路徑先以 HTTP API 驗證,再查 MCP 指向哪份 ComfyUI

13授權、隱私與商業應用提醒

  • 不要公開 ComfyUI 本機 API:遠端使用需有身分驗證與安全通道,尤其不要把本機 8188 埠直接暴露在網際網路。
  • 確認素材使用權:角色照片、客戶影片、聲音和商標可能涉及肖像、著作權及隱私。
  • 注意 MiniMax H3 Community License:官方授權包含地區使用限制、一定營收規模以上的額外授權、商用產品標示及安全使用條件。不能把「權重可下載」直接當成「任何地方均可無條件商用」。請參考 最新授權全文。
  • 第三方節點與 Skills 先檢視:確認 GitHub 原始碼、版本及安裝指令;建議備份可運作的工作流與模型清單,再做大型升級。

14今天就動手:新手的三個驗收目標

  1. 做出第一段:ComfyUI Portable 正常啟動,官方 H3 T2V 模板輸出可播放、有音軌的 MP4。
  2. 接通 Codex:匯出 h3_api.json,執行 queue_comfy.py 成功取得任務 ID 並在 History 確認完成。
  3. 升級成自動製片:給 Codex 劇本 JSON 和角色參考圖,先產出兩段,再安排多段批次、續接、裁切與合成。

先讓流程跑得動、查得到問題、可重複執行,再追求完全自動、音畫無縫、LoRA 或超高解析度。這套方法也能延伸到產品形象片、品牌短影音、故事動畫與教學影片;字幕、音量、轉場效果可在片段生成成功後另行接上後製流程。

延伸閱讀|影片後製

影音生成之後仍需節奏、字幕與音量處理,可接著參考 TempEDU 的 CapCut 剪輯技巧教學,或使用 免費螢幕錄影工具 製作教學素材。

參考資料與官方文件(2026 年 11 月 7 日查閱)

  1. ComfyUI 官方:Windows Portable 安裝
  2. ComfyUI 官方:MiniMax H3 T2V/I2V/R2V 工作流
  3. ComfyUI 官方:工作流 API 格式與匯出
  4. ComfyUI 官方:Server API 範例
  5. ComfyUI 官方:Local/Cloud Comfy MCP
  6. MiniMax 官方:H3 Prompt Writing Skill
  7. Comfy-Org 模型與工作流檔案
  8. MiniMax H3 Community License 原文
  9. H3 Motion Context 節點說明與相容限制
  10. SelfLift 自訂節點與實驗性說明
  11. OpenAI 官方:Codex 方案
  12. Google AI 方案價格、Colab 使用限制
  13. RunPod:雲端 GPU 成本指引

編輯註記:文章中的 Python 腳本與 JSON 為教學範例,讀者須依自己的 ComfyUI 工作流與環境調整;封面為 ImageGen 製作的工作流程概念圖,並非軟體介面截圖。本篇沒有宣稱已在讀者設備上完成長片生成實測。


TempEDU 探教育|AI 工具教學與企業實戰應用