AI 影片創作教學|2026 年 11 月 7 日更新
你寫好故事、準備好角色照片,接下來還得手動寫每段提示詞、逐支按下生成,最後再剪成一支片嗎?現在可以把重複工作交給 Codex+ComfyUI Portable+MiniMax H3:Codex 讀劇本、拆分鏡、呼叫 API 並檢查結果;本機 ComfyUI 用 GPU 生成含聲音的片段;FFmpeg 把它們接成 MP4。
本文從完全沒有程式經驗的入門路線開始,先實際建立「能跑出第一段影片」的環境,再教你將分鏡寫成 JSON、讓 Codex 自動提交工作流、處理片段延續、了解 GPU 規格與相關費用。文章依官方文件和社群案例整理,不是已在讀者電腦上完成的實測報告。
30 秒先看懂
官方 H3 模板生成第一段 4~15 秒有聲影片。
Codex 透過 API 或 MCP 觸發本機工作流。
JSON 分鏡、片段接續、FFmpeg 合成。
01架構總覽:Codex 不是影片模型,而是 AI 製片助理
整套系統可以想成一個五階段的製片小隊:你給需求 → Codex 寫出劇本與分鏡 → ComfyUI 送給影片模型渲染 → Codex 檢查與重試 → FFmpeg 合成最終影片。Codex 不必具備高階 GPU,真正的生成運算在執行 H3 的本機或雲端機器上。
| 工作階段 | 主要工具 | 可得到的檔案 |
|---|---|---|
| 故事與角色設定 | Codex/LLM | 角色外觀、場景、分鏡規則 |
| 分鏡規劃 | Codex + Prompt Skill | storyboard.json |
| 逐段渲染 | ComfyUI + MiniMax H3 | shot_01.mp4 等片段 |
| 延續前段動作(進階) | H3 Motion Context 節點 | 上下文銜接與同步裁切 |
| 後製與合成 | FFmpeg(及可選剪輯工具) | final.mp4 |
建議從官方模板生成一段短片,確認模型與顯卡能正常運作,再讓 Codex 呼叫 API。若第一段都失敗,直接套自動化 Skill 只會讓問題變得更難排查。
02需要什麼設備?哪些免費、哪些要花錢?
| 項目 | 新手建議 | 費用 |
|---|---|---|
| 作業系統 | Windows 10/11;本文以 NVIDIA 版 ComfyUI Portable 為例 | 已有電腦不另付費 |
| GPU 與 VRAM | 建議優先考慮 24GB 顯存以上;12GB 能研究量化與卸載,但速度可能很慢;8GB 只屬特定社群實驗配置 | 顯卡硬體成本或雲端租金 |
| RAM/儲存空間 | 建議 64GB RAM、至少 100GB SSD 可用空間;保存多種模型與大量影片宜準備更多 | 視既有硬體而定 |
| ComfyUI Portable | 節點式本機生成引擎 | 免費開源 |
| MiniMax H3 權重 | T2V/I2V/R2V 下載對應版本;受 Community License 條款約束 | 本機無每次生成的模型 API 計費 |
| Codex | 可用 ChatGPT 帳戶,額度依方案而異;也可使用相關 API 方案 | 可能有訂閱/Token 成本 |
| FFmpeg | 裁切、影片合併、音訊格式檢查 | 免費開源 |
H3 是大型影音共同生成模型,不只下載主模型,還需要大型文字編碼器與影片/聲音 VAE。下載量可能達數十 GB,模型檔案大小與 VRAM 需求也不是同一件事。官方推薦 NVIDIA Portable 的 CUDA 13.0/Python 3.13 組合可搭配其 int8_convrot 模型;低 VRAM 還要看卸載和解析度設定。
03第一步:下載 ComfyUI Portable,啟動本機 API
- 前往 ComfyUI 官方 Windows Portable 教學,選符合顯卡的版本並下載。
- 將壓縮檔解壓到例如
C:\AI\ComfyUI_windows_portable\;建議路徑簡短且有足夠硬碟空間。資料夾內應有ComfyUI與python_embeded。 - 執行
run_nvidia_gpu.bat,不要關掉開啟的終端視窗。 - 在瀏覽器開 http://127.0.0.1:8188,再測試
http://127.0.0.1:8188/system_stats;看到 GPU/系統的 JSON 資訊,代表 API 已有回應。
本篇所有測試都使用 127.0.0.1,不要為了讓 Codex 連得到,直接把 ComfyUI 設成對外公開監聽,也不要隨手開放路由器的 8188 埠。
04第二步:用官方 MiniMax H3 工作流先做一段影片
ComfyUI 已正式提供 MiniMax H3 的三類原生模板:T2V(文字轉影片)、I2V(圖片轉影片)、R2V(多參考素材轉影片)。H3 在同次生成中處理影像與立體聲,文字提示詞可以描述台詞、音效、音樂及運鏡。
- 更新 ComfyUI 至能載入 H3 模板的版本,點 Template Library → Video → MiniMax H3,先選最簡單的 T2V。
- 依模板提示下載模型,或查 Comfy-Org 的 H3 模型頁;只下載所選模式對應的權重,不必一口氣抓齊每一種量化。
- 在模板輸入簡單場景,例如「雨夜,女子撐傘走向書店;鏡頭慢速跟拍;雨聲與腳步聲;沒有字幕」。保持模板原本的預覽解析度與短時長,先按 Queue 測試。
- 成功得到 MP4 後,才切換 I2V 載入人物圖;需要固定角色與聲音,再改用 R2V(Ref2VA)和其專用權重。
H3 官方原生模板的模型路徑示意;T2V 與 R2V 主模型不同
ComfyUI/
models/
diffusion_models/
minimax_h3_fl2va_pruned_int8_convrot.safetensors # T2V/I2V
minimax_h3_ref2va_pruned_int8_convrot.safetensors # R2V 選用
text_encoders/
qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors
vae/
minimax_h3_video_vae_fp16.safetensors
minimax_h3_audio_vae_fp32.safetensors官方模板支援直式 9:16、橫式 16:9 等比例。原生生成多為 4~15 秒、24fps,且時長會對齊模型的影格格點;因此「要求 5 秒」不應當成成品精確等於 5.000 秒。若以人物照維持一致性,優先使用官方參考圖輸入,而非只在每段 Prompt 反覆形容同一角色。
05第三步:安裝 Codex 與 H3 官方 Prompt Skill
Codex 能讀專案目錄、協助編修 JSON、撰寫 Python 腳本並呼叫本機服務。你可以使用 Codex 桌面版或 CLI;以下採 CLI,先安裝 Node.js 的 LTS 版本。
PowerShell:安裝 Codex 並登入
npm install -g @openai/codex@latest
codex --version
codex接著安裝 MiniMax 官方的 h3-prompt-writing Skill。它是文字規範,協助 Codex 依 T2VA、I2VA、FL2VA、L2VA、Ref2VA 正確整理時間軸、參考圖標籤、聲音與鏡頭,不會替你下載模型或自動創造節點。
PowerShell:建立專案與安裝 Skill
mkdir D:\AI-Video-Lab
cd D:\AI-Video-Lab
npx skills add https://github.com/MiniMax-AI/MiniMax-H3 --skill h3-prompt-writing專案 Skill 通常在 .agents/skills/,個人共用目錄則是 ~/.agents/skills/;依 Skills 安裝介面的範圍選項為準。安裝前可閱讀 官方 SKILL.md 原文。不明來源的 Skill 可能包含執行命令,請先檢查內容。
06第四步:匯出 API 格式,讓程式能操作 ComfyUI
新手最容易卡在這裡:在 ComfyUI 一般按「儲存」得到的視覺工作流程 JSON,不等於可直接提交給 /prompt 的 API 格式。請打開剛才已成功產生影片的工作流,點 File → Export Workflow (API),存到 D:\AI-Video-Lab\h3_api.json。
以下是可實際執行的最小 Python 程式:讀取已匯出的 H3 API JSON,傳送到本機 POST /prompt,並印出 prompt_id。它不會擅自修改任何節點 ID 或模型參數,正適合驗證第一步是否接通。
儲存為 queue_comfy.py(只使用 Python 標準函式庫)
from pathlib import Path
import json, sys
from urllib.request import Request, urlopen
from urllib.error import HTTPError, URLError
server = "http://127.0.0.1:8188"
path = Path(sys.argv[1] if len(sys.argv) > 1 else "h3_api.json")
workflow = json.loads(path.read_text(encoding="utf-8"))
if not isinstance(workflow, dict) or not all(
isinstance(v, dict) and "class_type" in v
for v in workflow.values()
):
raise SystemExit("請匯出 File > Export Workflow (API) 的 JSON")
body = json.dumps({"prompt": workflow}, ensure_ascii=False).encode()
request = Request(
server + "/prompt", data=body, method="POST",
headers={"Content-Type": "application/json"}
)
try:
with urlopen(request, timeout=30) as response:
result = json.load(response)
except (HTTPError, URLError) as exc:
raise SystemExit(f"無法提交:{exc}")
if "prompt_id" not in result:
raise SystemExit(f"工作流驗證未通過:{result}")
print("已送入佇列:", result["prompt_id"])
print("檢查:", server + "/history/" + result["prompt_id"])在另一個終端執行,保持 ComfyUI 啟動
cd D:\AI-Video-Lab
python queue_comfy.py h3_api.json如果 PowerShell 顯示找不到 python,可另行安裝 Python 3.11,或用 Portable 內附的 Python 直接執行:C:\\AI\\ComfyUI_windows_portable\\python_embeded\\python.exe D:\\AI-Video-Lab\\queue_comfy.py D:\\AI-Video-Lab\\h3_api.json。請依實際解壓縮路徑替換;這支程式只使用 Python 標準函式庫,無須先安裝其他套件。
取得 prompt_id 只代表成功排入任務,不等於輸出已完成。再從 /history/{prompt_id}、ComfyUI Queue 或 ComfyUI\output\ 檢查結果。若出現 node_errors 或工作流驗證錯誤,回到對應節點檢查模型檔名、參數與缺失的自訂節點。
07第五步:讓 Codex 把劇本改成可重複執行的 JSON 分鏡
把影片拆成分鏡,不能只有「第一段很漂亮、第二段更感人」。每段至少寫出主角與場景、具體動作、鏡頭運動、台詞和最後一個畫面(end_state)。這份 storyboard.json 是你自己制定的製片契約,不是 H3 官方直接使用的工作流格式。
storyboard.json:三段約四秒的劇本示例
{
"title": "雨夜書店",
"aspect_ratio": "9:16",
"fps": 24,
"character": "短髮、深藍雨衣、左手拿書的年輕女性",
"reference_image": "assets/character.png",
"shots": [
{
"id": "S01", "target_seconds": 4,
"action": "走近書店,伸手推玻璃門",
"camera": "背後緩慢跟拍",
"dialogue": "",
"end_state": "門打開一半,主角站在門口"
},
{
"id": "S02", "target_seconds": 4,
"action": "走進書店,望向發光的書架",
"camera": "緩慢推進至中景",
"dialogue": "原來你一直在這裡。",
"end_state": "主角停在書架前,抬起頭"
},
{
"id": "S03", "target_seconds": 4,
"action": "取下一本發光的書,慢慢打開",
"camera": "雙手特寫轉臉部",
"dialogue": "",
"end_state": "發光書本在雙手中展開"
}
]
}Codex 應先檢查每段是否有可見動作、結尾狀態、固定角色描述和可說完的對白;再依所選 H3 模式把分鏡轉成 Prompt。完成影片後還要用 ffprobe 讀取真正時長,而不是把 JSON 目標秒數直接相加當作最終片長。
08第六步:複製這段指令,正式交辦 Codex
將 h3_api.json、storyboard.json 與人物圖放好,使用 Codex 開啟 D:\AI-Video-Lab 專案。把以下任務貼進去,先只做第一段,確定有輸出再批次跑完整影片。
給 Codex 的完整可複製任務
你是本機 AI 影片製作助理。
請在目前專案 D:\AI-Video-Lab 工作。
目標:將 storyboard.json 的劇本與人物圖,
透過本機 ComfyUI Portable + MiniMax H3 生成分鏡影片,
最後用 FFmpeg 組成 final.mp4。
工作順序:
1. GET http://127.0.0.1:8188/system_stats 確認本機 API。
無法連線就停止,勿自行開啟對外監聽或上傳素材。
2. 讀 h3_api.json;辨認實際節點的 class_type 與 inputs,
找到提示詞、參考圖、時長、比例及輸出節點。
不可猜測或寫死 node ID,不可擅自換大模型。
3. 讀取 h3-prompt-writing Skill;依所使用的
T2V/I2V/R2V 生成模式改寫每段 Prompt,保留中文台詞。
4. 先只送出 S01 到 /prompt;追蹤 /history/{prompt_id},
確定得到可播放且有聲音的 MP4,才執行其他段落。
5. 建立可以重試的 Python 腳本,記錄每段輸入、
prompt_id、輸出檔路徑、耗時、失敗原因。
6. 批次完成 S02、S03;若尚未裝 Motion Context,
請明確標示是獨立分鏡,不能宣稱已無縫接續。
7. 以 ffprobe 檢查每段解析度、fps、時長與聲音,
依序合成 final.mp4,輸出到 output 資料夾。
8. 只有我允許時才安裝新節點或下載大型權重。
請回報已完成、未完成、已驗證的結果。這段任務讓 Codex 先讀你電腦上的真實工作流,避免假設所有 ComfyUI 節點的 ID 都相同。若使用 WSL 版 Codex,請先檢查它是否真的能連到 Windows 啟動的 API;權限受限時也要先取得相應核准。
09第七步:做成長影片,Motion Context 怎麼接才不會跳畫面?

每一段獨立生成容易發生人物面貌、動作、位置和音色漂移。H3 的 Ref2VA 可用相同角色照片維持設定;如果你要的是「下一段接續上一段動作」,可進一步用 H3 Motion Context 自訂節點,把前一段尾部的畫面與聲音上下文帶進新段。
- 先讓原生 R2V 工作流單段成功,再讀取 Motion Context 的 README,安裝相容版本與範例工作流。它不是 Codex Skill,必須真的在 ComfyUI 節點圖中接線。
- README 建議的畫面
context_length=22是在 24fps 下約 0.92 秒,不是固定上一段最後 3 秒;常見建議的聲音上下文另有自己的設定。 - 第二段生成後必須裁掉重複的開頭影格,並同步處理音訊;否則畫面會卡一下、音訊可能位移。影片尺寸、FPS 和模型模式也要維持相容。
- 若第 3 段內容改變,依第 3 段尾部條件生成的第 4 段及之後也可能需要重做。可只重算受影響的分鏡,但不能保證只改一段就讓長片完全連續。
若要加速,也可研究 SelfLift 逐級解析度採樣 或 Sage Attention;它們是版本敏感的進階選項,有可能改變速度與畫質,不是初次使用 H3 的必要步驟。
用 FFmpeg 組裝影片(每段先完成必要裁切)
建立 clips.txt;三個片段編碼規格須相容
file 'S01.mp4'
file 'S02.mp4'
file 'S03.mp4'在 clips.txt 所在資料夾執行
ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1 S01.mp4
ffmpeg -f concat -safe 0 -i clips.txt -c copy final.mp4此命令只適合編碼、FPS、解析度、音軌等相容的檔案;不相容時要先統一規格或重新編碼。FFmpeg 不會自動幫你辨認 Motion Context 的重複影格,重疊段必須先在工作流或後製裁除。
10進階路線:ComfyUI 官方 Local MCP,讓 Codex 直接找節點
ComfyUI 目前已提供官方 Comfy MCP(公開測試版),本機版可以讓 Codex 呼叫 server_info、search_models、list_nodes、validate_workflow、run_workflow、fetch_outputs 等工具。它更接近「用自然語言操作 ComfyUI」的體驗,但 Portable 的 Python 路徑與 comfy-cli 工作區須先設定正確。
依 官方 Local Comfy MCP 安裝指南,需 Python 3.10+、comfy-cli ≥ 1.14.0、comfy-mcp。最安全的方式是獨立建立 Python 虛擬環境,不要任意覆寫 Portable 隨附的嵌入式 Python。
Windows 本機環境示意:路徑需依實際位置更改
cd D:\AI-Video-Lab
py -3.11 -m venv .venv
.\.venv\Scripts\python.exe -m pip install "comfy-cli>=1.14.0" comfy-mcp
# 告知 comfy-cli 真正的 Portable ComfyUI 程式目錄
.\.venv\Scripts\comfy.exe set-default C:\AI\ComfyUI_windows_portable\ComfyUI
# 註冊到同一台 Windows 電腦上的 Codex CLI
codex mcp add comfy-local -- D:\AI-Video-Lab\.venv\Scripts\comfy-mcp.exe
codex mcp list使用原本的 run_nvidia_gpu.bat 保持 Portable 開啟,再讓 Codex 呼叫 server_info,確認它看到的是你的模型與工作流。若 Codex 在 WSL 或遠端容器,而非同一個 Windows 執行環境,需另外調整路徑、可執行檔與網路連線。想先完成作品的新手可以跳過此節,直接沿用前面的 HTTP API。
11本機與雲端費用比較:真正花錢的是哪裡?
| 方案 | 收費邏輯 | 適合誰 | 必看提醒 |
|---|---|---|---|
| 自有電腦 | ComfyUI 與模型本機推論可免逐次影片生成費,仍有顯卡、電力、SSD、Codex 方案成本 | 長期大量製作、希望素材保留本機 | 硬體昂貴,低 VRAM 速度可能難以接受 |
| RunPod/雲端 GPU | GPU 使用時數 × 當時租金,另有儲存與流量等費用;服務商一般 GPU 入門價每小時 US$0.27 起,非特定 H3 配置報價 | 沒有高階顯卡但要自訂節點 | 24GB 或更高 VRAM 的實際單價要另查;用完停止實例 |
| Google Colab | 免費資源與 GPU 不保證;付費有運算單元或訂閱權益 | 想用 Notebook 試驗的人 | 可能拿不到 L4;資源配額、閒置與連線限制會變 |
| Comfy Cloud + Cloud MCP | 依平台訂閱和生成額度;官方提供新用戶有限免費試用 | 不想自己管理環境的人 | 這是雲端生成,不是本機 Portable |
| Codex/外部 LLM | Codex 依 ChatGPT 方案有不同額度,另串 Gemini/OpenAI API 可能有 Token 費 | 需要劇本規劃和自動化的人 | AI 訂閱費不等於 GPU 費 |
成本公式是:總成本=Codex/LLM+GPU 時數+儲存/流量+電力/硬體攤提+重做成本。例如純示例假設 GPU 租金每小時 US$0.60,實際運行 2 小時,GPU 費約 US$1.20;這不是任何供應商的即時 H3 報價。
OpenAI 公開價格頁列 ChatGPT Plus 每月 US$20,Codex 另有 Free/Go 的有限使用額度;Google 台灣頁面列 Google AI Pro 每月 US$19.99(以實際付款幣別、優惠與地區頁面為準),並提供 Colab 的運算單元福利。RunPod、Colab、Comfy Cloud 的 GPU 類別與價格會持續變動,不適合在教學中承諾固定生成幾分鐘或固定每支影片費用。
12六大常見錯誤與處理方式
| 症狀 | 先檢查 | 建議做法 |
|---|---|---|
| 127.0.0.1:8188 無法連線 | Portable 啟動終端與埠號 | 查看錯誤日誌、確認 GPU 批次檔成功啟動 |
| 模型在下拉選單找不到 | models 子資料夾與檔名 | 分清 fl2va 與 ref2va 權重 |
| CUDA out of memory | 顯存、解析度、片長、量化 | 先降解析度、減少片長、使用正確量化版本 |
| 有 prompt_id,卻沒有輸出 | /history/、Queue、後端錯誤 | 分清排隊、執行失敗與缺少儲存節點 |
| 人物變臉、畫面接不上 | 參考圖、上下文節點與裁切 | 固定角色圖、檢查 22 格設定及音訊同步 |
| Codex 找不到模型或節點 | MCP 工作區、Windows/WSL 路徑 | 先以 HTTP API 驗證,再查 MCP 指向哪份 ComfyUI |
13授權、隱私與商業應用提醒
- 不要公開 ComfyUI 本機 API:遠端使用需有身分驗證與安全通道,尤其不要把本機 8188 埠直接暴露在網際網路。
- 確認素材使用權:角色照片、客戶影片、聲音和商標可能涉及肖像、著作權及隱私。
- 注意 MiniMax H3 Community License:官方授權包含地區使用限制、一定營收規模以上的額外授權、商用產品標示及安全使用條件。不能把「權重可下載」直接當成「任何地方均可無條件商用」。請參考 最新授權全文。
- 第三方節點與 Skills 先檢視:確認 GitHub 原始碼、版本及安裝指令;建議備份可運作的工作流與模型清單,再做大型升級。
14今天就動手:新手的三個驗收目標
- 做出第一段:ComfyUI Portable 正常啟動,官方 H3 T2V 模板輸出可播放、有音軌的 MP4。
- 接通 Codex:匯出
h3_api.json,執行queue_comfy.py成功取得任務 ID 並在 History 確認完成。 - 升級成自動製片:給 Codex 劇本 JSON 和角色參考圖,先產出兩段,再安排多段批次、續接、裁切與合成。
先讓流程跑得動、查得到問題、可重複執行,再追求完全自動、音畫無縫、LoRA 或超高解析度。這套方法也能延伸到產品形象片、品牌短影音、故事動畫與教學影片;字幕、音量、轉場效果可在片段生成成功後另行接上後製流程。
影音生成之後仍需節奏、字幕與音量處理,可接著參考 TempEDU 的 CapCut 剪輯技巧教學,或使用 免費螢幕錄影工具 製作教學素材。
參考資料與官方文件(2026 年 11 月 7 日查閱)
- ComfyUI 官方:Windows Portable 安裝
- ComfyUI 官方:MiniMax H3 T2V/I2V/R2V 工作流
- ComfyUI 官方:工作流 API 格式與匯出
- ComfyUI 官方:Server API 範例
- ComfyUI 官方:Local/Cloud Comfy MCP
- MiniMax 官方:H3 Prompt Writing Skill
- Comfy-Org 模型與工作流檔案
- MiniMax H3 Community License 原文
- H3 Motion Context 節點說明與相容限制
- SelfLift 自訂節點與實驗性說明
- OpenAI 官方:Codex 方案
- Google AI 方案價格、Colab 使用限制
- RunPod:雲端 GPU 成本指引
編輯註記:文章中的 Python 腳本與 JSON 為教學範例,讀者須依自己的 ComfyUI 工作流與環境調整;封面為 ImageGen 製作的工作流程概念圖,並非軟體介面截圖。本篇沒有宣稱已在讀者設備上完成長片生成實測。
TempEDU 探教育|AI 工具教學與企業實戰應用


3 Comments.