模型備份:開放模型還會一直免費嗎?黃仁勳離開後的 Local LLM 下載懶人包

模型備份:開放模型還會一直免費嗎(文章封面)

AI 趨勢觀察 / 資料更新至 2026 年 11 月

「你最好確保手上備份了幾個開放權重模型,還有一些能跑它們的基本設備。沒人知道 NVIDIA 到底發生了什麼事,但這個世界剛剛失去了自由 AI 最大的支持者之一。」

這是 Ruby on Rails 創辦人 DHH 在 11 月 12 日 NVIDIA 宣布黃仁勳辭職後發的貼文(本文翻譯)。一個人離職,為什麼會讓工程師開始擔心「模型會不會哪天下載不到」?這篇文章用查證過的資料回答三件事:開放模型靠什麼存在、這次事件動到了哪一塊、以及一般人和企業到底該備份什麼。文末附上 Local LLM 下載懶人包,有可以直接複製的指令。

30 秒看重點

11/12

NVIDIA 董事會宣布黃仁勳辭去總裁、執行長與董事,即刻生效。

300 萬+

Hugging Face 上的模型數量。NVIDIA 9 月宣布以約 129 億美元收購它。

2027 上半年

收購預計完成的時間,還要等監管機關核准。

約 6 年

OpenAI 從 GPT-2(2019)到 gpt-oss(2025),中間沒有釋出開放權重語言模型。

約 2 成

本文懶人包裡六樣東西加起來約 386 GB,大約佔一顆 2TB 硬碟的兩成。

資料:NVIDIA 董事會公告、NVIDIA 收購 Hugging Face 公告與 8-K 申報、OpenAI、Ollama 模型庫、Kiwix,詳見文末資料來源。

01一個人離職,為什麼讓大家想備份模型

因為黃仁勳不只是 NVIDIA 的執行長,他也是近一年來最積極替「開放權重模型」說話的科技領袖。開放權重模型,指的是公司把訓練好的模型參數公開,任何人都能下載到自己的電腦上執行、修改,不必透過對方的雲端服務。

把他今年做的幾件事排在一起,就看得出為什麼這次離職會讓開源社群緊張:

2026 年 7 月 24 日

第一則 X 貼文就挺開放模型

分享一封 25 個組織聯署的公開信,呼籲美國政府不要過早限制開放權重模型。

2026 年 9 月 3 日

宣布收購 Hugging Face

約 129 億美元。公告中承諾平台維持開放,使用者不必綁定 NVIDIA 的硬體。

2026 年 11 月 8 日

承認婚外情,董事會啟動獨立調查

調查重點是相關事件是否危及美國國家安全或公司機密。

2026 年 11 月 12 日

辭去執行長、總裁與董事

財務長克瑞斯(Colette Kress)暫代執行長,董事會啟動接班人遴選。

除了公開表態,NVIDIA 也自己做開放模型(Nemotron 系列),WIRED 報導 NVIDIA 在申報文件中揭露,將投入約 260 億美元開發開放權重模型。TechCrunch 在辭職當天就報導,黃仁勳離開讓 NVIDIA 對開源的支持打上問號,並引述業界人士直言:他不再擔任執行長,對美國的開放模型陣營會是「非常非常糟」的事。

要記得

目前沒有任何證據顯示 NVIDIA 要改變開放模型政策。大家擔心的是「最有力的推手不在了」,不是「政策已經改了」。

02開放模型能存在,靠的是三根柱子

你現在可以免費下載的開放模型,其實同時依賴三個條件。這次事件,三根柱子都被搖了一下:

柱子 1:有公司願意開放

開放是公司的選擇,不是義務。OpenAI 2019 年公開 GPT-2 之後,下一次釋出開放權重語言模型已經是 2025 年 8 月的 gpt-oss。最挺開放的人離開後,NVIDIA 會不會一樣投入,要看新的管理團隊。

柱子 2:有地方可以下載

全世界的開放模型,絕大多數都放在 Hugging Face。它目前有超過 300 萬個模型、1,800 萬名開發者使用。收購預計 2027 上半年才完成,平台的新主人會是 NVIDIA。

柱子 3:政府沒有禁止

2026 年美國曾傳出評估禁止美國企業使用中國開放權重模型。NVIDIA 在收購的 8-K 申報裡也寫明:任何限制特定地區(包括中國)模型的管制,都可能對 Hugging Face 平台造成重大影響。

看數據,先看定義

很多人說「保證 Hugging Face 維持開放的那個人已經走了」,這句話只對一半。根據 NVIDIA 的 8-K 申報,維持平台開放、允許使用者上傳下載自己選擇的模型,是寫進收購協議裡的承諾,不只是黃仁勳個人的口頭保證。真正的變數是:協議執行多年後,新的領導層會用多積極的態度去兌現它。

開放權重是什麼

開放權重(open-weight)只公開訓練好的模型參數,不一定公開訓練資料與訓練程式碼,所以和傳統的「開源軟體」不完全一樣。好處是:下載之後,你在自己的電腦上就能執行,不用連網。

03下載到你的硬碟,就是你的

雲端服務的使用權在服務商手上:價格可以調、API 可以改、模型可以下架、某些地區可以被限制。開放模型不一樣,權重檔一旦存在你自己的硬碟裡,沒有人收得回去,斷網也照樣能跑。這就是 DHH 說「備份」的意思。

但「備份」不只是存一個檔案。要讓模型在沒有網路的那天真的跑得起來,至少要三樣東西:

1

模型權重

常見格式是 GGUF(給 llama.cpp、Ollama 用)或 safetensors;同一個模型有不同壓縮程度。

2

執行軟體

llama.cpp、Ollama、LM Studio 的安裝檔也要存一份,離線時才裝得起來。

3

硬體

記憶體或顯示記憶體要夠大,模型才放得進去;不夠就只能挑小模型。

Reddit 的本地模型社群也因此出現一波「如果哪天開放權重不再釋出,我們該先存什麼」的討論,留言區直接變成 AI 末日物資展示會:有人在一顆 2TB 的 NVMe 固態硬碟裡塞進 Gemma、Qwen、DeepSeek 等模型,再加上語音辨識、語音合成、離線維基百科,最重要的模型還複製一份到 NAS;也有人貼出超過 10TB 的清單,從各家模型、圖像模型、訓練資料集到離線的 Python 套件全都收。

以前末日生存玩家囤米、柴油、發電機;現在 AI 玩家囤模型、算力、離線知識庫。看到第一個反應是好笑,但仔細想,這件事並不完全是杞人憂天。

要記得

上面兩份清單是網友自行分享的貼文,本文沒有逐一核實內容。重點在做法,不在照抄容量。

04Local LLM 備份懶人包:先存這幾個就夠

一般人不需要 10TB。依照電腦等級挑兩三個模型,加上執行軟體,就能有一套「斷網也能用」的 AI 工具箱。以下是 2026 年 11 月仍在更新、授權寬鬆、社群支援度高的選擇:

依電腦等級選模型

入門:16 GB 記憶體的筆電

Gemma 4 E4B(可看圖、聽音訊)、gpt-oss-20b(推理與工具呼叫)。適合摘要、改寫、翻譯。

主力:24 GB 顯示卡或 32 GB 以上的 Mac

Gemma 4 26B A4B(速度和品質平衡)、Gemma 4 31B(Gemma 4 最強)、Qwen3.8-27B(可看圖與影片)。

進階:工作站或多張顯示卡

gpt-oss-120b(約 80 GB 顯示記憶體)、DeepSeek V4 Flash 0731(總參數 2,840 億)。適合企業內部部署。

模型(開發者/授權/特色)下載大小
Gemma 4 E4B
Google/Apache 2.0/小而全能,Ollama 預設版本
約 6.6–9.5 GB
gpt-oss-20b
OpenAI/Apache 2.0/16 GB 顯示記憶體可跑
約 14 GB
Gemma 4 26B A4B
Google/Apache 2.0/混合專家架構,生成時只動用約 4B 參數
約 16–19 GB
Gemma 4 31B
Google/Apache 2.0/稠密模型,Gemma 4 系列品質最高
約 19–20 GB
Qwen3.8-27B
阿里巴巴/Apache 2.0/可看圖與影片
約 17–19 GB
gpt-oss-120b
OpenAI/Apache 2.0/約需 80 GB 顯示記憶體
約 65 GB
DeepSeek V4 Flash 0731
DeepSeek/MIT/2,840 億總參數、每次啟用 130 億
約 167 GB

資料:Ollama 模型庫、Google、OpenAI、DeepSeek Hugging Face 頁面(2026 年 11 月查詢)。Qwen3.8-27B 為 4-bit 量化後所需記憶體,取自 TempEDU〈開源 AI 全家桶〉整理。下載大小依壓縮版本不同會有差異。

別忘了周邊工具

執行軟體

llama.cpp(最底層、最通用)、Ollama(指令一行就能下載與執行)、LM Studio(有圖形介面)。安裝檔各存一份。

語音轉文字

Whisper large-v3(MIT 授權),會議錄音可以在本機轉成逐字稿。

離線知識庫

用 Kiwix 開啟離線維基百科:英文含圖片約 110 GB、純文字約 48 GB、只有摘要的精簡版約 11 GB。

校驗碼

每個大檔案都記下 SHA-256 校驗碼,日後從備份還原時,才確認得了檔案沒有損壞。

一顆 2TB 硬碟,放得下多少?

以下載大小估算(取各來源的上限值),長條長度以最大的一項為基準

Gemma 4 E4B

9.5 GB

gpt-oss-20b

14 GB

Gemma 4 31B

20 GB

gpt-oss-120b

65 GB

英文維基百科(含圖片)

約 110 GB

DeepSeek V4 Flash 0731

約 167 GB

※ 六項合計約 386 GB,大約佔 2TB 的 19%。藍色是一般電腦就跑得動的模型,灰色需要較大的硬碟或硬體。

跟著做:下載、確認、備份

網站有防複製,指令請按右上角的按鈕複製。第一段需要先到 Ollama 官網安裝 Ollama:

指令 1/用 Ollama 下載模型

# 下載兩個入門模型
ollama pull gemma4:e4b
ollama pull gpt-oss:20b

# 確認下載了哪些模型、各佔多少空間
ollama list

# 拔掉網路線後試跑一次,確認真的能離線使用
ollama run gemma4:e4b

想要單一檔案、方便搬到別台電腦,可以直接從 Hugging Face 下載 GGUF 檔(以 Gemma 4 26B A4B 為例,約 17 GB;指令為 macOS/Linux 寫法):

指令 2/從 Hugging Face 下載 GGUF 檔

# 安裝 Hugging Face 指令列工具
pip install -U huggingface_hub

# 下載模型本體與看圖用的 mmproj 檔,存到 models 資料夾
hf download unsloth/gemma-4-26B-A4B-it-GGUF \
  gemma-4-26B-A4B-it-UD-Q4_K_M.gguf mmproj-F16.gguf \
  --local-dir ./models/gemma-4-26b

最後把模型複製到外接硬碟,並記下校驗碼。Ollama 的模型預設存在:macOS 是 ~/.ollama/models、Linux 是 /usr/share/ollama/.ollama/models、Windows 是使用者資料夾裡的 .ollama\models。

指令 3/備份到外接硬碟並記下校驗碼(macOS)

# 把 Ollama 的模型整包複製到外接硬碟(Backup 換成你的硬碟名稱)
rsync -a ~/.ollama/models/ /Volumes/Backup/ollama-models/

# 替 GGUF 檔產生校驗碼(Linux 改用 sha256sum)
cd ./models/gemma-4-26b
shasum -a 256 *.gguf > SHA256SUMS.txt

# 日後還原時檢查檔案是否完整
shasum -a 256 -c SHA256SUMS.txt

要記得

下載到自己硬碟的模型,授權條款仍然有效。Apache 2.0、MIT 可以商用,但也有模型限制非商業使用,企業上線前請先看清楚授權頁。

05企業主該問的不是「囤多少」,而是「API 停了會不會卡住」

對企業主來說,重點不是去囤 10TB,而是回頭看看:公司已經交給 AI 的那幾段流程,如果明天 API 停了,會不會整個卡住?客服回覆初稿、會議紀錄、資料整理、報表底稿⋯⋯這些一旦習慣交給 AI,人就很難回到全手動。

雲端連線中斷時,桌上的小型電腦與外接硬碟仍讓工作繼續進行的示意圖
圖 1 雲端斷線時,本機的小模型讓關鍵流程不中斷
交給 AI 的流程API 停了會怎樣可以先準備的備援
客服回覆初稿
由 AI 先草擬再由人確認
回覆變慢、客訴排隊常見問題範本+本機小模型產初稿
會議紀錄
錄音轉文字再摘要
錄音堆著沒人整理本機 Whisper 先轉逐字稿
資料整理、報表底稿
AI 協助清理與彙整
月報、週報延誤保留手動 SOP 與 Excel 範本

※ 實際影響依公司流程而定,表格是常見情境的整理。

建議用三個步驟做一次「AI 斷線演練」:

1

盤點

列出所有用到 AI 的流程,寫下用哪個服務、誰負責、多久用一次。

2

分級

分成「停一週也沒關係」和「停一天就出事」兩類,後者才需要備援。

3

演練

每季挑半天停用 API 金鑰,看團隊能不能靠本機模型或手動流程撐過去。

第一步的盤點可以請 AI 幫忙。把下面的提示詞貼到你常用的 AI 工具,再補上公司的實際狀況:

提示詞/AI 依賴盤點

你是一位中小企業的 IT 顧問。請協助我盤點公司對雲端 AI 服務的依賴程度。

公司背景:
- 產業:(例如:補習班、貿易公司、餐飲)
- 員工人數:(例如:15 人)
- 目前用到 AI 的工作:(例如:客服回覆初稿、會議紀錄、社群貼文、報表整理)
- 使用的 AI 服務:(例如:ChatGPT、Gemini、Claude、某某 API)

請用表格整理每一項工作:
1. 如果 AI 服務停止一週,會造成什麼影響(高/中/低)
2. 有沒有手動替代流程,替代需要多少人力
3. 能不能改用本機的開放權重模型處理,需要什麼等級的電腦
4. 建議優先準備的備援做法

最後列出三件本月就能完成的行動。

但,不必真的去囤 10TB

備份是保險,不是要你把本地模型當主力。囤之前,先想清楚這幾件事:

本地模型通常落後幾步

開放模型進步很快,但能在家用電腦跑的版本,多半還是比最強的雲端模型差一截。例如 Artificial Analysis 的評測認為 DeepSeek V4 Flash 和 OpenAI 的輕量模型同級。

硬體與電費是真成本

gpt-oss-120b 需要約 80 GB 顯示記憶體;囤了跑不動的模型,等於只是佔硬碟。先用現有電腦跑得動的版本就好。

模型不會自己更新

權重存下來,知識就停在訓練的那一天,安全修補也會停。備份的模型適合當備援,日常工作還是要跟上新版。

NVIDIA 仍有商業動機

研究者 Nathan Lambert 指出,NVIDIA 本身仍有財務理由支持開放權重:模型越普及,算力需求越大。人走了,不代表開放模型馬上消失。

雲端 AI 再強,使用權終究在服務商手上;本地模型就算落後幾個版本,只要權重、軟體、硬體都在,至少還能自己跑。

——Tr. Bug

現在就可以做的三件事

1

先試

裝好 Ollama,下載 Gemma 4 E4B,拔掉網路試跑一次,感受本地模型能做到哪裡。

2

再存

依電腦等級挑兩三個模型,連同執行軟體的安裝檔與校驗碼,複製到外接硬碟。

3

演練

企業挑出「停一天就出事」的流程,安排一次半天的 AI 斷線演練。

個人學習者

把本地模型當成學習工具:理解量化、記憶體和速度的關係,是很實用的 AI 素養。

老師

在教室網路不穩時,本機模型也能示範 AI 摘要與改寫;同時帶學生討論「誰擁有 AI」。

企業主

先盤點、再分級,只替關鍵流程準備備援;把預算花在演練,而不是無止盡的硬碟。

本文重點

  1. 黃仁勳 11 月 12 日辭職,開源社群擔心的是少了最有力的推手,目前沒有證據顯示 NVIDIA 改變政策。
  2. 開放模型同時依賴三根柱子:公司願意開放、有地方可以下載、政府沒有禁止。
  3. Hugging Face 維持開放是寫進收購協議的承諾,但執行態度要看新的領導層。
  4. 備份要同時存模型權重、執行軟體與校驗碼,並確認硬體跑得動。
  5. 企業的重點是盤點 AI 依賴、替關鍵流程準備備援,再定期做斷線演練。

想一想

如果你最常用的 AI 服務明天停了一週,哪一件工作會最先卡住?你會怎麼撐過這一週?

資料來源

  1. DHH(2026/11/12)。X 貼文:備份開放權重模型
  2. 工商時報(2026/11/12)。黃仁勳辭任輝達執行長!財務長克瑞斯暫代、啟動接班人遴選
  3. iThome(2026/11)。黃仁勳發表聲明、Nvidia 董事會啟動獨立調查
  4. TechCrunch(2026/11/12)。黃仁勳離開,讓 NVIDIA 對開源的支持打上問號
  5. LetsDataScience(2026/7)。Huang Backs Open-Weight AI in First X Post
  6. Euronews(2026/9/3)。Nvidia to buy open-source AI hub Hugging Face for $12.9bn
  7. Unite.AI(2026/9)。NVIDIA Signs Definitive Agreement to Acquire Hugging Face(8-K 申報內容)
  8. The Energy Mag(2026/9)。收購預計 2027 上半年完成
  9. WIRED。Nvidia Will Spend $26 Billion to Build Open-Weight AI Models, Filings Show
  10. Elephas。The Open Weights Fight: What NVIDIA, Anthropic, and Meta Are Really Arguing About
  11. OpenAI(2025/8/5)。Introducing gpt-oss
  12. DeepLearning.AI The Batch(2025/8)。gpt-oss 硬體需求
  13. Google AI for Developers。Gemma 4 model overview
  14. Ollama 模型庫(2026/11 查詢)。gemma4
  15. Ollama 模型庫(2026/11 查詢)。gpt-oss
  16. Ollama。FAQ:模型存放位置
  17. Hugging Face。unsloth/gemma-4-26B-A4B-it-GGUF
  18. PureAI(2026/8/7)。DeepSeek Releases V4 Flash Update
  19. Silicon UK(2026/8)。DeepSeek V4-Flash
  20. Kiwix(2025/8)。Habemus Wikipediam:英文維基百科離線檔
  21. Open Access Kit(2026/3)。ZIM File Priority Analysis(各版本維基百科容量)
  22. fbalance(2026/11)。引述 Nathan Lambert 對 NVIDIA 開放模型的看法

本文插圖為 AI 生成的示意圖。開頭引言為 DHH 原文的中文翻譯。


Edit with Tr.Bug

Follow me on:LinkedIn | 探教育TempEDU