AI 技術觀察 ／ 資料更新至 2026 年 10 月
兩年前，想在自己的電腦上跑一個「真的好用」的 AI 模型，幾乎是工程師的專利。現在，一張 24GB 的顯示卡就能跑阿里巴巴的 Qwen3.8-27B，原廠公布的程式修錯測驗成績已經追上一年前的雲端旗艦模型。
上一篇〈AI 工作站：個人 AI 超級電腦怎麼選〉談的是硬體，這篇談軟體：目前最新的地端模型有哪些？是哪些技術讓大模型擠得進小機器？想開始用，又該從哪裡下手？
30 秒看重點
16–19GB
Qwen3.8-27B 用 4 位元量化後需要的記憶體，Apache 2.0 授權
16GB
OpenAI gpt-oss-20b 官方標示可在 16GB 記憶體內執行
不到 3%
DeepSeek V4.1-Flash 有 5,520 億參數，每次只啟用 80–160 億
100 萬 token
頂尖開源模型的上下文長度，已和雲端旗艦同級
約 2 倍
多 token 預測（MTP）在有利條件下帶來的生成加速
資料：各模型官方發布、Unsloth 文件與社群實測（2026 年 10 月），詳見文末資料來源。
先搞懂三個名詞
開源權重（open weights）
公司公開「訓練好的模型檔」讓你下載，但不一定公開訓練資料；能不能商用要看各自的授權條款。
參數
模型裡可調整的數字，常寫成 27B（270 億）、2.8T（2.8 兆）。參數越多通常越聰明，也越吃記憶體。
量化
把每個參數從 16 位元壓成 4 位元甚至更少，模型檔縮小到約四分之一，品質只掉一點。地端能跑大模型，主要靠它。
012026 地端模型地圖：你的記憶體決定能跑什麼
挑模型最實際的方法，是先看自己有多少記憶體（顯示卡記憶體，或 Mac、迷你主機的統一記憶體），再往下對照：
| 可用記憶體（代表硬體） | 代表模型 |
|---|---|
| 8–16GB 一般筆電、手機、入門顯示卡 | Gemma 4 E2B／E4B／12B、gpt-oss-20b |
| 24–32GB RTX 4090／5090、32GB 的 Mac | Qwen3.8-27B、Gemma 4 31B／26B MoE、Qwen3.6-35B-A3B |
| 64–128GB DGX Spark、Ryzen AI Max 迷你主機、Mac Studio | gpt-oss-120b（可放進單張 80GB GPU）、8 位元的 27B 模型 |
| 256–512GB Mac Studio M5 Ultra 512GB、多台串接 | DeepSeek V4.1-Flash（4 位元約 310GB，估算）、Qwen3.8-2.4T（動態 1 位元約 397GB） |
| 1TB 以上 GPU 伺服器 | Kimi K3、GLM-5.3 等兆級參數模型（Kimi K3 以 4 位元估算約 1.5TB） |
資料：Unsloth、OpenAI 與各模型官方說明。標示「估算」者為參數量 × 每參數位元數的數學推算，實際還要加上對話長度所需的記憶體。
看懂這個數據
模型檔大小不等於需要的記憶體。對話越長，模型要記住的上下文（KV 快取）越多；能吃 100 萬 token 的模型，真的塞滿時需要的記憶體會遠大於模型檔本身。實際使用前，用自己的工作長度測一次最準。
02五個值得認識的模型家族
Qwen 3.8（阿里巴巴）
2026 年 8 月推出。27B 版採 Apache 2.0，可看圖、256K 上下文，推理強度可調高調低，是目前單機最受歡迎的選擇。另有 2.4 兆參數的旗艦版，但授權有營收門檻條款。
Gemma 4（Google）
2026 年 4 月推出，Apache 2.0。有 E2B、E4B、12B、26B MoE、31B 等尺寸，全系列能看圖片和影片，小尺寸還能直接聽語音，適合筆電和手機。
gpt-oss（OpenAI）
2025 年 8 月推出，Apache 2.0。20b 版 16GB 記憶體可跑，120b 版可放進單張 80GB GPU；原生 4 位元格式、工具呼叫穩定，是入門試用的好起點。
DeepSeek V4.1-Flash
2026 年 9 月 10 日推出，MIT 授權。5,520 億參數、每次只啟用 80–160 億，支援 100 萬 token 上下文，原廠公布的程式代理測驗成績名列開源前段。
再往上一級是 Moonshot 的 Kimi K3（2.8 兆參數、啟用 1,040 億）和智譜的 GLM-5.3，能力最接近雲端旗艦，但需要伺服器等級的硬體，授權也有各自的附加條款。
每次回答，模型實際動用了多少參數？
計算方式：每個 token 啟用的參數 ÷ 總參數（MoE 混合專家模型）
DeepSeek V4.1-Flash（552B）
Kimi K3（2.8T）
Qwen3.8-2.4T
gpt-oss-120b
gpt-oss-20b
Qwen3.8-27B（密集模型，對照組）
※ DeepSeek 以寫作時最多啟用 160 億參數計算。啟用越少，回答越快；但所有參數仍要放在記憶體裡。
03五項關鍵技術：大模型怎麼擠進小機器
混合專家（MoE）
模型裡有很多「專家」，每個字只叫醒其中幾位。總參數很大、計算量很小，所以兆級模型也能回答得很快。
4 位元與更低的量化
GGUF 格式的 Q4_K_M 仍是最常用的平衡點；2026 年 4 月起 llama.cpp 支援 NVFP4、MXFP4 等 FP4 格式，在 RTX 50 系列等 Blackwell 顯示卡上有原生加速；Unsloth 的動態 1 位元量化更把 2.4 兆參數的 Qwen3.8 壓到約 397GB。
推測解碼與多 token 預測（MTP）
先用便宜的方法猜接下來幾個字，再讓大模型一次驗證，猜對就一次輸出好幾個字。Qwen3.6 起內建 MTP，社群實測在有利條件下約快 2 倍。
長上下文與 KV 快取壓縮
頂尖開源模型普遍支援百萬 token，可以一次讀完整本書或整個程式專案；壓縮 KV 快取的技術，讓長對話不再那麼吃記憶體。
可調推理強度與多模態
同一個模型可以選「快速回答」或「深入思考」；看圖、看影片、聽語音也逐漸成為小模型的標準配備。
看數據，先看定義
「Q4 保留約九成多品質」是社群常見的概略說法；FP4 和 Q4_K_M 誰的品質比較好，目前還沒有完整的獨立評測。模型越小，量化造成的落差通常越明顯，重要用途請用自己的題目實測。
04用什麼工具跑？
| 工具（適合誰） | 特色 |
|---|---|
| LM Studio 完全新手、想點滑鼠就好 | 圖形介面搜尋、下載、聊天；Mac 可用 MLX 加速；2025 年 7 月起工作用途也免費 |
| Ollama 想串進自己程式的人 | 一行指令下載執行，MIT 授權，提供和 OpenAI 相容的 API，很多 AI 工具都能直接接上 |
| llama.cpp 進階使用者 | 多數桌面工具背後的引擎，最早支援新量化格式，從手機到伺服器都能跑 |
| vLLM／SGLang 公司、多人共用 | 針對 GPU 伺服器最佳化，能同時服務很多人，適合企業內部 AI 平台 |
| MLX Apple 晶片使用者、開發者 | Apple 為統一記憶體設計的框架，Mac 上跑大模型的效率最好 |
資料：各工具官方說明與 2026 年社群比較文章。
想體驗看看，裝好 Ollama 後在終端機輸入一行就行：
ollama run gpt-oss:20b
但，地端模型不是萬能
能力還有落差
有分析估計最強的開源模型大約落後封閉旗艦四個月；而能放進一般電腦的中小模型，差距更大。
開源權重不等於隨便用
Apache 2.0、MIT 最寬鬆；Kimi K3、Qwen3.8 旗艦版、GLM-5.3 都有自訂條款，例如營收超過門檻要另外談。商用前先讀授權。
速度看硬體
放得下不代表跑得快。記憶體頻寬低的機器，大模型可能一秒只吐幾個字，日常使用會很有感。
品質與安全要自己把關
沒有雲端廠商幫你更新和過濾，不同來源的模型在特定議題上也可能有訓練資料帶來的偏向。正式上線前，用自己的題目測準確度和回答立場。
地端模型最大的價值不是取代雲端，而是讓「資料不出門」的 AI 應用變得做得到。
今天就能開始的三步
裝工具
下載 LM Studio 或 Ollama，先從 gpt-oss-20b、Gemma 4 這類小模型開始。
用自己的題目比
拿平常的工作，同時問地端模型和雲端 AI，記下差在哪裡。
再決定升級
確定有需要，再換更大的模型或更大記憶體的硬體。
學生
在自己的筆電跑一個小模型，親手看看參數、量化、上下文是怎麼影響回答的。
老師
離線也能用的 AI，適合教室示範，也能處理學生作業而不必上傳到雲端。
企業
合約、客戶資料、內部文件的摘要與檢索，可以先用 27B 等級的模型做內部試點。
本文重點
- 先看自己有多少記憶體，再挑模型：16GB 可跑 gpt-oss-20b，24–32GB 可跑 Qwen3.8-27B。
- 2026 年的主力是 Qwen 3.8、Gemma 4、gpt-oss、DeepSeek V4.1-Flash，兆級的 Kimi K3、GLM-5.3 需要伺服器。
- MoE、4 位元以下量化、MTP 推測解碼、長上下文壓縮，是大模型能進入個人電腦的關鍵。
- 新手用 LM Studio，開發者用 Ollama，企業多人服務用 vLLM／SGLang，Mac 可用 MLX。
- 商用前先讀授權，正式使用前用自己的題目測品質與立場。
想一想
你手邊有哪一份資料，是你不願意上傳到雲端 AI 的？如果有一個在自己電腦上跑的 AI，你最想先拿它來處理什麼？
資料來源
- Wikipedia（2026）。Qwen
- Unsloth（2026）。Qwen3.8 – How to Run Locally
- Wikipedia（2026）。Gemma (language model)
- OpenAI（2025）。Introducing gpt-oss
- DataNorth（2026 年 9 月）。DeepSeek-V4.1-Flash: MIT open weights
- Morph（2026 年 10 月）。The Best Open Source LLMs (2026)
- BenchLM（2026 年 10 月）。Best Local LLMs
- Slash Digital（2026）。Open-weight models 2026
- InsiderLLM（2026）。FP4 Just Landed in llama.cpp: NVFP4 vs MXFP4 Explained
- bymar（2026）。Speculative Decoding Is Finally Useful for Local LLMs
- Starmorph（2026）。Local LLM Inference in 2026: The Complete Guide
- iTechGuides（2026）。LM Studio vs Ollama 2026
本文封面插圖為 AI 生成的示意圖。
Edit with Tr.Bug
Follow me on：LinkedIn ｜ 探教育TempEDU ｜ Coding Cake
1 Comment.
Comments are closed.