AI 新知趨勢 / 資料更新至 2026 年 11 月
你每天問 AI 的問題、交給它整理的信件與會議紀錄,幾乎都會先送到遠方的資料中心,算完再傳回來。史丹佛大學的研究團隊認為,這件事可以反過來:把個人 AI 代理放回你自己的電腦,雲端只在真的需要時才用。他們做出來的開源框架,就叫 OpenJarvis。
這篇文章用一手資料回答四個問題:OpenJarvis 是什麼?它的五個積木各做什麼?本機小模型真的夠用嗎?一般人、老師和企業可以怎麼開始?最後也會講清楚它目前還做不到的事。
30 秒看重點
88.7%
一百萬則真實單輪對話與推理問題中,本機小模型答得好的比例(2025 年研究)
5.3 倍
2023 到 2025 年「每瓦智慧」的進步幅度,模型與硬體都有貢獻
掉 25–39 分
把 Claude Opus 4.6 直接換成本機 Qwen3.5-9B,準確率下降的百分點
4/8 項
整套設定一起調整後,8 項測試中有 4 項追平或超過雲端
約 1/800
每次使用的 API 邊際成本;端到端延遲也降到約 1/4
資料:史丹佛 Intelligence per Watt 論文、OpenJarvis 論文摘要,詳見文末資料來源。
01OpenJarvis 是一套讓個人 AI 代理在自己裝置上跑的開源框架
OpenJarvis 由史丹佛 SAIL 底下的 Hazy Research 與 Scaling Intelligence Lab 開發,主要作者是 Jon Saad-Falcon 與 Avanika Narayan,指導教授包括 Christopher Ré 與 Azalia Mirhoseini。它採 Apache 2.0 授權,可以免費使用、修改,也能放進商業產品。
它不是一個新模型,而是一整套「軟體堆疊」:幫你挑模型、選推論引擎、組合代理、接上工具與記憶,還會根據你的使用紀錄持續調整。團隊自己的定位是:既是研究平台,也是可以實際部署的基礎設施,就像 PyTorch 之於深度學習。
2025 年 11 月|研究起點
發表 Intelligence per Watt 論文,量測本機 AI 的效率
2026 年 3 月 12 日|正式發表
史丹佛部落格公開 OpenJarvis 與 GitHub 專案
2026 年 5 月 16 日|論文上線
arXiv 預印本(尚未經同行審查)
2026 年 5 月 28 日|1.0 版
登上 Ollama 官方部落格,內建 Ollama 支援
2026 年 9 月 18 日|1.0.4 版
PyPI 上的最新穩定版(本文撰寫時)
個人 AI 代理是什麼
會替你處理日常事務的 AI:整理信件、做晨間簡報、定時追蹤資料、操作檔案。像 OpenClaw、Hermes Agent 都很受歡迎,但史丹佛團隊指出,這類工具幾乎每個問題都送到雲端的大模型處理,其中常包含敏感的個人資料。
02五個積木:模型、引擎、代理、工具記憶、學習分開換
OpenJarvis 把一個個人 AI 系統拆成五個可以單獨替換的部分。好處是:想換模型就只換模型,想換推論引擎就只換引擎,每一塊都能分開量測效果和耗電。
| 積木 | 負責什麼 | 例子 |
|---|---|---|
| Intelligence 模型 統一的模型目錄 | 你說需要什麼能力,它判斷你的硬體跑得動哪些模型 | Qwen、GPT-OSS、Gemma、Granite |
| Engine 推論引擎 真正讓模型跑起來 | 偵測硬體後推薦引擎;jarvis doctor 檢查安裝狀態 | Ollama、vLLM、SGLang、llama.cpp |
| Agents 代理 把能力變成行動 | 指揮者拆解任務、分派子任務;執行者負責例行工作 | ReAct、OpenHands 式代理 |
| Tools & Memory 工具與記憶 接上真實世界 | 支援 MCP 工具、Google A2A 代理互通,以及本機文件的語意搜尋 | 筆記、論文、文件資料夾 |
| Learning 學習 越用越合身 | 用留在本機的使用紀錄微調模型、改寫提示詞、調整路由 | SFT、LoRA、GRPO、DSPy |
資料:史丹佛 Scaling Intelligence Lab 部落格(2026 年 3 月)。
為什麼要拆開
以前大家各自打造本機 AI,彼此不相容,也只看答得對不對。拆成五塊之後,就能用同一套標準比較「哪個模型配哪個引擎,在你的電腦上又快又省電」。這是 OpenJarvis 想補上的第一個缺口。
03本機小模型已經接得住大部分日常問題
OpenJarvis 的出發點,是團隊前一篇研究〈Intelligence per Watt〉(每瓦智慧)。他們用一百萬則真實的單輪對話與推理問題,測了 20 多個本機模型(主動參數 200 億以下)和 8 種硬體加速器,把「答對率除以耗電功率」當成效率指標。
本機模型能答好多少日常問題?
單輪對話與推理問題,與前沿雲端模型比較
2023 年:表現最好的單一本機模型
2025 年:表現最好的單一本機模型
2025 年:至少有一個本機模型答得好
資料:Saad-Falcon 等,Intelligence per Watt(arXiv 2511.07885)與 Hazy Research 回顧文。
看數據,先看定義
71.3% 是「只用一個最好的本機模型」;88.7% 是「挑對模型的話,至少有一個本機模型答得好」。兩個數字都只算單輪的聊天與推理問題,不包含要來回很多步的代理任務。所以它代表「日常問答大多能在本機處理」,不代表「所有 AI 工作都不用雲端」。
效率也在進步:2023 到 2025 年,每瓦智慧提升了 5.3 倍,團隊估計約 3.1 倍來自更好的模型、約 1.7 倍來自更好的硬體。研究也發現,如果讓簡單問題走本機、困難問題才送雲端,能耗、算力與成本可以比全部送雲端少 60% 到 80%。
所以 OpenJarvis 把效率當成和準確率同等重要的指標。內建的量測工具每 50 毫秒取樣一次,支援 NVIDIA、AMD 顯示卡和 Apple 晶片;用 jarvis bench 就能看到每個問題的延遲、速度和耗電。
04真正的難題:直接換成本機模型會掉分,要整套一起調
既然本機模型夠強,為什麼不直接把現有 AI 代理的模型換掉就好?論文的答案是:會掉很多分。在 PinchBench、GAIA 這類個人 AI 任務上,把 Claude Opus 4.6 換成 Qwen3.5-9B,準確率下降 25 到 39 個百分點。
原因是現有的代理工具,把提示詞、工具說明、記憶設定和執行參數,全都綁著某一個雲端模型調好。換了模型,其他設定卻沒跟著改,就像換了引擎卻沒調變速箱。
直接換模型
準確率下降 25–39 個百分點
只優化提示詞
用目前最好的提示詞優化工具,只補回約 5 個百分點
五個積木一起調整
8 項測試中 4 項追平或超越雲端,平均差距 3.2 個百分點以內
第三步就是論文的方法「LLM 引導的設定搜尋」:調整階段請雲端的前沿模型提出修改建議,每改一次就跑測試,沒有退步才採用;調好的整套設定,之後完全在本機執行。
雲端用在設計階段,本機負責每天的使用。
——Hazy Research〈From Minions to OpenJarvis〉回顧文的核心結論(本文意譯)
看懂這個數據
「API 成本約降到 1/800、延遲約降到 1/4」說的是每次使用時的邊際成本與速度。調整階段仍然要呼叫雲端的前沿模型,而且論文摘要只點名了 8 項測試中的 2 項,完整數字要看論文正文。
05能拿來做什麼:七種現成設定,一行指令開始
OpenJarvis 內建 8 種代理,並把常見用途包成「預設組合」,一個組合就包含需要的代理、引擎和工具。
| 預設組合 | 用途 | 執行方式 |
|---|---|---|
| morning-digest 有 mac、linux、minimal 三種 | 從信件、行事曆和新聞產生每日晨間簡報,可以用語音播放 | 排程 |
| deep-research | 在你建立索引的文件裡做多步驟研究,回答附上出處 | 隨時 |
| code-assistant | 能執行程式、讀寫檔案和使用終端機的程式助理 | 隨時 |
| scheduled-monitor | 有記憶、定時執行的追蹤代理,例如每天檢查某個資料 | 排程 |
| chat-simple | 最單純的聊天,預設就是這個 | 隨時 |
資料:OpenJarvis GitHub README 與 Ollama 部落格(2026 年 5 月)。
介面有三種:終端機指令、瀏覽器儀表板,以及支援 macOS、Linux、Windows 的桌面 App(在 GitHub Releases 下載)。也能接上 iMessage、Telegram、WhatsApp 等通訊軟體,官方說超過 26 種。
安裝與第一次使用
官方安裝腳本會一起裝好 uv、Python 環境、Ollama 和一個入門模型,寬頻網路約 3 分鐘。macOS、Linux 或 Windows 的 WSL2 用這行:
Windows 不用 WSL2 的話,在 PowerShell 執行:
裝好之後,先檢查環境,再直接開始聊天:
想讓它讀你的文件、回答時附出處,就換成 deep-research 組合,先替資料夾建立索引再提問:
實測結果
2026 年 11 月在雲端 Linux 環境用 pip install openjarvis 裝了 1.0.4 版:jarvis、jarvis doctor 都能執行,但加上 --preset 時顯示找不到設定檔。想用預設組合,建議走上面的官方安裝腳本或桌面 App。另外 --force 會直接覆蓋原本的設定檔,已經自己改過設定的話要先備份。
要記得
官方沒有寫最低記憶體或顯示卡需求;安裝程式會先下載入門模型,較大的模型在背景下載。模型越大越吃硬體,先用入門模型試,再依電腦等級往上換。
但,本機 AI 還不是萬能
OpenJarvis 團隊自己也很坦白,把它稱為「第一步」。讀這類研究時,下面四件事值得一起記住:
複雜任務仍是雲端強
團隊的回顧文指出,聊天和簡單查找在本機已接近飽和,但需要多步推理、操作瀏覽器、寫程式的任務,目前還是雲端模型表現較好。
88.7% 只算單輪問題
這個數字來自一問一答的聊天與推理題,不能直接套用到要來回很多步的代理工作。
硬體效率仍有落差
同一個問題,本機加速器的效率仍落後雲端約 1.4 到 7.4 倍;混合分流省下的成本,前提是大部分問題夠簡單。
論文還是預印本
論文 2026 年 5 月上傳 arXiv,尚未經同行審查;摘要只點名 8 項測試中的 2 項,官方也沒公布硬體需求。
我們可以怎麼開始
不需要先買新電腦。從「哪些資料你不想交給雲端」想起,再用一個小實驗驗證,是最實際的順序。
先盤點
列出不適合上雲的資料:客戶名單、學生成績、內部會議紀錄、合約。
小規模試
在一台電腦裝起來,只用一個資料夾和一個預設組合,例如 deep-research。
量一量
用 jarvis bench 看速度和耗電,再和你現在用的雲端服務比較答案品質。
學生
把它當成理解 AI 系統的教材:模型、引擎、代理、工具各是什麼,比只會下提示詞更有長遠價值。
老師
可以在不上傳學生資料的前提下,用本機 AI 整理教學檔案;也能拿五個積木當成 AI 素養課的架構圖。
企業主管
先挑一個資料敏感、但問題單純的流程試做,例如內部文件問答,把資安與 API 成本一起算進評估。
本文重點
- OpenJarvis 是史丹佛開發的開源框架,目標是讓個人 AI 代理預設在自己的裝置上執行。
- 它把系統拆成模型、推論引擎、代理、工具與記憶、學習五個積木,每塊都能單獨更換和量測。
- 本機小模型已能答好約 88.7% 的單輪日常問題,但直接替換雲端模型會掉 25–39 個百分點。
- 關鍵是「雲端設計、本機執行」:整套設定一起調整後,8 項測試有 4 項追平雲端。
- 多步推理、操作瀏覽器和寫程式仍是雲端較強,導入前先從資料敏感、問題單純的流程試起。
想一想
你每天交給 AI 的工作裡,哪些其實不需要最強的雲端模型?如果那些工作改在本機完成,你最在意的是隱私、成本,還是速度?
資料來源
- Stanford Scaling Intelligence Lab(2026 年 3 月 12 日)。OpenJarvis: Personal AI, On Personal Devices
- Saad-Falcon 等(arXiv,2026 年 5 月 16 日)。OpenJarvis: Personal AI, On Personal Devices(論文)
- Saad-Falcon 等(arXiv,2025 年 11 月)。Intelligence per Watt: Measuring Intelligence Efficiency of Local AI
- Hazy Research(2026 年 5 月 15 日)。From Minions to OpenJarvis: A Retrospective on Two Years in Local AI
- Ollama(2026 年 5 月 28 日)。OpenJarvis: a local-first personal AI is now available to run with Ollama
- OpenJarvis GitHub。README 與安裝說明
- PyPI(2026 年 9 月 18 日)。openjarvis 1.0.4
本文封面為 AI 生成的示意圖,內文圖解依官方資料繪製;指令名稱與參數於 2026 年 11 月以 1.0.4 版確認。
Edit with Tr.Bug
Follow me on:LinkedIn | 探教育TempEDU

