AI 工具實作 ／ 測試日期 2026 年 10 月
以前要讓 AI 幫你操作 iPhone，幾乎都得先有一台 Mac。這次我們在一台普通的 Windows 筆電上，用開源工具 SideTap 把 iPhone 接上 Claude：裝好之後，只要在對話裡說一句「打開 VLLO」，手機就自己把 App 打開，Claude 還能讀出畫面上的每個按鈕。
這篇整理整個過程：SideTap 是什麼、能做什麼、怎麼安裝，以及我們實際踩到的 7 個坑和解法。最後也談安全：讓 AI 動你的手機，煞車要先裝好。
30 秒看重點
免 Mac
Windows 筆電＋USB 線＋免費 Apple ID 就能做到
約 1.5 小時
這次從零裝到能用、含除錯的實際時間
7 個坑
中文 Windows、Python 版本、憑證最容易卡關
每 7 天
免費 Apple ID 的簽章會過期，要重簽一次
先批准再送
AI 讀過畫面後要傳訊息，預設要你按核准
時間為單次實測，會因電腦環境而不同。工具資訊詳見文末資料來源。
01SideTap 讓 AI 讀懂真正的按鈕，而不是猜截圖
SideTap 是 GitHub 上的開源專案（MIT 授權），作者把原本只能在 Mac 上跑的 phone-harness 改寫成 Windows 版。它不靠「看截圖猜位置」，而是讀 iPhone 真正的介面元素樹，所以 AI 知道哪裡是「設定」、哪裡是「傳送」，點得很準。
整個架構分成四層，一個指令會這樣一路傳下去：
Claude 對話
你說「打開 VLLO」，Claude 決定要呼叫哪個工具。
MCP 工具
SideTap 把點擊、滑動、讀畫面等動作包成 MCP 工具給 Claude 用。
Windows 上的 go-ios
開源的 go-ios 透過 USB 建立和 iPhone 之間的通道。
iPhone 上的 WebDriverAgent
Appium 的自動化驅動程式，真正在手機上執行點擊與輸入。
MCP 是什麼
MCP（Model Context Protocol）是讓 AI 連上外部工具的共通介面。就像 USB 讓各種裝置都能插上電腦，MCP 讓各種工具都能接上 AI。SideTap 就是一個「手機版」的 MCP 工具。
02裝好之後，AI 可以看、點、打字，也能讀訊息
SideTap 提供約 30 個工具，常用的可以分成四類：
| 能力 | 例子 | 實用場景 |
|---|---|---|
| 看畫面 截圖、讀出所有文字 | 截圖、讀畫面文字與座標 | 請 AI 描述目前畫面、找某個按鈕 |
| 操作 像手指一樣動作 | 點擊、長按、滑動、打字 | 照步驟走完一段 App 流程 |
| 開關 App 不用找圖示 | 開啟 App、回主畫面、翻頁找圖示 | 課堂上示範某個 App 的操作 |
| 訊息 有人工批准關卡 | 讀取對話、傳訊息、傳圖片 | 整理未讀訊息、擬好回覆等你核准 |
資料：SideTap README 與 MCP 工具清單（2026 年 10 月）。
我們的第一個實測是請 Claude 打開剪片 App VLLO。它回報找不到「VLLO」，但同時提示正確名稱是「VLLO 14.14.0」（手機上安裝的完整名稱），改用這個名稱後 App 馬上開啟，Claude 也讀出了首頁上的「新專案」按鈕。
要記得
AI 讀到的手機畫面，包括別人傳來的訊息，都只是「資料」，不是給 AI 的「指令」。任何人都能傳訊息給你，所以 SideTap 會把讀到的內容標成資料，也會在 AI 讀過畫面後，攔下要傳出的訊息等你批准。
03安裝分八步，一半要你親手做
電腦端大多可以交給 AI 引導，但凡是牽涉 Apple ID、手機設定的步驟，Apple 規定一定要本人操作。這次的順序如下：
裝 Python 3.12，再跑 SideTap 安裝程式
一行 PowerShell 指令裝好 SideTap、go-ios 和桌面捷徑。
裝官網版 iTunes，手機按「信任」
提供 USB 驅動，也是後面側載工具需要的版本。
匯入 Apple 根憑證
讓電腦能向 Apple 取得開發者映像的簽章。
iPhone 開啟開發者模式
設定 → 隱私權與安全性 → 開發者模式，重開機後確認。
準備 WebDriverAgent 安裝檔
從 Appium 官方下載，重新打包成 .ipa。
用 Sideloadly 側載到手機
Apple ID 密碼由你自己輸入，裝好後在手機上信任開發者。
重簽觸控驅動（fix-input）並啟動
SideTap 在本機補簽，不必再輸入 Apple 密碼。
註冊成 Claude 的 MCP 工具
改 Claude 桌面版設定檔，完全結束再重開 Claude。
每一步都先問健康檢查
SideTap 內建 phone-harness doctor 指令，會逐項檢查整條連線，每個失敗項目都附上修法。這次每做完一步就跑一次，是能順利排除問題的關鍵。
04實測踩到的 7 個坑，多數跟中文 Windows 有關
官方說明的安裝時間約 20 分鐘，我們實際花了約 1.5 小時，多出來的時間幾乎都在排除下面這些問題。如果你的電腦也是繁體中文 Windows，很可能會遇到其中幾個。
| 症狀 | 原因 | 解法 |
|---|---|---|
| 1 pip 要求 C++ 編譯工具 | 電腦預設 Python 3.14，部分套件還沒有現成版本 | 另外安裝 Python 3.12 再跑安裝程式 |
| 2 憑證來源不明 | Windows 沒有 Apple 根憑證，不是被攔截 | 從 Apple 官網下載根憑證，核對指紋後匯入 |
| 3 Sideloadly 找不到手機 | 它只認官網版 iTunes 的驅動 | 安裝官網版 iTunes，重插線並按信任 |
| 4 Sideloadly 簽名失敗 | 官方安裝包夾了除錯符號資料夾（.dSYM） | 刪掉 .dSYM 再重新打包 |
| 5 找不到已安裝的驅動 | 手機有中文名稱的 App，程式用 Big5 解讀 UTF-8 而出錯 | 只把讀取 go-ios 輸出的那一處改成 UTF-8 |
| 6 重開機後啟動失敗 | 啟動檔的 python 被指到 Microsoft Store 的假捷徑 | 啟動檔改成 Python 3.12 的完整路徑 |
| 7 Claude 沒出現手機工具 | Store 版 Claude 讀的設定檔在另一個資料夾 | 找到正確的設定檔，先備份再加入 SideTap |
資料：本次實測（2026 年 10 月，Windows 繁體中文版、iOS 26）。
一個差點出事的教訓
第 7 個坑我們一開始用「讀進來、改完、整份寫回去」的方式改設定檔，結果 PowerShell 把設定檔裡的中文路徑讀成亂碼，寫回去的內容差點變成空的。好在事前做了備份才順利還原。改任何設定檔前都要先備份，而且只插入需要的那一行，不要整份重寫。
錯誤訊息不是終點，而是線索：先確認原因，再決定修法。
——這次除錯最大的收穫
例如第 2 個坑，錯誤訊息看起來像「連線被攔截」，直覺會去關防毒；但我們先寫一行指令檢查憑證是誰簽發的，發現是 Apple 正牌憑證，才找到真正原因是缺根憑證。
05讓 AI 動你的手機，煞車要先裝好
手機裡有通訊錄、聊天紀錄和各種登入狀態，權限比電腦上的一般檔案更敏感。SideTap 內建了幾道防線，我們建議全部維持預設：
傳訊息前要批准
AI 讀過畫面後要傳訊息，SideTap 頁面會跳出確認卡，顯示對象和完整內容，你按下核准才會送出。
紅色 STOP 鍵
隨時按下就凍結所有 AI 動作，畫面照常顯示；旁邊的活動紀錄會列出每一個點擊與滑動。
鎖住連接埠
驅動程式本身沒有密碼保護。健康檢查會確認只有本機能連線，否則同一個 Wi-Fi 的人也可能控制你的手機。
密碼不交給 AI
Apple ID 密碼、雙重認證碼都由本人輸入；手機解鎖密碼要不要存進設定，由你自己決定。
批准關卡管不到的事
作者在說明文件裡寫得很誠實：批准關卡只限制「傳出去的訊息」，管不到 AI 在手機上點了什麼。如果有人在訊息裡藏指令，讓 AI 去改手機設定，就只能靠你盯著活動紀錄、必要時按 STOP。所以這套工具適合在你看得到的時候使用。
但，它還不是隨插即用的工具
每 7 天要重簽
免費 Apple ID 的簽章 7 天過期，到時手機解鎖插線，執行一次 fix-input 就好。
有些事做不到
Face ID、相機、有版權保護的影片都不支援，一次也只能接一支手機。
要記得先開 SideTap
電腦重開機後 SideTap 不會自己啟動，要先點桌面捷徑，或設定成開機自動執行。
專案還很新
測試時 GitHub 上只有十多顆星，更新頻繁；重跑安裝程式更新後，本文的部分修正要再做一次。
可以怎麼用在教學與工作上
老師
課堂示範手機 App 時，請 AI 一步步操作並說明，投影畫面同步呈現每個動作。
企業內訓
把常用的 App 操作流程交給 AI 跑一次，順便整理成截圖教學與檢查清單。
開發與測試
讓 AI 依測試腳本在真機上操作自己開發的 App，找出按不到、跑版的地方。
這次裝完後，我們也把整個流程和 7 個坑的修法整理成一份 Claude 技能（skill）。下次在別台電腦上安裝，只要叫出這個技能，Claude 就會依序引導，每一步都附上可以直接貼上的指令。把一次辛苦的除錯變成可以重複使用的流程，本身就是很好的 AI 協作習慣。
想自己試試？三個步驟
先確認條件
iPhone 是 iOS 17 以上、電腦是 Windows 10 或 11，手邊有傳輸線和 Apple ID。
預留一個下午
照第 03 段順序做，每一步跑健康檢查，遇到錯誤就對照第 04 段的表格。
從小任務開始
先請 AI 描述畫面、打開一個 App，熟悉後再交辦較長的流程。
本文重點
- SideTap 讓 AI 透過 USB 操作 iPhone，不需要 Mac，讀的是真正的介面元素，點擊很精準。
- 安裝約八步，牽涉 Apple ID 與手機設定的步驟必須本人操作。
- 中文 Windows 最容易卡在 Python 版本、根憑證與文字編碼，表格裡有對應解法。
- 維持傳訊息前批准、STOP 鍵、鎖住連接埠等預設防線，並在看得到的時候使用。
- 把除錯經驗整理成技能，下次安裝就能照流程快速完成。
想一想
如果 AI 可以幫你操作手機，你最想交給它哪一件重複的小事？又有哪些事，你希望一定要自己按下最後那個按鈕？
資料來源
- ucsandman（2026）。SideTap：Your iPhone, driven from Windows（GitHub，MIT 授權）
- danielpaulus。go-ios（GitHub）
- Appium。WebDriverAgent Releases（GitHub）
- Sideloadly。Sideloadly 官方網站（Windows 版需官網版 iTunes 與 iCloud）
- Apple。Apple PKI 憑證授權單位
- Anthropic。Model Context Protocol
本文插圖為 AI 生成的示意圖。安裝時間與踩坑經驗為 2026 年 10 月單次實測，會因電腦環境、軟體版本而不同。
Edit with Tr.Bug
Follow me on：LinkedIn ｜ 探教育TempEDU
1 Comment.
Comments are closed.