AI 實戰教學 / 2026 年 11 月
你的工作很常需要把資料登入網站嗎?例如:替公司把員工訓練課程登錄到政府補助系統,上完課再對照紙本簽到表,回報哪些學員有出席。
一堂課要填日期、時間、地點、講師、學員;如果要幫十家公司處理,每家又有好幾堂課,同樣的點擊一個月就要重複上百次。最累的不是難,而是一直重複、又不能填錯。
這篇用一個假設情境,說明這類工作可以怎麼交給程式、用到哪些技術,以及怎麼請 AI 一起規劃、開發、測試,最後做成同事點兩下就能用的 Windows 小工具。
30 秒看重點
一張 Excel
同事只填日期、時間、時數,其他欄位自動沿用上一場。
Playwright
程式自己開瀏覽器,代替人點按鈕、填表格、下載檔案。
兩道關卡給人
驗證碼由人輸入,最後的確認鍵由人按。
AI 初判
AI 先看紙本簽到表標出席,人再逐一覆核。
點兩下就能用
install.bat 裝好環境,桌面捷徑開啟本機介面。
本文以假設情境說明,網站與欄位皆為通用描述。
01假設情境:一份每月重複上百次的工作
假設小美在顧問公司當行政,負責替 10 家客戶處理員工訓練補助。每家客戶用自己的帳號登入同一個申報網站,她每個月固定要做三件事:
| 工作 | 手動要做什麼 | 交給小幫手之後 |
|---|---|---|
| 課程登錄 上課前 | 逐場填日期、時間、地址、講師,再一個個勾選學員 | 填一張 Excel 排程表,程式依序填好、暫存,停在確認前 |
| 出席回報 上課後 | 對照紙本簽到表,逐一勾出席、刪除缺席者、補上臨時加入的人 | AI 先標出席,人在左右對照的畫面覆核,程式完成回報 |
| 狀態檢查與歸檔 隨時 | 每家登入一次,查哪些場次還沒登錄、還沒回報,下載表單存進資料夾 | 一鍵掃描所有帳號,產生待辦報表,PDF 依規則命名歸檔 |
※ 假設情境。實際欄位與規則依各網站而定。
為什麼不是買現成軟體
這類網站多半是政府或產業專用系統,沒有公開的 API(程式串接介面),也沒有人替它做現成工具,能用的只有網頁畫面本身。這正是「瀏覽器自動化」最適合的場景:讓程式像人一樣操作畫面。
02整體架構:五個零件組成一個小幫手
先看全貌。同事在自己電腦的瀏覽器裡操作一個本機介面,背後的 Python 主程式讀 Excel、指揮 Playwright 去操作目標網站;需要看紙本簽到表時,再請 AI 幫忙初判。
一次批次作業,實際的流程是這樣:
填 Excel
同事下載範本,一列一場課,大部分欄位可以留空沿用上一場。
先檢核
程式先檢查必填欄位、日期期限、時數範圍,不合格的列直接標出、不執行。
登入
程式開瀏覽器帶入帳號,停下來等人輸入驗證碼。
自動填表
照 Excel 逐場填寫、暫存,停在最後的確認鍵前。
產生報告
附上「填了什麼」的對照表、截圖與待辦清單,人核對後再按確認。
03用到的技術:每一樣都免費、成熟
這個小幫手沒有用到昂貴或冷門的工具,大部分是 Python 生態系裡最常見的套件。每一樣負責一件事:
| 技術 | 負責什麼 | 為什麼選它 |
|---|---|---|
| Python 3.12 主程式語言 | 串起所有流程 | 處理 Excel、PDF、圖片都有現成套件 |
| Playwright 瀏覽器自動化 | 開瀏覽器、點擊、填表、下載 | 會自動等元素出現,比錄製巨集穩定 |
| Flask+HTML/JavaScript 本機介面 | 在自己電腦上開一個操作網頁 | 同事用熟悉的瀏覽器操作,不用學新軟體 |
| openpyxl Excel 處理 | 產生範本、讀批次資料、匯出報表 | 可加註解、下拉選單和標色,範本本身就是說明書 |
| pypdfium2+Pillow PDF 與圖片 | 把簽到表 PDF、照片轉成圖片 | 給人看,也給 AI 看 |
| Claude API 看圖判讀 | 初判紙本簽到表的出席狀況 | 能讀照片,並照規定輸出固定格式的 JSON |
| keyring 密碼保管 | 把密碼、API 金鑰存進 Windows 認證管理員 | 密碼不寫進檔案,不會跟著資料夾外流 |
| install.bat/run.bat 安裝與啟動 | 一鍵安裝環境、啟動程式、建桌面捷徑 | 同事不用打任何指令 |
※ 版本與套件為本文情境的選擇,查詢日期 2026 年 11 月。
為什麼做成本機網頁,而不是放上雲端
客戶資料、簽到表都含個資,放在公司電腦或 NAS 上比較單純;本機網頁只在自己電腦開啟(網址是 127.0.0.1),介面又和一般網頁一樣好用。唯一會送出去的,是交給 AI 判讀的簽到表圖片,這一點要先取得同意(見文末限制)。
安裝環境
想自己試試看,裝好 Python 之後,在命令提示字元執行下面兩行,就有本文用到的全部套件和瀏覽器:
範例程式:開瀏覽器、帶入帳號、等人登入
這是整個小幫手最核心的一段:程式負責帶入帳號,驗證碼留給人輸入,登入成功才往下做。網址和欄位名稱請換成你的網站。
讓程式變穩的四個小技巧
等網頁真的閒下來
網站常在背景載入資料,要等「沒有進行中的請求」持續一小段時間再動作。
用網頁自己的元件操作
表格、下拉選單若是套件做的,直接呼叫元件本身,比點座標可靠。
動作放慢一點
每個動作間隔約 0.1 秒,模擬人的速度,也讓網站來得及反應。
閒置自動延長登入
很多系統閒置一段時間會登出,程式定時幫你按「延長」。
04人機分工:程式做重複,人做判斷
自動化最常見的失敗,不是程式寫不出來,而是把不該交出去的決定也交給了程式。這個小幫手一開始就把四件事劃清楚:
驗證碼:人輸入
程式帶入帳號後停下來等人登入,不嘗試破解驗證碼;很多系統失敗幾次就會鎖帳號,更不能亂試。
確認鍵:人按
程式填完、暫存後停在確認前,附上對照表。設定裡保留「自動確認」開關,流程穩定後再考慮打開。
出席:AI 初判、人覆核
AI 看不清楚就標「不確定」,不准猜。覆核畫面左邊是簽到表、右邊是名單,人按按鈕定案。
紀錄:每次都留報告
誰在什麼時候確認、填了哪些欄位、截圖與檔案存在哪裡,出問題可以回頭查。
讓程式做重複的事,讓人做需要負責的決定。
AI 初判時,程式會把簽到表轉成圖片,連同下面這段提示詞與學員名單一起送給 Claude。重點是要求它看不清楚就說不確定,並且只輸出固定格式,程式才能直接讀進覆核畫面:
為什麼 AI 只能初判
Claude 的官方文件提醒,圖片畫質差、歪斜或太小時可能判讀錯誤,需要高度精準的工作不應該在沒有人覆核的情況下交給它。簽到表常是手機翻拍、簽名潦草,人工覆核這一步省不得。
05用 AI 開發的流程:七個步驟
這個小幫手從規劃、寫程式到測試,大部分由 AI 完成;人的角色是提供資料、回答決策、把關測試。整個過程可以分成七步:
準備資料
把操作手冊、流程說明、幾份範例檔放在同一個資料夾,個資先遮蔽。
先要計畫與問題
請 AI 讀完資料後回報理解、提出計畫,列出要你決定的事。
人登入,AI 探勘
由人自己登入,AI 只讀取每一頁的欄位與按鈕,不按任何會改資料的鍵。
回答關鍵決策
確認鍵要不要自動按、要操作幾個帳號、資料放哪、簽到表要不要給 AI 看。
一次做出完整第一版
需求清楚後,請 AI 直接做出含介面、範本、報告的完整版本。
小範圍實測
挑一筆測試資料實際寫入,停在確認前,檢查暫存內容再決定刪除或完成。
安裝給同事、依回饋改版
到同事電腦實際安裝、試用,收集意見後小步更新版本。
步驟 2:先要計畫,不要直接要程式
第一個提示詞刻意叫 AI「先不要寫程式」。實際這樣做時,AI 讀完資料就指出評估文件裡前後矛盾的地方(結論和表格寫的不一樣),在動手前就把需求釐清。
步驟 3:人登入,AI 只讀不寫
正式系統通常沒有測試環境,按錯一個鍵就是真的資料。所以登入由人來,AI 探勘時只讀不寫,把每一頁整理成「元素對照表」,之後寫程式就照著這張表走。
步驟 5:一次做出完整第一版
計畫和對照表都確定後,就可以把規格一次交代清楚。把前面「人機分工」的原則寫進需求裡,AI 做出來的工具就會照這個邊界運作。
實際踩過的坑
第一次在同事電腦安裝時,畫面卡在「安裝套件」好幾分鐘沒有動靜。原因推測是電腦上的 Python 版本太新,部分套件沒有現成的安裝檔。後來安裝程式改成會顯示下載進度、把容易出問題的套件改成選裝,並建議使用 Python 3.12。正式交給同事前,一定要在他的電腦上實際裝一次。
第一版上線後,同事很快提出兩個需求:資料比對異常的場次要用紅色標出來、狀態報表要能一鍵匯出 Excel。這種小改動,只要描述清楚「在哪個畫面、想看到什麼」,AI 就能在原本的程式上更新,並記錄在使用說明的版本紀錄裡。
開始之前,先確認這四件事
網站使用規範
有些網站禁止自動化存取。先看使用條款,必要時詢問網站管理單位;動作放慢,不要大量、快速地送出請求。
不碰驗證碼
驗證碼就是用來確認是人在操作,不要嘗試破解或繞過,登入一律由人完成。
個資與 AI
簽到表有姓名與簽名,交給 AI 判讀前要取得當事人或客戶同意、確認 API 的資料政策;用不到的欄位先遮蔽。
網站會改版
畫面一改,程式就可能失效。保留元素對照表與報告截圖,改版時請 AI 對照修正。
從你的工作開始:三個步驟
盤點
列出每個月重複最多次的網站操作,寫下每一步要填什麼、資料從哪來。
備料
整理操作手冊、截圖和兩三份範例檔,個資先遮蔽。
交辦
用上面的提示詞 1,請 AI 先提計畫與問題,再一起決定哪些交給程式。
自動化不必一次到位。先從「狀態檢查」這種只讀不寫的工作開始,最安全,也最快看到效果;等大家信任它了,再往填表、回報延伸。
延伸學習
想自己動手做工作小工具,可以從這幾門課開始:
本文重點
- 沒有 API 的網站,可以用 Playwright 讓程式像人一樣操作畫面。
- 用一張 Excel 當批次輸入,先檢核規則再執行,錯誤在送出前就擋下來。
- 驗證碼、確認鍵、出席判定留給人;AI 只做初判,看不清楚就標不確定。
- 請 AI 開發時,先要計畫與問題,再讓它在人登入後只讀不寫地探勘網站。
- 正式交付前,到同事電腦實際安裝一次,並依使用回饋小步改版。
想一想
你的工作裡,哪一項網站操作最適合先自動化?在那個流程裡,哪一步一定要留給人來決定?
資料來源
- Playwright(查詢日期 2026 年 11 月)。Installation | Playwright Python
- Anthropic(查詢日期 2026 年 11 月)。Vision|Claude 官方文件
- PyPI(查詢日期 2026 年 11 月)。keyring · PyPI
本文情境為假設情境;示意圖以程式繪製。
Edit with Tr.Bug
Follow me on:LinkedIn | 探教育TempEDU

