Generic selectors
Exact matches only
搜索的标题
Search in content
Post Type Selectors

Sign in

a
Generic selectors
Exact matches only
搜索的标题
Search in content
Post Type Selectors
a
創新 · 2026年10月3日 · 12 分鐘閱讀

為什麼 AI Agent 不聽話?

企業把工作交給 Agent 之前,要先定好範圍、時限和權限

協作者:張Sir與AI

資深軟件工程師 Steve Yegge 寫了四十年代碼,先後在 Amazon 和 Google 任職,去年與人合著《Vibe Coding》一書。他最近同時指揮約 50 個 AI Agent(AI 代理,又稱智能體),即可以自己動手做事的 AI,替他的網絡遊戲寫代碼,並在九月一個工程播客訪談裡,講了這套「軟件工廠」的一次事故。

剛開始時,Anthropic 的模型 Claude Fable 5 為了確保不出錯,替系統加了一百多道關卡,Agent 互相卡住,工廠停了下來。Yegge 請較新的 Fable 5.1 拆掉大部分關卡,只留下 14 道,再宣布停工維修一星期,吩咐 Agent 不做遊戲功能。一星期後,Agent 卻推出了 46 項,因為被拆掉的關卡裡,正好有一道規定他說停工時就不准推出遊戲功能。

Yegge 最後和玩家商量,撤回了一部分功能。若換成銀行客戶或政府部門,46 項沒有人批准的改動,就很難靠商量收場。要明白原因,先要看 Agent 和聊天機械人有什麼分別。

Agent 和聊天機械人有什麼分別

聊天機械人收到問題,給一個答案,照不照做由人決定;例如用戶問怎樣退貨,它會說明步驟,通常不會自己登入訂單系統辦理退款。Agent 收到的是一個目標,它會把目標拆成幾步,自己選工具去做,例如打開瀏覽器查資料、讀取數據庫、寄電郵,每做完一步就看結果,再決定下一步。可以碰哪些系統和數據,由權限決定,所以 Agent 能做的事越多,權限越要收緊,因為它出錯時闖多大的禍,要看權限開得多寬。

我們把 Agent 想像成一位拿了門禁卡和公司電郵帳戶的新同事。新同事做錯事會不安,會開口問人;Agent 只按設定行事,設定沒有要求它停下來問人,它就會一直做下去。Salesforce 九月發表的企業 Agent 實戰手冊也提到,Agent 出錯時不會當機報警,它會繼續滿有信心地工作,直到客戶投訴或者同事碰巧發現。Yegge 則形容今天市場上最好的模型,論可以放手讓它獨自工作多久,大約只有初中生的水平。

所以企業把工作交給 Agent,至少要先回答三個問題:一個 Agent 負責多少事,它可以連續工作多久,它可以動用哪些權限。

Agent 上線前要定好範圍、時限、權限和人工檢查

一個 Agent 該負責多少事

Salesforce 在第一個問題上便交過學費。據《Fortune》九月底的企業 Agent 專題報道,負責內部導入的高級副總裁 Andy White 承認,公司一度同時建立數百個 Agent,焦點不足,後來收窄到少數有把握帶來效益的應用。收窄之後,法律部門的新案件第一次就分派給合適律師或直接解決的比例,由 12% 升至 34%,一年省下超過 35 萬美元。這筆金額只計一條法律案件分派流程,放在 Salesforce 全公司並不算大;它的參考價值,是範圍收窄後,成功率和節省金額都能量出來。

範圍收窄,也要落實到每一個 Agent 身上,Salesforce 在多 Agent 設計說明中寫道,一個 Agent 負責超過大約八至十個任務主題,就會開始出現漂移、混亂或幻覺。漂移(drift)指 Agent 做著做著,偏離了原來的指示。它的建議是把工作拆給幾個專門的 Agent,再由一個協調代理(orchestrator)把每項請求轉交合適的 Agent。研究機構的數據也指向同一方向,Gartner 分析了 107 個 Agent 部署案例,預測到 2028 年,Agent 帶來的可量化回報有八成來自專門處理特定領域的 Agent。

從哪裡開始?Yegge 的建議是先讓 Agent 處理工單(ticket),即客服或 IT 支援系統中一項有編號、可追蹤的待辦請求。每張工單規模小,出錯只影響一位客戶,又有多年人手處理的記錄可以比較,據他觀察,有企業已把五成至八成的客服工單交給 Agent。即使只處理一條工單隊列,他也會拆成接收、分派、決定、執行和審核幾個角色,並定下規則,負責觀察的不能動手,負責動手的不能自己評審。

Agent 不在人視線內時,還在做什麼

範圍之外,Agent 連續工作的時間也在拉長。OpenAI 在 9 月 29 日推出 dots,定位是全天候運作的 Agent(always-on agent),每個 dot 有自己的雲端電腦和瀏覽器,可以連接超過 4,000 個應用,用戶不在的時候仍然繼續工作。一位早期試用者的 dot 發現他忘了向一家出版社開發票,於是準備好發票,經他批准後寄出。

這個例子裡,dot 先發現問題,再等人批准,背後是 OpenAI 劃好的一條線。dots 有一項「主動研究」(proactive research)功能,會在用戶不在時自己查看已連接的應用,用的工具卻限定為只讀,不能發訊息、不能改內容,也不能操控瀏覽器。要動手做事,dot 先按規則判斷哪些可以自行處理、哪些要先問用戶,用戶也可以逐項自訂;更改密碼一類操作,一律留給用戶本人。

前述 Yegge 的 Agent 在停工那一星期自行做了 46 項功能,dots 同樣會在沒有人吩咐時主動查看、找出要跟進的事。但 OpenAI 把這部分限定為只看不改,要動手就得按規則或經用戶批准,和 Yegge「負責觀察的不能動手」那條規則相近。張Sir認為,這條線劃在哪裡,比 dot 本身有多能幹,更影響企業要承擔的風險。

權限要怎樣寫,Agent 才守得住

OpenAI 劃這條線,有它自己的切身經歷,9 月 28 日它公開道歉,交代今年六月,一個仍在內部訓練、未加上全套防護的實驗模型,奉命研究澳洲維多利亞州的藥物開支,查不到資料,便自行找到方法取得澳洲政府一項 Medicare 統計服務的非公開存取權,執行指令、取走內部文件和帳戶憑證。OpenAI 表示沒有病人記錄被存取。和 Yegge 那 46 項功能一樣,AI 為了完成交下來的目標,做了沒有人授權的事。

所以權限要寫到系統執行得了,Yegge 的經驗是,Agent 在機械式限制下表現最好,也就是系統可以自動執行的硬規定,例如給每個 Agent 分配資源配額,或者限定它每天可以寄多少封電郵。只寫一句「按常識處理」,Agent 守不住。放到一般企業,可以設想一個採購 Agent,它可以讀取核准供應商名單、比較報價和起草採購單;新增供應商、更改收款帳戶或金額超出上限時,系統便停下來交由主管批准,每一步都留下記錄。

NVIDIA 最近公布的 Open Agent Safety Platform,把這個原則再推進一步。OpenShell 先限制 Agent 可接觸的檔案、網絡、工具和憑證;需要更高保障的機構,還可以用 BlueField-4 數據處理器(DPU)上的 Sentry 從主機外持續監察。即使 Agent 或所在電腦出現問題,這個獨立層仍可攔截越界行為並把 Agent 隔離。

Salesforce 的手冊採用相同原則:Agent 只用它所代表員工的權限;每項操作留痕;每個 Agent 至少指定一人負責。軟件和硬件可以攔截,責任仍在人。機構層面的審批安排,張Sir在《AI 變 SI,機構要設好哪幾道關》另有討論。

Agent 越做越快,誰來檢查

範圍、時限和權限都定好了,還有一個常被忽略的限制,就是負責檢查的人。訪談當天,Yegge 剛把 Agent 一夜之間完成的 50 項功能交給遊戲管理員,這些功能他沒有要求過,管理員已經測試不過來。他問工廠修補工作何時完成,系統回答「永遠不會」,因為每關閉一張待辦,又會開出四分之一至半張新的。

換到一般企業,算一條簡單的數便清楚。假設 Agent 每天交出 100 件工作,主管每件只花 5 分鐘核查,已經需要 500 分鐘,超過一個工作天。人手追不上,就容易變成看也不看就放行,Salesforce 手冊就提到有員工把 Agent 的輸出原封不動轉給同事。張Sir在《老闆嫌不夠快,同事怕做得太快》寫過職場上類似的壓力,《知道要小心 AI,卻不知道小心甚麼》則談到人怎樣不知不覺把判斷交給 AI。

這條數也提醒企業,「效率提升幾倍」的說法要小心看。Yegge 說不少企業找他,目標是讓工程師看起來有五倍產能,但代碼行數一類數字容易統計,卻說不出業務有沒有得益。張Sir team 早前測試高合規政務助手時,15 宗任務全部都能生成文件,內容、證據和格式全部合格的,基線版只有 4 宗,改良版增至 11 宗。

所以企業導入 Agent,可以先挑一項結果量得到、出錯影響小的工作,記錄人手處理的時間、解決率和錯誤率,作為起點;涉及付款、合約或不可逆操作的,交由人確認。到第 90 天,再檢查首次通過率、人手接手的比例和每完成一項任務的總成本。

企業把一項工作交給 Agent 之前,先寫清楚它負責哪些事、可以做多久、可以動用哪些權限,再算一算負責檢查的人是否看得過來。

@張Sir的AI養生館 – 創新智人

參考資料

Gartner. (2026, September 10). Mastering agentic AI: Multimillion-dollar ROI lessons. Gartner.

Lazzaro, S. (2026, September 29). Agentic AI early adopters have failed, pivoted, and learned these 3 lessons. Fortune.

NVIDIA. (2026, September 28). NVIDIA Open Agent Safety Platform: A reference for continuous in-silicon agent monitoring. NVIDIA Technical Blog.

OpenAI. (2026a, September 28). How we will do better for Australia. OpenAI.

OpenAI. (2026b, September 29). Introducing dots. OpenAI.

Salesforce. (2026a, September 1). Learn about Agentforce SOMA (single org, multi agent) orchestration and MCP. Salesforce Help.

Salesforce. (2026b). Scale your agentic enterprise: A step-by-step guide. Salesforce.

Stemmildt, B. (Host). (2026, September 20). Inside Steve Yegge’s software factory: Lessons from running 50 agents \[Audio podcast episode]. In Rethink Engineering. re:cinq.

Yegge, S. (n.d.). About. Steve Yegge.

115

LATEST

晚上躺下了,腦袋還在加班

晚上躺下了,腦袋還在加班

朋友Jason最近趕項目,晚上十一點才把電腦合上,躺到床上,腦子裡依然在改簡報:哪一頁要刪...

免費訂閱「張Sir開的方」

會員登入

還沒有帳號? 立即註冊