當能力不斷擴張,人類如何保留停止、拒絕與修正的權利?
一台服務機器人端著一杯熱水,穿過養老機構的走廊。
它已經看見目的地,也規劃好路線。右側房門突然打開,一名老人扶著助行器慢慢走出來;走廊另一端,一個來探望家人的孩子追著球跑進路徑。
機器必須在不到一秒的時間裡重新判斷。
它可以停下、繞路、放低手臂,或在杯子即將滑落時選擇把水灑向哪個方向。每個選擇都涉及速度、重力、人體脆弱性與場景理解。
如果它只是一個聊天系統,錯誤可能是一句不可靠的文字;當它擁有身體,錯誤便帶著重量、溫度、力矩與距離。
這是具身智能把治理推向前台的原因。
一個能在世界裡行動的系統,不只需要「聰明」,還需要知道何時減速、何時停止、何時把決定交還給人。設計者、部署者與管理者也必須知道:哪些風險可以接受,哪些用途不應開放,事故發生時誰負責。
本書一路談到產業、感測、模型、泛化、多機協作、勞動、腦機介面與演化權,最後都會回到同一個詞:
分寸。
分寸不是模糊的中庸,也不是遇到新技術就要求它慢一點。
它是一種比例原則:能力愈大,驗證愈嚴;影響愈深,權利保障愈強;系統愈自主,責任鏈愈清楚;風險愈不可逆,人類保留的停止權就愈不能只是裝飾。
一、第一道分寸:不要把現況、趨勢與想像寫成同一件事
治理最早的失敗,經常不是事故,而是描述失真。
一家企業展示機器人在受控環境完成一次任務,市場便把它理解成可穩定部署;一個研究團隊在模擬中找到新形態,媒體便寫成機器已經能自我演化;腦機介面解碼少量運動意圖,也可能被誇大成用意念控制世界上任何設備。
誇張會帶來兩種傷害。
第一,它使資本、政策與公眾按照錯誤成熟度做決定。工廠以為產品已能取代人力,部署後才發現可靠性、維修與場景泛化仍不足。
第二,它讓真正的技術進展失去可信度。當過度承諾反覆落空,社會容易從狂熱轉向犬儒,連值得支持的研究也一起被懷疑。
因此,本書反覆區分三層:
- 已驗證事實:有公開來源、可重複條件或正式文件支持;
- 產業趨勢:方向已有多個信號,但時間、規模與結果仍不確定;
- 思想推演:用來提前檢驗倫理與治理,不應偽裝成預測。
這種區分不是寫作潔癖,而是治理的一部分。
企業應清楚說明展示是在模擬、受控測試還是真實部署;媒體應區分公司宣稱與獨立驗證;政府則不應用單一示範推導大規模政策。
面對快速更新的系統,誠實說出「目前不知道」往往比一個精確但虛假的答案更有價值。
二、第二道分寸:一台安全的機器,不等於一個安全的系統
機器人安全最容易被誤解成硬體合格。
只要馬達有限速、關節有扭矩限制、機身裝了急停按鈕,似乎就能宣告安全。
但真正的風險經常來自整合。
同一台機械臂在封閉護欄內可能安全,裝上鋒利工具後便產生新危險;在固定工位運作沒有問題,放到移動平台後,路徑、視野與碰撞能量都改變;模型更新一個版本,原本驗證過的行為也可能發生偏移。
2025 年發布的 ISO 10218-1 與 ISO 10218-2,正好反映這個差別。前者關注工業機器人本身的安全設計,後者則處理機器人被整合進應用與工作單元後,從設計、安裝、試運轉、操作、維修到除役的安全問題。
它們也清楚顯示現有標準的邊界:工業標準不涵蓋一般民眾可接近的服務機器人、醫療機器人或家庭產品。針對個人與商用服務機器人的 ISO 13482 新版,直到 2026 年仍處於最終草案階段,說明機器走出護欄、進入家庭與公共空間後,安全規則仍在追趕場景變化。
具身智能至少需要五層安全:
- 本質安全設計:限制速度、力道、溫度與可造成傷害的結構;
- 感知與預防:辨識人、障礙、跌倒、夾傷與異常狀態;
- 故障安全:感測器、網路或模型失效時,系統進入可預期的安全模式;
- 場景整合:工具、地面、人流、照明與工作流程共同納入風險評估;
- 持續監測:部署後記錄近失事件、事故與版本差異,重新驗證更新。
真正成熟的安全不是宣稱「永遠不會出錯」,而是讓錯誤不容易發生、發生時不擴大,並能被查明與修正。
三、停止權不能只是一顆紅色按鈕
工廠裡的急停按鈕是一種清楚的安全象徵。
但當機器進入家庭、醫院與公共空間,停止權會變得更複雜。
誰可以停止?
使用者、旁觀者、遠端管理員,還是只有原廠?
如果網路中斷,機器能不能在本地停止?如果管理平台被入侵,單一指令是否能同時控制大量設備?如果系統判斷人類的停止指令會降低任務成功率,它是否仍必須服從?
一個真正有效的停止機制,至少要滿足幾個條件:
- 在關鍵功能上不依賴雲端連線;
- 一般人能理解並在壓力下使用;
- 停止後機器不會因失去支撐而造成第二次傷害;
- 權限分級清楚,避免任何人都能惡意癱瘓設備;
- 系統更新不能偷偷改變停止行為;
- 停止事件留下日誌,可供調查而不任意侵犯隱私。
此外,「有人在迴路中」不一定代表真正的人類控制。
如果一名操作員同時監看數百台機器,只在事故前零點幾秒收到警報,他在形式上是人類監督,實際上卻沒有理解與介入能力。
有意義的人類控制需要足夠時間、資訊、權限與訓練。否則,「人最後按下確認」只是一種責任轉嫁。
四、身體資料與家庭空間,不能因為方便就成為免費原料
具身機器人要在家庭中工作,必須持續看見非常私密的世界。
它可能知道誰何時回家、哪個房間有人睡覺、藥物放在哪裡、老人如何行走、孩子何時哭泣,也可能記錄聲音、臉部、健康狀態與物品位置。
這些資料比一般網頁瀏覽紀錄更接近生活本身。
如果所有影像與動作都持續上傳雲端,家庭便可能變成一座全天候資料採集場。資料能改善模型,也可能被用於廣告、保險評估、員工監控、執法或其他使用者從未真正理解的目的。
分寸要求資料治理遵守幾個原則:
- 只收集完成任務所需的最少資料;
- 能在本地處理的敏感資訊,優先在本地處理;
- 清楚標示何時錄影、何時上傳、保存多久;
- 不因拒絕次要資料用途而剝奪基本功能;
- 允許使用者查看、刪除與移轉資料;
- 對兒童、病人與無法完整同意者提供更高保障;
- 模型訓練用途與即時服務用途分開取得授權。
當資料進一步涉及腦機介面,問題更敏感。
2025 年 UNESCO 通過第一個全球神經科技倫理標準,將心理隱私、人的自主性、知情同意,以及兒童與工作者保護列為核心。神經資料不只是另一種生物辨識;它可能揭露注意、反應與健康狀態,也可能被用來刺激或改變神經活動。
醫療用途能恢復能力,不代表雇主有權要求員工佩戴腦波設備監測專注;遊戲與消費裝置的同意,也不能被模糊成永久出售神經資料。
身體可以成為介面,卻不應因此變成沒有邊界的資料來源。
五、自主性不是讓機器自己決定,而是讓人仍能形成自己的決定
科技公司經常把「個人化」描述成更懂使用者。
家庭機器人知道你的習慣,推薦系統預測你的偏好,AI 助手替你安排日程、購物與回覆訊息。這些功能可以減少認知負擔。
但長期來看,方便也可能改變人的選擇方式。
如果系統總是先替人決定最可能的答案,人可能逐漸不再看見其他可能;如果照護機器人為了安全不斷限制老人活動,保護也可能變成剝奪自主;如果平台以「最佳效率」安排工人每一個動作,人的身體會被降格成機器流程中的可變零件。
因此,自主性的核心不是完全沒有技術介入,而是人仍保有:
- 理解系統如何影響選擇的能力;
- 拒絕或修改建議的權利;
- 在合理情況下使用非最佳化路徑的自由;
- 對重大決定要求人類重新審查;
- 不因拒絕自動化而受到不當懲罰。
OECD 的 AI 原則把人的自主、隱私、公平與有意義監督放在整個生命週期中,而不是只在產品上線前勾選一次。
真正的人本設計,不是系統經常說「由你決定」,而是使用者確實有能力理解、拒絕、離開與補救。
六、工作者應是部署的參與者,不是被實驗的環境
工廠引進機器人時,最熟悉現場風險的人往往是工作者。
他們知道哪一條走道在換班時特別擁擠,哪一批箱子容易滑落,哪個步驟雖然不在標準作業程序裡,卻是避免事故的必要經驗。
如果部署只由管理層、供應商與顧問決定,這些隱性知識容易被忽略。
更糟的情況是,機器人被用來蒐集每一名員工的速度、停頓與身體動作,最後變成績效監控工具。人被要求配合尚未成熟的系統,事故卻被歸咎於「沒有照流程操作」。
有分寸的勞動治理至少包含:
- 部署前讓工作者參與風險辨識與流程設計;
- 清楚說明收集哪些工作資料,以及不能用於哪些目的;
- 不把安全責任單方面轉嫁給第一線;
- 提供重新訓練的時間與收入保障;
- 公開自動化對職務、工時與薪資的影響;
- 讓生產力收益的一部分回到工作者;
- 保留對演算法評估的申訴與人類複核。
「人機協作」不能只表示人要配合機器的節奏。
它也應表示機器的設計、速度與部署方式,必須配合人的尊嚴與安全。
七、會學習的系統,需要版本、日誌與回滾能力
傳統機械設備的行為大致由固定程式與結構決定;學習系統可能因模型更新、資料變化與場景適應而改變。
這使治理不能只在出廠時完成一次。
一台機器人上週能安全抓取杯子,不代表更新視覺模型後仍然相同;多機系統中一個節點改變任務協議,也可能影響整體協作。若系統具有在線學習或自我調整能力,變化會更難被察覺。
因此,具身智能需要軟體工程、機械安全與 AI 風險管理共同工作。
至少應具備:
- 清楚的模型與軟體版本紀錄;
- 更新前的模擬、實景與邊界條件測試;
- 可重現事故當時狀態的事件日誌;
- 更新失敗時回到上一個安全版本的能力;
- 對重大功能變更重新取得核准;
- 獨立測試者能檢查,不只依賴開發商自我聲明;
- 對資料漂移、異常行為與近失事件持續監測。
NIST 的 AI 風險管理框架把工作分成治理、情境映射、衡量與管理四個持續功能,重點就在於風險管理不是一次性的清單,而是貫穿系統生命週期。
對會移動、碰觸與操作物體的 AI 而言,這種生命週期治理尤其重要。每一次模型升級,都可能等同於替同一具身體換上一種新的反應方式。
八、互操作愈強,系統性風險也愈需要被看見
前面章節曾把互操作比喻成巴別塔的反面。
不同機器能共享地圖、任務與狀態,可以提高效率與韌性。但同一套標準與平台也可能讓風險快速擴散。
如果大量機器依賴同一個雲端模型,一次錯誤更新可能同時影響數千台設備;如果所有工廠使用相同通訊協議,單一漏洞便有更大攻擊面;如果平台能遠端停用設備,商業爭議、戰爭或政治命令都可能讓基礎勞動突然中斷。
這與網路和金融系統相似:連接帶來規模,也帶來共同失效模式。
所以互操作治理不能只追求「接得上」,還要設計:
- 分區與權限隔離;
- 本地最低可用能力;
- 多供應商與替代方案;
- 加密、身分驗證與安全更新;
- 對關鍵功能的離線模式;
- 大規模停機與攻擊的演練;
- 跨廠商事故通知與漏洞揭露。
生態系不應只有共同語言,也需要防火牆、退路與責任協議。
九、演化權需要比一般產品更新更嚴格的治理
當系統開始自我建模、重組模組、生成控制策略或參與形態設計,治理難度會再上升。
自我修復與形態最佳化本身可以提升安全。機器人若知道關節受損,能主動降低負載,比毫無察覺地繼續工作更可靠。
問題在於變更是否仍在可驗證邊界內。
一個系統如果能自行下載工具設計、調整身體結構與建立下一代控制器,就不應只以一般軟體更新管理。它需要清楚的資源、權限與繁殖邊界:
- 哪些零件可以自行替換;
- 哪些結構變更必須由人批准;
- 可使用多少能源與材料;
- 能否建立新的設備實例;
- 新形態如何重新取得安全認證;
- 任務目標能否被自行修改;
- 關閉與回收機制由誰控制。
這些規則現在看起來超前,卻正適合在技術仍未成熟時建立。
治理最困難的時刻,不是能力尚未出現,也不是能力完全失控,而是它已經足以產生利益,卻還沒有強到迫使所有人正視風險。
十、分寸也包括能源、材料與環境
具身機器人的文明討論,很容易只看人與機器,忽略它們仍由礦物、能源、晶片、電池與全球物流構成。
大量部署意味著更多馬達、稀土、銅、鋁、電池材料與運算資源,也會產生維修、淘汰與電子廢棄物。
如果企業為了快速迭代,每兩年淘汰一代無法維修的整機,人形外觀再先進,背後仍可能是一次性消費模式。
因此,工業化的成熟度不只看出貨量,也應看:
- 零件是否可維修與替換;
- 電池與材料能否回收;
- 軟體停止支援後設備是否仍可使用;
- 模型訓練與雲端推理的能源是否透明;
- 產品壽命是否足以抵消製造成本;
- 是否用機器人解決一個其實能以更簡單工具完成的問題。
有時候,最有分寸的設計不是更像人的機器,而是一台更簡單、更耐用、對任務剛好足夠的設備。
人形不是信仰,智能也不是每個問題的必需品。
十一、標準、法律與倫理,各自解決不同問題
面對新技術,人們常說「需要規範」,卻沒有分清楚規範的種類。
標準告訴產業如何測試、連接與降低風險,能快速累積工程共識;但多數標準本身不是法律,也可能由資源較多的企業主導。
法律設定最低權利與責任,提供強制力、賠償與禁止用途;但立法速度較慢,也可能跟不上技術細節。
倫理處理尚未被法律完整涵蓋、卻已值得反省的問題,例如是否應讓照護機器模擬私人情感、是否能在工作場所監測神經活動,以及未來人工主體可能具有什麼道德地位。
三者不能互相取代。
公司遵守最低法律,不代表產品一定值得信任;一份漂亮倫理原則,也不能代替事故責任與外部稽核;技術標準若沒有受影響者參與,也可能把既有權力寫進接口。
有分寸的治理,需要工程師、使用者、工作者、法律專家、照護者、身心障礙者與公民社會共同參與。
因為機器人的「正常使用情境」,不能只由從未生活在那個情境中的人定義。
十二、兩種極端都在逃避判斷
面對具身智能,一端是技術救贖論。
它相信只要模型更大、機器更多,勞動、照護、人口老化與資源不足便會自然解決。制度問題被改寫成工程問題,權力與分配則被放到以後再說。
另一端是全面拒絕。
它把所有機器人視為取代、監控與失控的前奏,彷彿唯一安全的選擇是停止研究、砸碎機器,回到尚未被技術改變的世界。
兩種立場看似相反,卻都省略了最困難的工作:逐項判斷。
哪些場景值得使用?
哪些功能應被禁止?
什麼風險可由標準降低?
什麼權利不能用效率交換?
誰得到好處,誰承擔代價?
技術是否真的優於更簡單的替代方案?
分寸就是拒絕用一個口號回答所有問題。
它允許我們同時支持腦機介面幫助癱瘓者,也反對雇主強迫監測腦波;支持機器人進入危險工地,也要求工作者參與部署;支持模型從資料學習,也要求家庭與身體資料不能被默認徵收;支持自我修復研究,也提前設定系統不能自行擴張的資源與權限邊界。
十三、真正成熟的文明,不只會製造能力,也會製造退路
工程文化經常讚美前進:更快、更強、更自主、更通用。
但一個系統是否成熟,也應看它有沒有退路。
能不能安全停止?
能不能降級運作?
能不能換回舊版本?
能不能轉移資料、離開平台?
能不能在不同供應商之間替換?
能不能讓受到傷害的人得到解釋、申訴與補償?
退路不是對創新的不信任。
它是承認人類會犯錯,模型會失效,組織會濫用權力,市場也不總是自動修正。
沒有退路的效率,往往只是把風險集中到無法離開的人身上。
所以本書最後留下的,不是一份完整的機器人法典,而是一個檢驗任何新能力的方法:
- 這項能力解決了誰的問題?
- 它需要取得什麼身體、資料與環境權限?
- 誰可以拒絕?
- 發生錯誤時,誰有能力停止與補救?
- 收益與代價如何分配?
- 是否存在更簡單、傷害更小的替代方案?
- 我們把哪一項不可逆決定交給了仍不理解的系統?
若一項技術無法回答這些問題,它可能很強,卻還不成熟。
十四、鏡子與錘子,最後都回到握住它們的手
三百萬年前,一塊被敲出鋒利邊緣的石頭,讓人的手第一次突破血肉限制。
此後,工具不斷延伸我們。
今天,具身機器人開始把眼睛、手、腳、感覺、語言與部分判斷重新組裝到另一具身體裡。它可能成為歷史上最強大的錘子之一。
但它同時也是鏡子。
它讓我們看見,人的能力可以被拆解、模仿與大量複製;也讓我們不得不承認,文明從來不只由能力構成。
一個社會是否值得生活,不只看它能生產多少,也看弱者是否能拒絕、錯誤能否被修正、權力是否受限制,以及人是否仍被當成目的。
我們不必在恐懼中砸碎鏡子,也不應在驚嘆中把錘子交給第一個伸手的人。
真正需要被加速的,不只是機器的學習,也包括人的判斷、制度的反應與公共討論的成熟。
這就是分寸。
它不是替未來畫出一條永遠不能跨越的線,而是在每一次跨線之前,確認誰有權決定、誰承擔風險,以及是否還保留返回的道路。
鏡子已經立起來。
錘子也正在變得更有力。
重新書寫文明的筆,尚未完全離開人類的手。
本章判讀
- 已驗證事實:2025 年 ISO 10218 系列分別規範工業機器人本體與整合應用安全;服務機器人新版 ISO 13482 於 2026 年仍處最終草案;UNESCO 於 2025 年通過首個神經科技倫理全球標準。
- 治理原則:安全、隱私、自主、工作者參與、版本控制、事故補救與生命週期風險管理,應隨系統影響力提高而加強。
- 思想框架:「分寸」指能力、風險、權力與責任的相稱,不等同反科技、折衷或單純放慢發展。
本章參考資料
- ISO 10218-1:2025, Robotics — Safety requirements — Part 1: Industrial robots. https://www.iso.org/standard/73933.html
- ISO 10218-2:2025, Robotics — Safety requirements — Part 2: Industrial robot applications and robot cells. https://www.iso.org/standard/73934.html
- ISO 13482:2014, Robots and robotic devices — Safety requirements for personal care robots. https://www.iso.org/standard/53820.html
- ISO/FDIS 13482, Robotics — Safety requirements for service robots, 2026. https://www.iso.org/standard/83498.html
- UNESCO, “Ethics of neurotechnology: UNESCO adopts the first global standard in the cutting-edge technology,” 2025. https://www.unesco.org/en/articles/ethics-neurotechnology-unesco-adopts-first-global-standard-cutting-edge-technology
- NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, 2024, updated 2026. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence
- NIST, AI Risk Management Framework 1.0 — Core: Govern, Map, Measure, Manage. https://airc.nist.gov/airmf-resources/airmf/5-sec-core/
- OECD.AI, Human-centred values and fairness — OECD AI Principle 1.2. https://oecd.ai/en/dashboards/ai-principles/P6
- UNESCO, Recommendation on the Ethics of Artificial Intelligence, 2021. https://unesdoc.unesco.org/ark:/48223/pf0000381137