安全工程師在實體急停按鈕旁監督人形機器人遵守測試邊界
鏡子與錘子 Week 13 / 14

分寸:能力擴張時,誰保留停止與拒絕的權利?

機器人安全、資料、責任與人類主體性的治理原則

機器愈能自主感知與行動,治理就愈不能只靠事後補救。安全標準、權限設計、資料邊界、人工接管與責任分配,必須在能力部署之前被寫進系統。

每週一篇閱讀計畫 約 15 分鐘閱讀 21 次瀏覽

Direct answer

直接答案

具身機器人的治理核心,是讓能力、風險、權力與責任彼此相稱。人必須保留可理解的停止、拒絕、撤回與修正權;高風險決策要能追溯,資料與神經訊號不得因便利被無限擴張使用,責任也不能推給演算法。

核心命題:能力、風險、權力與責任必須相稱。

首次發布
最後修改
資料查核基準
2026-07-28
證據層級 已驗證事實 產業趨勢 思想推演

當能力不斷擴張,人類如何保留停止、拒絕與修正的權利?

一台服務機器人端著一杯熱水,穿過養老機構的走廊。

它已經看見目的地,也規劃好路線。右側房門突然打開,一名老人扶著助行器慢慢走出來;走廊另一端,一個來探望家人的孩子追著球跑進路徑。

機器必須在不到一秒的時間裡重新判斷。

它可以停下、繞路、放低手臂,或在杯子即將滑落時選擇把水灑向哪個方向。每個選擇都涉及速度、重力、人體脆弱性與場景理解。

如果它只是一個聊天系統,錯誤可能是一句不可靠的文字;當它擁有身體,錯誤便帶著重量、溫度、力矩與距離。

這是具身智能把治理推向前台的原因。

一個能在世界裡行動的系統,不只需要「聰明」,還需要知道何時減速、何時停止、何時把決定交還給人。設計者、部署者與管理者也必須知道:哪些風險可以接受,哪些用途不應開放,事故發生時誰負責。

本書一路談到產業、感測、模型、泛化、多機協作、勞動、腦機介面與演化權,最後都會回到同一個詞:

分寸。

分寸不是模糊的中庸,也不是遇到新技術就要求它慢一點。

它是一種比例原則:能力愈大,驗證愈嚴;影響愈深,權利保障愈強;系統愈自主,責任鏈愈清楚;風險愈不可逆,人類保留的停止權就愈不能只是裝飾。

一、第一道分寸:不要把現況、趨勢與想像寫成同一件事

治理最早的失敗,經常不是事故,而是描述失真。

一家企業展示機器人在受控環境完成一次任務,市場便把它理解成可穩定部署;一個研究團隊在模擬中找到新形態,媒體便寫成機器已經能自我演化;腦機介面解碼少量運動意圖,也可能被誇大成用意念控制世界上任何設備。

誇張會帶來兩種傷害。

第一,它使資本、政策與公眾按照錯誤成熟度做決定。工廠以為產品已能取代人力,部署後才發現可靠性、維修與場景泛化仍不足。

第二,它讓真正的技術進展失去可信度。當過度承諾反覆落空,社會容易從狂熱轉向犬儒,連值得支持的研究也一起被懷疑。

因此,本書反覆區分三層:

  • 已驗證事實:有公開來源、可重複條件或正式文件支持;
  • 產業趨勢:方向已有多個信號,但時間、規模與結果仍不確定;
  • 思想推演:用來提前檢驗倫理與治理,不應偽裝成預測。

這種區分不是寫作潔癖,而是治理的一部分。

企業應清楚說明展示是在模擬、受控測試還是真實部署;媒體應區分公司宣稱與獨立驗證;政府則不應用單一示範推導大規模政策。

面對快速更新的系統,誠實說出「目前不知道」往往比一個精確但虛假的答案更有價值。

二、第二道分寸:一台安全的機器,不等於一個安全的系統

機器人安全最容易被誤解成硬體合格。

只要馬達有限速、關節有扭矩限制、機身裝了急停按鈕,似乎就能宣告安全。

但真正的風險經常來自整合。

同一台機械臂在封閉護欄內可能安全,裝上鋒利工具後便產生新危險;在固定工位運作沒有問題,放到移動平台後,路徑、視野與碰撞能量都改變;模型更新一個版本,原本驗證過的行為也可能發生偏移。

2025 年發布的 ISO 10218-1 與 ISO 10218-2,正好反映這個差別。前者關注工業機器人本身的安全設計,後者則處理機器人被整合進應用與工作單元後,從設計、安裝、試運轉、操作、維修到除役的安全問題。

它們也清楚顯示現有標準的邊界:工業標準不涵蓋一般民眾可接近的服務機器人、醫療機器人或家庭產品。針對個人與商用服務機器人的 ISO 13482 新版,直到 2026 年仍處於最終草案階段,說明機器走出護欄、進入家庭與公共空間後,安全規則仍在追趕場景變化。

具身智能至少需要五層安全:

  1. 本質安全設計:限制速度、力道、溫度與可造成傷害的結構;
  2. 感知與預防:辨識人、障礙、跌倒、夾傷與異常狀態;
  3. 故障安全:感測器、網路或模型失效時,系統進入可預期的安全模式;
  4. 場景整合:工具、地面、人流、照明與工作流程共同納入風險評估;
  5. 持續監測:部署後記錄近失事件、事故與版本差異,重新驗證更新。

真正成熟的安全不是宣稱「永遠不會出錯」,而是讓錯誤不容易發生、發生時不擴大,並能被查明與修正。

三、停止權不能只是一顆紅色按鈕

工廠裡的急停按鈕是一種清楚的安全象徵。

但當機器進入家庭、醫院與公共空間,停止權會變得更複雜。

誰可以停止?

使用者、旁觀者、遠端管理員,還是只有原廠?

如果網路中斷,機器能不能在本地停止?如果管理平台被入侵,單一指令是否能同時控制大量設備?如果系統判斷人類的停止指令會降低任務成功率,它是否仍必須服從?

一個真正有效的停止機制,至少要滿足幾個條件:

  • 在關鍵功能上不依賴雲端連線;
  • 一般人能理解並在壓力下使用;
  • 停止後機器不會因失去支撐而造成第二次傷害;
  • 權限分級清楚,避免任何人都能惡意癱瘓設備;
  • 系統更新不能偷偷改變停止行為;
  • 停止事件留下日誌,可供調查而不任意侵犯隱私。

此外,「有人在迴路中」不一定代表真正的人類控制。

如果一名操作員同時監看數百台機器,只在事故前零點幾秒收到警報,他在形式上是人類監督,實際上卻沒有理解與介入能力。

有意義的人類控制需要足夠時間、資訊、權限與訓練。否則,「人最後按下確認」只是一種責任轉嫁。

四、身體資料與家庭空間,不能因為方便就成為免費原料

具身機器人要在家庭中工作,必須持續看見非常私密的世界。

它可能知道誰何時回家、哪個房間有人睡覺、藥物放在哪裡、老人如何行走、孩子何時哭泣,也可能記錄聲音、臉部、健康狀態與物品位置。

這些資料比一般網頁瀏覽紀錄更接近生活本身。

如果所有影像與動作都持續上傳雲端,家庭便可能變成一座全天候資料採集場。資料能改善模型,也可能被用於廣告、保險評估、員工監控、執法或其他使用者從未真正理解的目的。

分寸要求資料治理遵守幾個原則:

  • 只收集完成任務所需的最少資料;
  • 能在本地處理的敏感資訊,優先在本地處理;
  • 清楚標示何時錄影、何時上傳、保存多久;
  • 不因拒絕次要資料用途而剝奪基本功能;
  • 允許使用者查看、刪除與移轉資料;
  • 對兒童、病人與無法完整同意者提供更高保障;
  • 模型訓練用途與即時服務用途分開取得授權。

當資料進一步涉及腦機介面,問題更敏感。

2025 年 UNESCO 通過第一個全球神經科技倫理標準,將心理隱私、人的自主性、知情同意,以及兒童與工作者保護列為核心。神經資料不只是另一種生物辨識;它可能揭露注意、反應與健康狀態,也可能被用來刺激或改變神經活動。

醫療用途能恢復能力,不代表雇主有權要求員工佩戴腦波設備監測專注;遊戲與消費裝置的同意,也不能被模糊成永久出售神經資料。

身體可以成為介面,卻不應因此變成沒有邊界的資料來源。

五、自主性不是讓機器自己決定,而是讓人仍能形成自己的決定

科技公司經常把「個人化」描述成更懂使用者。

家庭機器人知道你的習慣,推薦系統預測你的偏好,AI 助手替你安排日程、購物與回覆訊息。這些功能可以減少認知負擔。

但長期來看,方便也可能改變人的選擇方式。

如果系統總是先替人決定最可能的答案,人可能逐漸不再看見其他可能;如果照護機器人為了安全不斷限制老人活動,保護也可能變成剝奪自主;如果平台以「最佳效率」安排工人每一個動作,人的身體會被降格成機器流程中的可變零件。

因此,自主性的核心不是完全沒有技術介入,而是人仍保有:

  • 理解系統如何影響選擇的能力;
  • 拒絕或修改建議的權利;
  • 在合理情況下使用非最佳化路徑的自由;
  • 對重大決定要求人類重新審查;
  • 不因拒絕自動化而受到不當懲罰。

OECD 的 AI 原則把人的自主、隱私、公平與有意義監督放在整個生命週期中,而不是只在產品上線前勾選一次。

真正的人本設計,不是系統經常說「由你決定」,而是使用者確實有能力理解、拒絕、離開與補救。

六、工作者應是部署的參與者,不是被實驗的環境

工廠引進機器人時,最熟悉現場風險的人往往是工作者。

他們知道哪一條走道在換班時特別擁擠,哪一批箱子容易滑落,哪個步驟雖然不在標準作業程序裡,卻是避免事故的必要經驗。

如果部署只由管理層、供應商與顧問決定,這些隱性知識容易被忽略。

更糟的情況是,機器人被用來蒐集每一名員工的速度、停頓與身體動作,最後變成績效監控工具。人被要求配合尚未成熟的系統,事故卻被歸咎於「沒有照流程操作」。

有分寸的勞動治理至少包含:

  • 部署前讓工作者參與風險辨識與流程設計;
  • 清楚說明收集哪些工作資料,以及不能用於哪些目的;
  • 不把安全責任單方面轉嫁給第一線;
  • 提供重新訓練的時間與收入保障;
  • 公開自動化對職務、工時與薪資的影響;
  • 讓生產力收益的一部分回到工作者;
  • 保留對演算法評估的申訴與人類複核。

「人機協作」不能只表示人要配合機器的節奏。

它也應表示機器的設計、速度與部署方式,必須配合人的尊嚴與安全。

七、會學習的系統,需要版本、日誌與回滾能力

傳統機械設備的行為大致由固定程式與結構決定;學習系統可能因模型更新、資料變化與場景適應而改變。

這使治理不能只在出廠時完成一次。

一台機器人上週能安全抓取杯子,不代表更新視覺模型後仍然相同;多機系統中一個節點改變任務協議,也可能影響整體協作。若系統具有在線學習或自我調整能力,變化會更難被察覺。

因此,具身智能需要軟體工程、機械安全與 AI 風險管理共同工作。

至少應具備:

  • 清楚的模型與軟體版本紀錄;
  • 更新前的模擬、實景與邊界條件測試;
  • 可重現事故當時狀態的事件日誌;
  • 更新失敗時回到上一個安全版本的能力;
  • 對重大功能變更重新取得核准;
  • 獨立測試者能檢查,不只依賴開發商自我聲明;
  • 對資料漂移、異常行為與近失事件持續監測。

NIST 的 AI 風險管理框架把工作分成治理、情境映射、衡量與管理四個持續功能,重點就在於風險管理不是一次性的清單,而是貫穿系統生命週期。

對會移動、碰觸與操作物體的 AI 而言,這種生命週期治理尤其重要。每一次模型升級,都可能等同於替同一具身體換上一種新的反應方式。

八、互操作愈強,系統性風險也愈需要被看見

前面章節曾把互操作比喻成巴別塔的反面。

不同機器能共享地圖、任務與狀態,可以提高效率與韌性。但同一套標準與平台也可能讓風險快速擴散。

如果大量機器依賴同一個雲端模型,一次錯誤更新可能同時影響數千台設備;如果所有工廠使用相同通訊協議,單一漏洞便有更大攻擊面;如果平台能遠端停用設備,商業爭議、戰爭或政治命令都可能讓基礎勞動突然中斷。

這與網路和金融系統相似:連接帶來規模,也帶來共同失效模式。

所以互操作治理不能只追求「接得上」,還要設計:

  • 分區與權限隔離;
  • 本地最低可用能力;
  • 多供應商與替代方案;
  • 加密、身分驗證與安全更新;
  • 對關鍵功能的離線模式;
  • 大規模停機與攻擊的演練;
  • 跨廠商事故通知與漏洞揭露。

生態系不應只有共同語言,也需要防火牆、退路與責任協議。

九、演化權需要比一般產品更新更嚴格的治理

當系統開始自我建模、重組模組、生成控制策略或參與形態設計,治理難度會再上升。

自我修復與形態最佳化本身可以提升安全。機器人若知道關節受損,能主動降低負載,比毫無察覺地繼續工作更可靠。

問題在於變更是否仍在可驗證邊界內。

一個系統如果能自行下載工具設計、調整身體結構與建立下一代控制器,就不應只以一般軟體更新管理。它需要清楚的資源、權限與繁殖邊界:

  • 哪些零件可以自行替換;
  • 哪些結構變更必須由人批准;
  • 可使用多少能源與材料;
  • 能否建立新的設備實例;
  • 新形態如何重新取得安全認證;
  • 任務目標能否被自行修改;
  • 關閉與回收機制由誰控制。

這些規則現在看起來超前,卻正適合在技術仍未成熟時建立。

治理最困難的時刻,不是能力尚未出現,也不是能力完全失控,而是它已經足以產生利益,卻還沒有強到迫使所有人正視風險。

十、分寸也包括能源、材料與環境

具身機器人的文明討論,很容易只看人與機器,忽略它們仍由礦物、能源、晶片、電池與全球物流構成。

大量部署意味著更多馬達、稀土、銅、鋁、電池材料與運算資源,也會產生維修、淘汰與電子廢棄物。

如果企業為了快速迭代,每兩年淘汰一代無法維修的整機,人形外觀再先進,背後仍可能是一次性消費模式。

因此,工業化的成熟度不只看出貨量,也應看:

  • 零件是否可維修與替換;
  • 電池與材料能否回收;
  • 軟體停止支援後設備是否仍可使用;
  • 模型訓練與雲端推理的能源是否透明;
  • 產品壽命是否足以抵消製造成本;
  • 是否用機器人解決一個其實能以更簡單工具完成的問題。

有時候,最有分寸的設計不是更像人的機器,而是一台更簡單、更耐用、對任務剛好足夠的設備。

人形不是信仰,智能也不是每個問題的必需品。

十一、標準、法律與倫理,各自解決不同問題

面對新技術,人們常說「需要規範」,卻沒有分清楚規範的種類。

標準告訴產業如何測試、連接與降低風險,能快速累積工程共識;但多數標準本身不是法律,也可能由資源較多的企業主導。

法律設定最低權利與責任,提供強制力、賠償與禁止用途;但立法速度較慢,也可能跟不上技術細節。

倫理處理尚未被法律完整涵蓋、卻已值得反省的問題,例如是否應讓照護機器模擬私人情感、是否能在工作場所監測神經活動,以及未來人工主體可能具有什麼道德地位。

三者不能互相取代。

公司遵守最低法律,不代表產品一定值得信任;一份漂亮倫理原則,也不能代替事故責任與外部稽核;技術標準若沒有受影響者參與,也可能把既有權力寫進接口。

有分寸的治理,需要工程師、使用者、工作者、法律專家、照護者、身心障礙者與公民社會共同參與。

因為機器人的「正常使用情境」,不能只由從未生活在那個情境中的人定義。

十二、兩種極端都在逃避判斷

面對具身智能,一端是技術救贖論。

它相信只要模型更大、機器更多,勞動、照護、人口老化與資源不足便會自然解決。制度問題被改寫成工程問題,權力與分配則被放到以後再說。

另一端是全面拒絕。

它把所有機器人視為取代、監控與失控的前奏,彷彿唯一安全的選擇是停止研究、砸碎機器,回到尚未被技術改變的世界。

兩種立場看似相反,卻都省略了最困難的工作:逐項判斷。

哪些場景值得使用?

哪些功能應被禁止?

什麼風險可由標準降低?

什麼權利不能用效率交換?

誰得到好處,誰承擔代價?

技術是否真的優於更簡單的替代方案?

分寸就是拒絕用一個口號回答所有問題。

它允許我們同時支持腦機介面幫助癱瘓者,也反對雇主強迫監測腦波;支持機器人進入危險工地,也要求工作者參與部署;支持模型從資料學習,也要求家庭與身體資料不能被默認徵收;支持自我修復研究,也提前設定系統不能自行擴張的資源與權限邊界。

十三、真正成熟的文明,不只會製造能力,也會製造退路

工程文化經常讚美前進:更快、更強、更自主、更通用。

但一個系統是否成熟,也應看它有沒有退路。

能不能安全停止?

能不能降級運作?

能不能換回舊版本?

能不能轉移資料、離開平台?

能不能在不同供應商之間替換?

能不能讓受到傷害的人得到解釋、申訴與補償?

退路不是對創新的不信任。

它是承認人類會犯錯,模型會失效,組織會濫用權力,市場也不總是自動修正。

沒有退路的效率,往往只是把風險集中到無法離開的人身上。

所以本書最後留下的,不是一份完整的機器人法典,而是一個檢驗任何新能力的方法:

  1. 這項能力解決了誰的問題?
  2. 它需要取得什麼身體、資料與環境權限?
  3. 誰可以拒絕?
  4. 發生錯誤時,誰有能力停止與補救?
  5. 收益與代價如何分配?
  6. 是否存在更簡單、傷害更小的替代方案?
  7. 我們把哪一項不可逆決定交給了仍不理解的系統?

若一項技術無法回答這些問題,它可能很強,卻還不成熟。

十四、鏡子與錘子,最後都回到握住它們的手

三百萬年前,一塊被敲出鋒利邊緣的石頭,讓人的手第一次突破血肉限制。

此後,工具不斷延伸我們。

今天,具身機器人開始把眼睛、手、腳、感覺、語言與部分判斷重新組裝到另一具身體裡。它可能成為歷史上最強大的錘子之一。

但它同時也是鏡子。

它讓我們看見,人的能力可以被拆解、模仿與大量複製;也讓我們不得不承認,文明從來不只由能力構成。

一個社會是否值得生活,不只看它能生產多少,也看弱者是否能拒絕、錯誤能否被修正、權力是否受限制,以及人是否仍被當成目的。

我們不必在恐懼中砸碎鏡子,也不應在驚嘆中把錘子交給第一個伸手的人。

真正需要被加速的,不只是機器的學習,也包括人的判斷、制度的反應與公共討論的成熟。

這就是分寸。

它不是替未來畫出一條永遠不能跨越的線,而是在每一次跨線之前,確認誰有權決定、誰承擔風險,以及是否還保留返回的道路。

鏡子已經立起來。

錘子也正在變得更有力。

重新書寫文明的筆,尚未完全離開人類的手。

本章判讀

  • 已驗證事實:2025 年 ISO 10218 系列分別規範工業機器人本體與整合應用安全;服務機器人新版 ISO 13482 於 2026 年仍處最終草案;UNESCO 於 2025 年通過首個神經科技倫理全球標準。
  • 治理原則:安全、隱私、自主、工作者參與、版本控制、事故補救與生命週期風險管理,應隨系統影響力提高而加強。
  • 思想框架:「分寸」指能力、風險、權力與責任的相稱,不等同反科技、折衷或單純放慢發展。

本章參考資料

  1. ISO 10218-1:2025, Robotics — Safety requirements — Part 1: Industrial robots. https://www.iso.org/standard/73933.html
  2. ISO 10218-2:2025, Robotics — Safety requirements — Part 2: Industrial robot applications and robot cells. https://www.iso.org/standard/73934.html
  3. ISO 13482:2014, Robots and robotic devices — Safety requirements for personal care robots. https://www.iso.org/standard/53820.html
  4. ISO/FDIS 13482, Robotics — Safety requirements for service robots, 2026. https://www.iso.org/standard/83498.html
  5. UNESCO, “Ethics of neurotechnology: UNESCO adopts the first global standard in the cutting-edge technology,” 2025. https://www.unesco.org/en/articles/ethics-neurotechnology-unesco-adopts-first-global-standard-cutting-edge-technology
  6. NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, 2024, updated 2026. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence
  7. NIST, AI Risk Management Framework 1.0 — Core: Govern, Map, Measure, Manage. https://airc.nist.gov/airmf-resources/airmf/5-sec-core/
  8. OECD.AI, Human-centred values and fairness — OECD AI Principle 1.2. https://oecd.ai/en/dashboards/ai-principles/P6
  9. UNESCO, Recommendation on the Ethics of Artificial Intelligence, 2021. https://unesdoc.unesco.org/ark:/48223/pf0000381137
  1. 調整全系列 CodeCity Logo 的透明安全邊與左下留白,避免縮圖裁切。
  2. 全系列代表圖左下角加入白色 CodeCity 橫式 Logo。
  3. 加入 Week 1–14 每週閱讀節奏,統一全系列代表圖與作者署名。
  4. 依發行閱讀版母稿 v0.9 完成首次公開發布與資料查核。

讀者留言

還沒有留言

歡迎成為第一個分享觀點的人

發表留言

聯絡地址
8 F., No. 279, Sec. 4, Xinyi Rd., Da’an Dist., Taipei City 106439, Taiwan (R.O.C.)
電子郵件
Email:codecity0912@gmail.com
CodeCity 品牌 Logo
© 2023 CodeCity Inc. All rights reserved.