覓蜂發佈20萬小時真機數據質量研究,找出“成功數據”背後的錯誤示範
具身智能的數據來源,正在變得越來越豐富。但採集的這些數據,模型都真的學到了有用的東西嗎?
同樣是把一個物體成功放進盒子,有的示範乾淨、直接;有的示範卻因爲機器人動作遲緩、操作方式不順,夾雜了等待、繞路和反覆修正。
從結果看,兩次任務都成功了。但對模型來說,它可能也學習了錯誤示範。
覓蜂科技真機操作團隊近日發佈《真實機器人數據質量背後的隱藏變量:數十萬小時數據帶來的經驗》論文,從20萬小時以上真機數據、2萬多個任務記錄的工程積累出發,結合25款雙臂機器人的結構分析、多組遙操作對比實驗,以及模型訓練後的真機測試,拆解影響真機數據質量的隱藏因素。
爲什麼在後訓練中仍會把模型教壞
研究把數據真正用於模型訓練,通過真機執行檢驗:一條示範雖然完成了任務,模型究竟學到了什麼?結果顯示,三類表面成功的數據,仍可能分別讓模型看不懂、對不上和走彎路。
第一個問題是:機器人看到的信息,能否解釋它接下來採取的動作?實驗中,積木被放在機器人初始視野之外。實驗結果說明,一條好數據不僅要記錄“機器人做了什麼”,還必須記錄“機器人爲什麼這樣做”。後訓練數據的有效性,首先取決於觀測是否覆蓋了決策依據。 如果畫面裏沒有選擇動作所需的信息,後訓練出的模型學會的不是“先觀察再行動”,而是“在信息不完整時隨機選擇”。
高精度還原指尖細節,覓蜂科技提出4D數據重建框架
第二個問題是採集和部署之間的校準一致性。在測試條件下,只要訓練集中保留一部分與部署機器人校準狀態一致的數據,不同校準批次的歷史數據仍有繼續使用的可能。但如果部署機器人自身存在關節零位誤差,30次真機測試全部失敗。
因此,數據一致性並不意味着所有歷史數據必須完全相同,而是必須確保模型在訓練中學到的狀態與動作關係,在部署機器人上仍然成立。對後訓練而言,校準一致性不是數據清洗的細枝末節,而是模型能否在部署本體上可靠執行的前提。 模型不會“知道”自己學到的映射已經失效,它只會自信地執行錯誤動作。
第三個問題是示範中的多餘動作會不會被模型自動過濾。團隊在人爲加入停頓和繞行動作的數據上訓練模型。結果顯示,模型能夠平滑部分突然加減速,卻保留了約90%的額外路徑。當繞行數據佔比從0增加到80%時,機器人完成任務的時間從25.3秒增加到32.6秒,延長約29%。後訓練數據的危險之處在於:它會把“成功”和“動作質量”混爲一談。一次爲了彌補系統缺陷而產生的多餘動作,在數據中與“成功完成任務”綁定在一起。模型學到的策略是:在類似觀測下,繞路和停頓是通往成功的合理路徑。它無法區分“任務需要的動作”和“系統缺陷導致的補償動作”,因爲數據裏兩者混在一起,且都標註爲成功。
“隱形壞數據”是怎麼被生產出來的?
這三類問題看似發生在模型訓練和真機執行階段,源頭卻往往早在數據產生之前就已經埋下:機器人身體是否適合任務、控制是否順手、反饋是否及時,都會決定操作員需不需要停頓、繞路和反覆補救。後訓練數據的質量,不是訓練階段能補救的,它在採集系統設計的那一刻就已經被決定了。
判斷一臺機器人能不能完成任務,人們通常先看機械臂夠不夠長、能不能碰到目標。但“夠得着”和“能幹活”是兩回事。
團隊分析了智元 G1/G2、宇樹 G1-D、星海圖、松靈、ARX、Franka等25款主流雙臂機器人。結果顯示,如果只看機械臂能不能到達某個位置,往往會高估它真正完成任務的能力。
比如,從桌上拿起一個杯子,不只是把手伸到杯子旁邊,還要讓夾爪從合適的方向靠近。如果機械臂雖然能碰到杯子,關節卻已經擰到接近極限,操作員就不得不增加調整動作。
實驗中,把夾爪長度增加10釐米後,機器人能夠到達的位置增加約39.4%。但加長工具後,機器人的關節更容易接近運動極限,精細調整的餘量隨之減少。這也像人拿着一根過長的筷子:雖然伸得更遠,手腕卻更難調整。
相比單純加長工具,腰部運動可以通過改變肩部的位置和方向,擴大機械臂真正好用的範圍。在運動學分析中,用肩部在15釐米範圍內平移來模擬腰部帶來的位置調整,部分姿態下的有效工作空間擴大至固定肩部時的3.4至5.5倍。
因此,設計數據採集任務時,不能只問“機器人能不能碰到”,還要問:它能不能用合適的角度、自然的動作完成任務?研究提出,機器人選型不能只比較機械臂長度,還應綜合評估任務所需的位置、夾爪方向和關節餘量;工作空間不足時,應優先考慮腰部運動,而不是簡單加長末端工具。
延遲帶來的影響則更加隱蔽。一個濾波算法可能只需要不到1毫秒完成計算,卻給實際運動帶來超過200毫秒的相位滯後。操作員看到的畫面落後於機器人的真實動作後,容易越過目標、等待反饋,再反向修正。這些修正並不是任務本身需要的動作,卻會以正樣本的形式進入訓練集。因此,判斷一個採集系統好不好,不能只看網絡延遲或算法運行時間,也不能只看機器人最終有沒有完成任務,而要測量從操作指令、機器人響應到視覺反饋返回的完整人機閉環。
有效真機數據,決定模型能否真正落地
對機器人公司而言,真正值得積累的,是一套從場景中獲得經驗、用經驗訓練模型、再回到場景驗證的能力。採集系統決定經驗能否被完整記錄,數據質量決定模型能否學對,真實部署則不斷暴露下一批需要解決的問題。
基於大規模數據生產經驗,覓蜂已將數據質量管理貫穿採集全鏈路:在採集開始前,根據任務需要選擇合適的機器人、攝像頭和控制方式;在採集過程中,監測系統延遲、校準狀態、操作切換和反覆修正;在數據驗收階段,不只檢查任務是否成功,還要檢查完成時間、軌跡長度、動作連續性和機器人是否獲得了完整的決策信息。