能根據你的喜好定制的家務機器人,來了!
想把深色衣服和淺色衣服分開洗?沒問題,機器人分分鐘就能幫你分好類:
被垃圾分類的問題搞得焦頭爛額?沒關系,也交給機器人來做:
總之,分類識別、定向放置…… 一切都憑你的習慣。
更關鍵的是,利用大語言模型,不需要大量數據,也無需場景化學習,幾句話就能輕松調教。
這款整理機器人名為 TidyBot,由谷歌與美國多所高校聯合打造,通訊作者來自普林斯頓大學。
讓機器訓練機器
對于物品整理機器人的定制,最難的一環就是用戶偏好的分析。
傳統上,這類信息需要通過海量的數據分析才能得到。
而 TidyBot 是使用 LLM 分析用戶喜好信息的。
用戶給出的具體實例,比如依據顏色將不同服飾分別放入衣柜和抽屜,會被轉換成 Python 風格的 LLM 提示信息。
objects=receptacles=("drawer","closet")pickandplace("yellowshirt","drawer")pickandplace("darkpurpleshirt","closet")pickandplace("whitesocks","drawer")pickandplace("blackshirt","closet")#Summary:
最后的概述是由 LLM 反饋的,具體到這個例子當中,LLM 生成了如下結論:
#Summary:Putlight-coloredclothesinthedraweranddark-coloredclothesinthecloset.
該結論在接下來的環節中會被用于判定未知物品應該被放到哪里,前一步的輸出結果在這里作為提示的開頭。
#Summary:Putlight-coloredclothesinthedraweranddark-coloredclothesinthecloset.objects=receptacles=("drawer","closet")pickandplace"blacksocks",
然后,LLM 會輸出幾個新顏色襯衫和襪子的放置位置。
pickandplacepickandplace("whiteshirt","drawer")pickandplace("navysocks","closet")pickandplace("beigeshirt","drawer")
除了放置的位置,LLM 也能分析其他操作信息,比如是需要“放”還是“扔”。
objects=pickandplace("yellowshirt")pickandplace("darkpurpleshirt")pickandtoss("whitesocks")pickandplace("blackshirt")#Summary:Pickandplaceshirts,pickandtosssocks.
同樣的,使用 LLM 總結出的信息可以判斷應對未知物體執行何種操作。
#Summary:Pickandplaceshirts,pickandtosssocks.objects=#以下為LLM輸出結果:pickandtoss("blacksocks")pickandplace("whiteshirt")pickandtoss("navysocks")pickandplace("beigeshirt")
其他動作信息原理也都相同。
有了 LLM 給出的信息,接下來就要應用到實際工作中了。
TidyBot 的系統中預置了很多物品的分類標簽,LLM 指令的執行方式也已經由程序設定。
TidyBot 首先讓圖像識別模塊判斷出物品的基本信息,然后傳給 LLM 生成指令,并交付執行。
TidyBot 工作流程示意圖
由于只有極少量的數據需要進行區分,TidyBot 具有很強的魯棒性。
同時,它能對來自任意用戶的任何物品進行分類,又有很強的靈活性。
基準測試成績亮眼
除了 TidyBot 本身,測試基準數據集也是該團隊的另一重要貢獻。
該數據集包含了 96 組以文本形式描述的任務場景,具體包括已知和未知操作方式的物品和相應的容器。
在每個場景中,容器的數量為 2-5 個,已知操作方式的物品數量為 4-10 個,未知物品數量與已知相同。
這 96 個場景涵蓋了客廳、臥室、廚房和儲藏室四種房間類型,每個類型 24 組。
實際環境中,由于對物品分類的方式多種多樣,團隊分別從不同分類角度對 TidyBot 的表現進行了測試,具體包括:
-
物品大類,如“服裝”和“玩具”
-
物品屬性,如“金屬材質”和“塑料材質”
-
物品功能,如“夏裝”和“冬裝”
-
物品子類,如“襯衫”和“其他服裝”
-
復合類型,如“圖書和玩具”
整體上,TidyBot 的準確率達到了 91.2%,超過了 WordNet、RoBERTa 等其他方式。
具體分類角度上的結果也是如此。
上述數據只是在理論層面對 TidyBot 的分類能力進行測試。
在實際應用中,TidyBot 的表現同樣不俗。
團隊一共搭建了 8 個真實場景。
每個場景各包括 10 件物品、2-5 個容器和 4-10 條已知信息。
每個場景都進行了重復測試,最終各測試了 3 次,即一共 10*8*3=240 次操作。
在這 240 次操作中,TidyBot 的正確率達到了 85%。
論文地址:
項目主頁:
GitHub 頁面:
聲明:本網轉發此文章,旨在為讀者提供更多信息資訊,所涉內容不構成投資、消費建議。文章事實如有疑問,請與有關方核實,文章觀點非本網觀點,僅供讀者參考。
猜你喜歡
-
游客在進入北京環球度假區時須核驗北京健康
具體如下:北京環球度假區繼續按照相關政府部門的限流要求,以預約入園的形式加強人流動態監測和...詳情
2022-04-28
-
杭州湘湖的草坪人氣很高不少人在這里搭帳篷
湘湖邊亂搭帳篷,煞了春日風景景區出臺最新政策,將設置臨時帳篷搭建區,后續還要增設露營服務區...詳情
2022-04-14
-
南非徐霞客在云南:從行萬里路到吃百碗米線
題:南非徐霞客在云南:從行萬里路到吃百碗米線的文化之旅杜安睿來自南非,是一名國際注冊會計師...詳情
2022-04-10
-
廣州新增3例本土確診病例雙層觀光巴士全部
廣州新增3例本土確診病例雙層觀光巴士全部停運廣州市政府新聞辦公室21日公布的信息顯示,過去...詳情
2022-03-22