以機(jī)器人抓取場景為例,抓取和操作物體是完成各種復(fù)雜任務(wù)的基礎(chǔ),目前實(shí)現(xiàn)穩(wěn)定的抓取和操作仍然具有挑戰(zhàn)。

先是視覺感知的局限性,尤其是在復(fù)雜環(huán)境下,遮擋、噪音和背景復(fù)雜性等因素可能 影響視覺感知效果,導(dǎo)致抓取任務(wù)失敗。其次是視覺反饋往往無法提供物體的具體物理 特性信息,如材質(zhì)、剛度、重量等,這也限制了機(jī)器人在抓取過程中的準(zhǔn)確性和穩(wěn)定性。 目前可以通過導(dǎo)人觸覺傳感器以解決單視覺感知的局限性,通過在機(jī)器人執(zhí)行器上安裝 觸覺傳感器,可以記錄整個抓取過程中物體的受力變化,為機(jī)器人提供豐富的抓取解決 時序數(shù)據(jù)。通過合適的數(shù)據(jù)處理和分類器,有效提G機(jī)器人在復(fù)雜環(huán)境中抓取穩(wěn)定性和 分類準(zhǔn)確性。

同樣僅憑觸覺信息而不具備視覺系統(tǒng),盡管靈巧手能感知到與接觸物體的受力關(guān)系,但 是由于不清楚物體的特征,無法準(zhǔn)確判斷機(jī)械臂、靈巧手相對操作物體的位置及是否選 擇正確的動作抓取軌跡與區(qū)域,亦會導(dǎo)致抓取失敗。

一個典型的手眼協(xié)同能通過視覺做好對靈巧手位置的判斷、動作的規(guī)劃及與物體交互策略判定,并能夠根據(jù)手的傳感器信息,判斷力的大小方向是否合適,從而大幅提升定向抓取操作的成功率。而人形機(jī)器人的上肢操作功能核心為靈巧手的手眼協(xié)同,手眼協(xié)同的能力決定了人形機(jī)器人上肢能力上限。