
機器人靈巧手是一種模擬人類手部結(jié)構(gòu)和功能的仿生機器人末端執(zhí)行器,通過多指、多關(guān)節(jié)的仿人結(jié)構(gòu),通過肌腱驅(qū)動、連桿機構(gòu)或柔性材料模擬人手的骨骼、肌肉和韌帶,通過多模態(tài)感知系統(tǒng)、智能控制與AI算法技術(shù),完成抓取、操作、人機交互等復雜任務。它可以突破傳統(tǒng)機械夾爪的局限性,實現(xiàn)對不規(guī)則物體、柔軟材質(zhì)或微小部件的更精細、更復雜的操控,為蓬勃發(fā)展的人工智能和機器人應用帶來了更多可能。
在近日舉辦的慕尼黑上海電子展上,意法半導體帶來一款引人關(guān)注的基于STM32N6和STM32MP257PLC的高級手勢識別與跟隨系統(tǒng)。電源網(wǎng)有幸邀請到意法半導體自動化技術(shù)創(chuàng)新中心應用工程師黃凱杰,就“基于最新AI技術(shù),用于運動識別及實時跟蹤的自動化解決方案“進行深入溝通與交流。
意法半導體自動化技術(shù)創(chuàng)新中心應用工程師黃凱杰
讓靈巧手性價比更高的關(guān)鍵技術(shù)大揭秘
該自動化解決方案由三大部分構(gòu)成:基于STM32N6的手勢識別與數(shù)據(jù)采集的感知部分、基于STM32MP257的數(shù)據(jù)轉(zhuǎn)換與處理任務的PLC部分以及基于STM32G431實現(xiàn)運動控制與手勢跟隨的靈巧手部分。STM32N6單片機的內(nèi)部NPU處理器能夠運行復雜的手勢識別模型,搭配VD66GY高靈敏度彩色圖像傳感器,可以準確捕捉并識別21個關(guān)鍵手勢點位。PLC控制器演示板STM32MP257能夠?qū)ψR別出來的21個手部關(guān)鍵點位數(shù)據(jù)進行數(shù)據(jù)格式轉(zhuǎn)換,并控制由15個伺服電機構(gòu)成的靈巧機械手,實現(xiàn)實時精確的手勢響應。意法半導體面向現(xiàn)場觀眾,展示了其整合微控制器與先進傳感器,實現(xiàn)實時手勢識別控制的優(yōu)秀整合能力。
具體來說,感知部分是由STM32N6完成對手的識別,核心是攝像頭,它能夠?qū)崟r捕捉手部視頻。而負責處理這些視頻的是STM32N6微控制器,它具有MPU級別的人工智能性能和MCU的功耗和成本,集成了意法半導體強大的Neural-ART加速器神經(jīng)處理單元(NPU),在視覺數(shù)據(jù)處理方面表現(xiàn)出色,可以確保手勢識別的高效與精準。同時,ST也提供了完整的計算機視覺和人工智能生態(tài)系統(tǒng)。
成本高昂是目前靈巧手技術(shù)普及的一大障礙。STM32N6是高性能STM32 MCU的旗艦產(chǎn)品,也是ST采用MCU+NPU架構(gòu)的開山之作。它采用Cortex-M55內(nèi)核,800MHz主頻,算力可達到600GOPS,具有3TOPS/W功耗比,是ST迄今為止最強大的MCU,也是ST首個集成神經(jīng)網(wǎng)絡硬件加速單元的STM32 MCU。這種全新架構(gòu)為微控制器應用領(lǐng)域開辟了新方向——在MCU上實現(xiàn)強大的AI性能。
該靈巧手選擇谷歌的MediaPipe Landmark手勢識別模型,其核心是掌部檢測和手部關(guān)鍵點檢測兩個模型。其中,掌部檢測模型識別到圖像中的手部區(qū)域,并拆解出手部圖像,之后手部關(guān)鍵點檢測模型再拆解出的手部圖像上進一步提取出21個關(guān)鍵點,通過STM32N6可以對手勢識別達到29幀/秒的效果,最后將計算得到的21個關(guān)鍵點的數(shù)據(jù)通過485總線,發(fā)送給STM32MP257的PLC,為后續(xù)的工業(yè)控制提供精準的輸入數(shù)據(jù)。
計算整合部分是基于STM32MP257的PLC解決方案參考板,PLC將識別到手的數(shù)據(jù)通過計算得到各個關(guān)節(jié)的數(shù)據(jù),再打包成靈巧手能識別的數(shù)據(jù)幀,最后由靈巧手完成對手勢變化的跟隨。STM32MP257集成了當前主流的軟PLC平臺CODESYS,用戶可以直接上手使用。該PLC解決方案的核心是STM32MP257的MPU處理器,意法半導體可以提供絕大多數(shù)的外圍電路芯片,方便用戶進行一站式采購。
“該自動化解決方案中最大的技術(shù)亮點是STM32M6的AI處理能力。STM32N6作為視覺識別的信號處理器。與傳統(tǒng)GPU方案相比,其性價比更高且功耗更低,尤其適合資源受限型應用場景。PLC作為中央控制單元,實現(xiàn)了模塊化架構(gòu)設(shè)計,顯著提升了系統(tǒng)集成效率。”黃凱杰總結(jié)到:“該設(shè)計凸顯了四大核心優(yōu)勢。首先是靈活擴展,模塊化組件支持無縫升級與維護,無需停機即可完成系統(tǒng)迭代;其次是高可靠性與安全性,PLC的自主操作系統(tǒng)(CODESYS)相較板卡級控制系統(tǒng),具有更強的抗干擾能力和數(shù)據(jù)保護機制;接下來是長期成本可控,它可以減少對專用硬件(如GPU)的依賴,有效規(guī)避供應商鎖定風險,降低后續(xù)升級與維護成本;同時ST保證供貨穩(wěn)定。
在談及STM32N6與STM32MP257 PLC如何協(xié)同工作以確保低延遲時,黃凱杰表示,該方案在人機交互場景下目前可以達到毫秒級別的實時性,用戶幾乎感受不到太大延遲。而對于實時性通信較高的場合,可以考慮SPI發(fā)送攝像頭數(shù)據(jù),PLC直接連接攝像頭,本PLC所使用的MP257內(nèi)部也有NPU來處理AI模型,使用EtherCAT直接控制伺服電機,PLC也集成了EtherCAT總線協(xié)議。但這種方式需要單獨來開發(fā),不利于實際落地。不如做成本系統(tǒng)這種模塊化方式,更接近于實際使用習慣。
“STM32+AI”解鎖機器人應用新場景
工業(yè)場景更注重穩(wěn)定性與低成本,而ST的靈巧手方案可以通過關(guān)鍵功能平衡性能和成本。在技術(shù)實現(xiàn)優(yōu)勢方面,盡管手勢識別模型在訓練階段需要大量計算資源,但部署后的解決方案僅需運行在STM32N6處理器上。憑借其600GOPS的算力,N6以GPU方案成本的一小部分即可滿足性能需求,實現(xiàn)顯著的硬件成本節(jié)約。在工業(yè)級設(shè)計理念方面,采用PLC(可編程邏輯控制器)作為控制核心的設(shè)計,刻意與真實工業(yè)自動化架構(gòu)保持一致。這確保了與現(xiàn)有工業(yè)工作流程的無縫銜接——只需對現(xiàn)有設(shè)施配置進行微小改造即可部署系統(tǒng)。
值得一提的是,即使工人佩戴手套或在環(huán)境光線復雜時,這套系統(tǒng)也可以準確識別手勢。黃凱杰表示,當前基于視覺的解決方案采用光學攝像頭,但ST的系統(tǒng)可無縫集成VL53L8CX矩陣飛行時間(ToF)傳感器,適用于光線復雜或完全黑暗的環(huán)境。這種基于ToF的技術(shù)方案不依賴環(huán)境光照條件,同時保持穩(wěn)健的手勢識別能力。針對需佩戴手套的用戶場景(如工業(yè)環(huán)境),可通過在訓練數(shù)據(jù)集中增加包含手套的樣本進一步優(yōu)化識別性能。該方案在有毒處理環(huán)境(如化工廠)中還具有特殊應用價值,可實現(xiàn)遠程設(shè)備調(diào)節(jié)、自動化物料搬運、非接觸式操作控制,顯著提升工作場所安全性。同時它的視覺優(yōu)勢可以使操作人員在不具有專業(yè)知識背景下就可以完成對機械的操作,交互方式更簡單。
那么STM32的AI技術(shù)未來還有可能會拓展到哪些領(lǐng)域?黃凱杰表示,目前有針對振動傳感器在工業(yè)上的預測性維護案例,ToF的手勢識別案例,人體追蹤的案例,如果未來有需要ST也會融合這些方案做成多模態(tài)模型。在軟件方面,意法半導體也會豐富擴展行業(yè)垂直模型庫(如機械臂抓取、焊縫檢測)。具有NPU的MCU STM32N6將把一些難以落地的人工智能方案以非常具有性價比的方式實現(xiàn),實現(xiàn)低成本智能檢測、智能分析等功能,同時它還具有低功耗的特點,可以集成到遠端傳感器中,真正實現(xiàn)邊緣計算,讓人工智能更廣泛使用。基于ST提供的開發(fā)工具以及生態(tài),用戶可以將模型快速部署到N6中,省去開發(fā)者時間。另外基于STM32MP275的中高端PLC方案也可以滿足工業(yè)上復雜的控制需求。結(jié)合二者在工業(yè)上的應用會很有前景。
除此之外,STM32的AI技術(shù)將推動工廠人機協(xié)作邁向“直覺化交互”,通過手勢、眼動甚至肌電信號替代傳統(tǒng)物理控制器,使工人能更安全、自然地指揮機器人協(xié)同作業(yè)(如手勢引導AGV搬運重型部件);該技術(shù)還可拓展至農(nóng)業(yè)自動化(果實分揀)、智能倉儲(無人叉車調(diào)度)、消費電子(AR手勢交互)及醫(yī)療康復(假肢精準控制)等領(lǐng)域,其低功耗、高性價比特性正加速AI在邊緣計算場景的普惠化落地。如果有需要,或許會有雙手、語音、多傳感器融合的升級,語音和振動傳感器已經(jīng)在意法半導體其他芯片上有了相應的成熟案例。借助于ST的生態(tài)和開發(fā)工具NANOEDGE AI以及STM32CUBEAI等,可以很容易實現(xiàn)相關(guān)方案。
工業(yè)4.0是工廠自動化的下一個發(fā)展階段。未來,隨著人工智能、傳感器技術(shù)、材料科學等多學科的持續(xù)進步,靈巧手將朝著更高的智能化、擬人化發(fā)展,有望具備更強大的感知和學習能力,更加自然、靈活地與人類和環(huán)境進行交互。意法半導體在工廠自動化和工業(yè)應用產(chǎn)品的設(shè)計和制造方面擁有30多年的經(jīng)驗,能夠利用旗下的優(yōu)秀解決方案幫助開發(fā)人員應對各種設(shè)計挑戰(zhàn),通過不斷的技術(shù)創(chuàng)新與產(chǎn)品優(yōu)化,推動靈巧手技術(shù)發(fā)展與相關(guān)應用普及,賦能新型工業(yè)高質(zhì)量發(fā)展。
聲明:本內(nèi)容為作者獨立觀點,不代表電源網(wǎng)。本網(wǎng)站原創(chuàng)內(nèi)容,如需轉(zhuǎn)載,請注明出處;本網(wǎng)站轉(zhuǎn)載的內(nèi)容(文章、圖片、視頻)等資料版權(quán)歸原作者所有。如我們采用了您不宜公開的文章或圖片,未能及時和您確認,避免給雙方造成不必要的經(jīng)濟損失,請電郵聯(lián)系我們,以便迅速采取適當處理措施;歡迎投稿,郵箱∶editor@netbroad.com。
意法半導體推出高頻數(shù)字車規(guī)音頻功放,節(jié)省空間,面向智能駕駛艙 | 25-06-24 16:47 |
---|---|
意法半導體推出新款柵極驅(qū)動器,適用于控制無線家電、移動機器人和工業(yè)驅(qū)動設(shè)備的無刷電機 | 25-06-24 15:35 |
意法半導體2025年股東大會批準所有決議 | 25-06-20 15:58 |
SiC MOSFET 并聯(lián)的關(guān)鍵技術(shù) | 25-06-20 15:41 |
意法半導體STM32MP23x:突破成本限制的工業(yè)AI應用核心 | 25-06-17 17:23 |
微信關(guān)注 | ||
![]() |
技術(shù)專題 | 更多>> | |
![]() |
技術(shù)專題之EMC |
![]() |
技術(shù)專題之PCB |