機器人靈巧手是一種模擬人類手部結(jié)構(gòu)和功能的仿生機器人末端執(zhí)行器，通過多指、多關(guān)節(jié)的仿人結(jié)構(gòu)，通過肌腱驅(qū)動、連桿機構(gòu)或柔性材料模擬人手的骨骼、肌肉和韌帶，通過多模態(tài)感知系統(tǒng)、智能控制與AI算法技術(shù)，完成抓取、操作、人機交互等復雜任務。它可以突破傳統(tǒng)機械夾爪的局限性，實現(xiàn)對不規(guī)則物體、柔軟材質(zhì)或微小部件的更精細、更復雜的操控，為蓬勃發(fā)展的人工智能和機器人應用帶來了更多可能。

在近日舉辦的慕尼黑上海電子展上，意法半導體帶來一款引人關(guān)注的基于STM32N6和STM32MP257PLC的高級手勢識別與跟隨系統(tǒng)。電源網(wǎng)有幸邀請到意法半導體自動化技術(shù)創(chuàng)新中心應用工程師黃凱杰，就“基于最新AI技術(shù)，用于運動識別及實時跟蹤的自動化解決方案“進行深入溝通與交流。

意法半導體自動化技術(shù)創(chuàng)新中心應用工程師黃凱杰

讓靈巧手性價比更高的關(guān)鍵技術(shù)大揭秘

該自動化解決方案由三大部分構(gòu)成：基于STM32N6的手勢識別與數(shù)據(jù)采集的感知部分、基于STM32MP257的數(shù)據(jù)轉(zhuǎn)換與處理任務的PLC部分以及基于STM32G431實現(xiàn)運動控制與手勢跟隨的靈巧手部分。STM32N6單片機的內(nèi)部NPU處理器能夠運行復雜的手勢識別模型，搭配VD66GY高靈敏度彩色圖像傳感器，可以準確捕捉并識別21個關(guān)鍵手勢點位。PLC控制器演示板STM32MP257能夠?qū)ψR別出來的21個手部關(guān)鍵點位數(shù)據(jù)進行數(shù)據(jù)格式轉(zhuǎn)換，并控制由15個伺服電機構(gòu)成的靈巧機械手，實現(xiàn)實時精確的手勢響應。意法半導體面向現(xiàn)場觀眾，展示了其整合微控制器與先進傳感器，實現(xiàn)實時手勢識別控制的優(yōu)秀整合能力。

具體來說，感知部分是由STM32N6完成對手的識別，核心是攝像頭，它能夠?qū)崟r捕捉手部視頻。而負責處理這些視頻的是STM32N6微控制器，它具有MPU級別的人工智能性能和MCU的功耗和成本，集成了意法半導體強大的Neural-ART加速器神經(jīng)處理單元（NPU），在視覺數(shù)據(jù)處理方面表現(xiàn)出色，可以確保手勢識別的高效與精準。同時，ST也提供了完整的計算機視覺和人工智能生態(tài)系統(tǒng)。

成本高昂是目前靈巧手技術(shù)普及的一大障礙。STM32N6是高性能STM32 MCU的旗艦產(chǎn)品，也是ST采用MCU+NPU架構(gòu)的開山之作。它采用Cortex-M55內(nèi)核，800MHz主頻，算力可達到600GOPS，具有3TOPS/W功耗比，是ST迄今為止最強大的MCU，也是ST首個集成神經(jīng)網(wǎng)絡硬件加速單元的STM32 MCU。這種全新架構(gòu)為微控制器應用領(lǐng)域開辟了新方向——在MCU上實現(xiàn)強大的AI性能。

該靈巧手選擇谷歌的MediaPipe Landmark手勢識別模型，其核心是掌部檢測和手部關(guān)鍵點檢測兩個模型。其中，掌部檢測模型識別到圖像中的手部區(qū)域，并拆解出手部圖像，之后手部關(guān)鍵點檢測模型再拆解出的手部圖像上進一步提取出21個關(guān)鍵點，通過STM32N6可以對手勢識別達到29幀/秒的效果，最后將計算得到的21個關(guān)鍵點的數(shù)據(jù)通過485總線，發(fā)送給STM32MP257的PLC，為后續(xù)的工業(yè)控制提供精準的輸入數(shù)據(jù)。

計算整合部分是基于STM32MP257的PLC解決方案參考板，PLC將識別到手的數(shù)據(jù)通過計算得到各個關(guān)節(jié)的數(shù)據(jù)，再打包成靈巧手能識別的數(shù)據(jù)幀，最后由靈巧手完成對手勢變化的跟隨。STM32MP257集成了當前主流的軟PLC平臺CODESYS，用戶可以直接上手使用。該PLC解決方案的核心是STM32MP257的MPU處理器，意法半導體可以提供絕大多數(shù)的外圍電路芯片，方便用戶進行一站式采購。

“該自動化解決方案中最大的技術(shù)亮點是STM32M6的AI處理能力。STM32N6作為視覺識別的信號處理器。與傳統(tǒng)GPU方案相比，其性價比更高且功耗更低，尤其適合資源受限型應用場景。PLC作為中央控制單元，實現(xiàn)了模塊化架構(gòu)設(shè)計，顯著提升了系統(tǒng)集成效率。”黃凱杰總結(jié)到：“該設(shè)計凸顯了四大核心優(yōu)勢。首先是靈活擴展，模塊化組件支持無縫升級與維護，無需停機即可完成系統(tǒng)迭代；其次是高可靠性與安全性，PLC的自主操作系統(tǒng)（CODESYS）相較板卡級控制系統(tǒng)，具有更強的抗干擾能力和數(shù)據(jù)保護機制；接下來是長期成本可控，它可以減少對專用硬件（如GPU）的依賴，有效規(guī)避供應商鎖定風險，降低后續(xù)升級與維護成本；同時ST保證供貨穩(wěn)定。

在談及STM32N6與STM32MP257 PLC如何協(xié)同工作以確保低延遲時，黃凱杰表示，該方案在人機交互場景下目前可以達到毫秒級別的實時性，用戶幾乎感受不到太大延遲。而對于實時性通信較高的場合，可以考慮SPI發(fā)送攝像頭數(shù)據(jù)，PLC直接連接攝像頭，本PLC所使用的MP257內(nèi)部也有NPU來處理AI模型，使用EtherCAT直接控制伺服電機，PLC也集成了EtherCAT總線協(xié)議。但這種方式需要單獨來開發(fā)，不利于實際落地。不如做成本系統(tǒng)這種模塊化方式，更接近于實際使用習慣。

“STM32+AI”解鎖機器人應用新場景

工業(yè)場景更注重穩(wěn)定性與低成本，而ST的靈巧手方案可以通過關(guān)鍵功能平衡性能和成本。在技術(shù)實現(xiàn)優(yōu)勢方面，盡管手勢識別模型在訓練階段需要大量計算資源，但部署后的解決方案僅需運行在STM32N6處理器上。憑借其600GOPS的算力，N6以GPU方案成本的一小部分即可滿足性能需求，實現(xiàn)顯著的硬件成本節(jié)約。在工業(yè)級設(shè)計理念方面，采用PLC（可編程邏輯控制器）作為控制核心的設(shè)計，刻意與真實工業(yè)自動化架構(gòu)保持一致。這確保了與現(xiàn)有工業(yè)工作流程的無縫銜接——只需對現(xiàn)有設(shè)施配置進行微小改造即可部署系統(tǒng)。

值得一提的是，即使工人佩戴手套或在環(huán)境光線復雜時，這套系統(tǒng)也可以準確識別手勢。黃凱杰表示，當前基于視覺的解決方案采用光學攝像頭，但ST的系統(tǒng)可無縫集成VL53L8CX矩陣飛行時間(ToF)傳感器，適用于光線復雜或完全黑暗的環(huán)境。這種基于ToF的技術(shù)方案不依賴環(huán)境光照條件，同時保持穩(wěn)健的手勢識別能力。針對需佩戴手套的用戶場景（如工業(yè)環(huán)境），可通過在訓練數(shù)據(jù)集中增加包含手套的樣本進一步優(yōu)化識別性能。該方案在有毒處理環(huán)境（如化工廠）中還具有特殊應用價值，可實現(xiàn)遠程設(shè)備調(diào)節(jié)、自動化物料搬運、非接觸式操作控制，顯著提升工作場所安全性。同時它的視覺優(yōu)勢可以使操作人員在不具有專業(yè)知識背景下就可以完成對機械的操作，交互方式更簡單。

那么STM32的AI技術(shù)未來還有可能會拓展到哪些領(lǐng)域？黃凱杰表示，目前有針對振動傳感器在工業(yè)上的預測性維護案例，ToF的手勢識別案例，人體追蹤的案例，如果未來有需要ST也會融合這些方案做成多模態(tài)模型。在軟件方面，意法半導體也會豐富擴展行業(yè)垂直模型庫（如機械臂抓取、焊縫檢測）。具有NPU的MCU STM32N6將把一些難以落地的人工智能方案以非常具有性價比的方式實現(xiàn)，實現(xiàn)低成本智能檢測、智能分析等功能，同時它還具有低功耗的特點，可以集成到遠端傳感器中，真正實現(xiàn)邊緣計算，讓人工智能更廣泛使用。基于ST提供的開發(fā)工具以及生態(tài)，用戶可以將模型快速部署到N6中，省去開發(fā)者時間。另外基于STM32MP275的中高端PLC方案也可以滿足工業(yè)上復雜的控制需求。結(jié)合二者在工業(yè)上的應用會很有前景。

除此之外，STM32的AI技術(shù)將推動工廠人機協(xié)作邁向“直覺化交互”，通過手勢、眼動甚至肌電信號替代傳統(tǒng)物理控制器，使工人能更安全、自然地指揮機器人協(xié)同作業(yè)（如手勢引導AGV搬運重型部件）；該技術(shù)還可拓展至農(nóng)業(yè)自動化（果實分揀）、智能倉儲（無人叉車調(diào)度）、消費電子（AR手勢交互）及醫(yī)療康復（假肢精準控制）等領(lǐng)域，其低功耗、高性價比特性正加速AI在邊緣計算場景的普惠化落地。如果有需要，或許會有雙手、語音、多傳感器融合的升級，語音和振動傳感器已經(jīng)在意法半導體其他芯片上有了相應的成熟案例。借助于ST的生態(tài)和開發(fā)工具NANOEDGE AI以及STM32CUBEAI等，可以很容易實現(xiàn)相關(guān)方案。

工業(yè)4.0是工廠自動化的下一個發(fā)展階段。未來，隨著人工智能、傳感器技術(shù)、材料科學等多學科的持續(xù)進步，靈巧手將朝著更高的智能化、擬人化發(fā)展，有望具備更強大的感知和學習能力，更加自然、靈活地與人類和環(huán)境進行交互。意法半導體在工廠自動化和工業(yè)應用產(chǎn)品的設(shè)計和制造方面擁有30多年的經(jīng)驗，能夠利用旗下的優(yōu)秀解決方案幫助開發(fā)人員應對各種設(shè)計挑戰(zhàn)，通過不斷的技術(shù)創(chuàng)新與產(chǎn)品優(yōu)化，推動靈巧手技術(shù)發(fā)展與相關(guān)應用普及，賦能新型工業(yè)高質(zhì)量發(fā)展。