機器人靈巧手是一種模擬人類手部結構和功能的仿生機器人末端執行器，通過多指、多關節的仿人結構，通過肌腱驅動、連桿機構或柔性材料模擬人手的骨骼、肌肉和韌帶，通過多模態感知系統、智能控制與AI算法技術，完成抓取、操作、人機交互等復雜任務。它可以突破傳統機械夾爪的局限性，實現對不規則物體、柔軟材質或微小部件的更精細、更復雜的操控，為蓬勃發展的人工智能和機器人應用帶來了更多可能。

在近日舉辦的慕尼黑上海電子展上，意法半導體帶來一款引人關注的基于STM32N6和STM32MP257PLC的高級手勢識別與跟隨系統。電源網有幸邀請到意法半導體自動化技術創新中心應用工程師黃凱杰，就“基于最新AI技術，用于運動識別及實時跟蹤的自動化解決方案“進行深入溝通與交流。

意法半導體自動化技術創新中心應用工程師黃凱杰

讓靈巧手性價比更高的關鍵技術大揭秘

該自動化解決方案由三大部分構成：基于STM32N6的手勢識別與數據采集的感知部分、基于STM32MP257的數據轉換與處理任務的PLC部分以及基于STM32G431實現運動控制與手勢跟隨的靈巧手部分。STM32N6單片機的內部NPU處理器能夠運行復雜的手勢識別模型，搭配VD66GY高靈敏度彩色圖像傳感器，可以準確捕捉并識別21個關鍵手勢點位。PLC控制器演示板STM32MP257能夠對識別出來的21個手部關鍵點位數據進行數據格式轉換，并控制由15個伺服電機構成的靈巧機械手，實現實時精確的手勢響應。意法半導體面向現場觀眾，展示了其整合微控制器與先進傳感器，實現實時手勢識別控制的優秀整合能力。

具體來說，感知部分是由STM32N6完成對手的識別，核心是攝像頭，它能夠實時捕捉手部視頻。而負責處理這些視頻的是STM32N6微控制器，它具有MPU級別的人工智能性能和MCU的功耗和成本，集成了意法半導體強大的Neural-ART加速器神經處理單元（NPU），在視覺數據處理方面表現出色，可以確保手勢識別的高效與精準。同時，ST也提供了完整的計算機視覺和人工智能生態系統。

成本高昂是目前靈巧手技術普及的一大障礙。STM32N6是高性能STM32 MCU的旗艦產品，也是ST采用MCU+NPU架構的開山之作。它采用Cortex-M55內核，800MHz主頻，算力可達到600GOPS，具有3TOPS/W功耗比，是ST迄今為止最強大的MCU，也是ST首個集成神經網絡硬件加速單元的STM32 MCU。這種全新架構為微控制器應用領域開辟了新方向——在MCU上實現強大的AI性能。

該靈巧手選擇谷歌的MediaPipe Landmark手勢識別模型，其核心是掌部檢測和手部關鍵點檢測兩個模型。其中，掌部檢測模型識別到圖像中的手部區域，并拆解出手部圖像，之后手部關鍵點檢測模型再拆解出的手部圖像上進一步提取出21個關鍵點，通過STM32N6可以對手勢識別達到29幀/秒的效果，最后將計算得到的21個關鍵點的數據通過485總線，發送給STM32MP257的PLC，為后續的工業控制提供精準的輸入數據。

計算整合部分是基于STM32MP257的PLC解決方案參考板，PLC將識別到手的數據通過計算得到各個關節的數據，再打包成靈巧手能識別的數據幀，最后由靈巧手完成對手勢變化的跟隨。STM32MP257集成了當前主流的軟PLC平臺CODESYS，用戶可以直接上手使用。該PLC解決方案的核心是STM32MP257的MPU處理器，意法半導體可以提供絕大多數的外圍電路芯片，方便用戶進行一站式采購。

“該自動化解決方案中最大的技術亮點是STM32M6的AI處理能力。STM32N6作為視覺識別的信號處理器。與傳統GPU方案相比，其性價比更高且功耗更低，尤其適合資源受限型應用場景。PLC作為中央控制單元，實現了模塊化架構設計，顯著提升了系統集成效率。”黃凱杰總結到：“該設計凸顯了四大核心優勢。首先是靈活擴展，模塊化組件支持無縫升級與維護，無需停機即可完成系統迭代；其次是高可靠性與安全性，PLC的自主操作系統（CODESYS）相較板卡級控制系統，具有更強的抗干擾能力和數據保護機制；接下來是長期成本可控，它可以減少對專用硬件（如GPU）的依賴，有效規避供應商鎖定風險，降低后續升級與維護成本；同時ST保證供貨穩定。

在談及STM32N6與STM32MP257 PLC如何協同工作以確保低延遲時，黃凱杰表示，該方案在人機交互場景下目前可以達到毫秒級別的實時性，用戶幾乎感受不到太大延遲。而對于實時性通信較高的場合，可以考慮SPI發送攝像頭數據，PLC直接連接攝像頭，本PLC所使用的MP257內部也有NPU來處理AI模型，使用EtherCAT直接控制伺服電機，PLC也集成了EtherCAT總線協議。但這種方式需要單獨來開發，不利于實際落地。不如做成本系統這種模塊化方式，更接近于實際使用習慣。

“STM32+AI”解鎖機器人應用新場景

工業場景更注重穩定性與低成本，而ST的靈巧手方案可以通過關鍵功能平衡性能和成本。在技術實現優勢方面，盡管手勢識別模型在訓練階段需要大量計算資源，但部署后的解決方案僅需運行在STM32N6處理器上。憑借其600GOPS的算力，N6以GPU方案成本的一小部分即可滿足性能需求，實現顯著的硬件成本節約。在工業級設計理念方面，采用PLC（可編程邏輯控制器）作為控制核心的設計，刻意與真實工業自動化架構保持一致。這確保了與現有工業工作流程的無縫銜接——只需對現有設施配置進行微小改造即可部署系統。

值得一提的是，即使工人佩戴手套或在環境光線復雜時，這套系統也可以準確識別手勢。黃凱杰表示，當前基于視覺的解決方案采用光學攝像頭，但ST的系統可無縫集成VL53L8CX矩陣飛行時間(ToF)傳感器，適用于光線復雜或完全黑暗的環境。這種基于ToF的技術方案不依賴環境光照條件，同時保持穩健的手勢識別能力。針對需佩戴手套的用戶場景（如工業環境），可通過在訓練數據集中增加包含手套的樣本進一步優化識別性能。該方案在有毒處理環境（如化工廠）中還具有特殊應用價值，可實現遠程設備調節、自動化物料搬運、非接觸式操作控制，顯著提升工作場所安全性。同時它的視覺優勢可以使操作人員在不具有專業知識背景下就可以完成對機械的操作，交互方式更簡單。

那么STM32的AI技術未來還有可能會拓展到哪些領域？黃凱杰表示，目前有針對振動傳感器在工業上的預測性維護案例，ToF的手勢識別案例，人體追蹤的案例，如果未來有需要ST也會融合這些方案做成多模態模型。在軟件方面，意法半導體也會豐富擴展行業垂直模型庫（如機械臂抓取、焊縫檢測）。具有NPU的MCU STM32N6將把一些難以落地的人工智能方案以非常具有性價比的方式實現，實現低成本智能檢測、智能分析等功能，同時它還具有低功耗的特點，可以集成到遠端傳感器中，真正實現邊緣計算，讓人工智能更廣泛使用。基于ST提供的開發工具以及生態，用戶可以將模型快速部署到N6中，省去開發者時間。另外基于STM32MP275的中高端PLC方案也可以滿足工業上復雜的控制需求。結合二者在工業上的應用會很有前景。

除此之外，STM32的AI技術將推動工廠人機協作邁向“直覺化交互”，通過手勢、眼動甚至肌電信號替代傳統物理控制器，使工人能更安全、自然地指揮機器人協同作業（如手勢引導AGV搬運重型部件）；該技術還可拓展至農業自動化（果實分揀）、智能倉儲（無人叉車調度）、消費電子（AR手勢交互）及醫療康復（假肢精準控制）等領域，其低功耗、高性價比特性正加速AI在邊緣計算場景的普惠化落地。如果有需要，或許會有雙手、語音、多傳感器融合的升級，語音和振動傳感器已經在意法半導體其他芯片上有了相應的成熟案例。借助于ST的生態和開發工具NANOEDGE AI以及STM32CUBEAI等，可以很容易實現相關方案。

工業4.0是工廠自動化的下一個發展階段。未來，隨著人工智能、傳感器技術、材料科學等多學科的持續進步，靈巧手將朝著更高的智能化、擬人化發展，有望具備更強大的感知和學習能力，更加自然、靈活地與人類和環境進行交互。意法半導體在工廠自動化和工業應用產品的設計和制造方面擁有30多年的經驗，能夠利用旗下的優秀解決方案幫助開發人員應對各種設計挑戰，通過不斷的技術創新與產品優化，推動靈巧手技術發展與相關應用普及，賦能新型工業高質量發展。