物聯(lián)網(wǎng)邊緣的人工智能（AIoT）正在重塑互聯(lián)設(shè)備捕獲、處理和分析數(shù)據(jù)的方式，從而在各類消費(fèi)和工業(yè)應(yīng)用中實(shí)現(xiàn)更高效的結(jié)果。與依賴于云端服務(wù)器的AI不同，AIoT將智能移近數(shù)據(jù)源，實(shí)現(xiàn)實(shí)時(shí)、原位決策，同時(shí)增強(qiáng)隱私保護(hù)并降低能耗。

挑戰(zhàn)與解決方案

盡管前景廣闊，物聯(lián)網(wǎng)邊緣的AI仍面臨重大挑戰(zhàn)。傳統(tǒng)AI模型計(jì)算密集，需要大量?jī)?nèi)存和電源，而資源受限的物聯(lián)網(wǎng)設(shè)備通常由電池供電且處理能力有限。為應(yīng)對(duì)這些挑戰(zhàn)，設(shè)計(jì)人員需開發(fā)高度優(yōu)化的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型，如TinyML，使其能在微控制器、微處理器及其他低功耗硬件上高效運(yùn)行，而不犧牲性能或精度。

TinyML助力實(shí)時(shí)分析

通過在本地傳感器中嵌入機(jī)器學(xué)習(xí)（ML）模型，AIoT減少了對(duì)云服務(wù)器的依賴，實(shí)現(xiàn)了即時(shí)響應(yīng)和更高的安全性。例如，在工廠設(shè)備中嵌入預(yù)測(cè)性維護(hù)功能，無需等待云分析即可檢測(cè)異常或故障；智能家居設(shè)備則可以通過AI增強(qiáng)的語(yǔ)音接口執(zhí)行即時(shí)關(guān)鍵字識(shí)別和自然語(yǔ)言理解，無需發(fā)送敏感音頻數(shù)據(jù)至云端。

數(shù)據(jù)中心AI推理建模注重強(qiáng)大的并行處理器以訓(xùn)練大型語(yǔ)言模型（LLM），而邊緣AIoT則需最大限度減少內(nèi)存需求和計(jì)算開銷，使電池供電的物聯(lián)網(wǎng)端點(diǎn)的實(shí)時(shí)分析變得可行。此外，TinyML推理建模支持多模態(tài)應(yīng)用，結(jié)合語(yǔ)音、視覺和傳感器數(shù)據(jù)，用于環(huán)境監(jiān)測(cè)和自主導(dǎo)航等高級(jí)用例。

瑞薩電子推出新型MCU和MPU

為了更好地服務(wù)于邊緣AIoT應(yīng)用，瑞薩電子近期擴(kuò)展了其處理器產(chǎn)品組合，推出了新的高性能、低功耗MCU和MPU，這些器件集成了專為AI計(jì)算構(gòu)建的神經(jīng)處理單元（NPU）。

RA8P1 MCU專為語(yǔ)音和視覺邊緣AI應(yīng)用設(shè)計(jì)，具有雙Arm?內(nèi)核（1GHz Cortex-M85?和250MHz Cortex-M33），以及可提供高達(dá)256GOPS AI性能的Arm Ethos-U55? NPU。該MCU還支持Arm TrustZone?安全執(zhí)行環(huán)境、硬件信任根、安全啟動(dòng)和高級(jí)加密引擎，確保關(guān)鍵邊緣應(yīng)用的安全部署。

RZ/G3E MPU結(jié)合了四核Arm Cortex-A55 CPU、Cortex-M33和高級(jí)顯卡，嵌入了Arm Ethos-U55 NPU，提供高達(dá)512GOPS的AI性能，減輕主CPU負(fù)擔(dān)，適用于圖像分類、語(yǔ)音識(shí)別和異常檢測(cè)等任務(wù)。

Arm NPU：功率與性能的理想平衡

Arm Ethos-U55 NPU支持ResNet、DS-CNN和MobileNet等流行神經(jīng)網(wǎng)絡(luò)模型，相比僅使用CPU處理，推理速度提高了35倍。Ethos-U55以毫瓦級(jí)功率提供硬件加速推理，非常適合物聯(lián)網(wǎng)邊緣設(shè)備。它還支持壓縮和量化神經(jīng)網(wǎng)絡(luò)，減少內(nèi)存和計(jì)算開銷，實(shí)現(xiàn)實(shí)時(shí)、本地化的AI處理。

開發(fā)工具簡(jiǎn)化AI邊緣部署

瑞薩電子的e2 studio集成開發(fā)環(huán)境結(jié)合了RUHMI框架，加速邊緣AIoT設(shè)計(jì)。RUHMI支持TensorFlow? Lite、PyTorch?和ONNX等領(lǐng)先的ML格式，使開發(fā)人員能夠?qū)牒蛢?yōu)化預(yù)訓(xùn)練模型，以實(shí)現(xiàn)高性能、低功耗的邊緣AI部署。RUHMI框架簡(jiǎn)化了圖像和音頻數(shù)據(jù)的預(yù)處理，并在NPU上執(zhí)行推理及結(jié)果后處理。

市場(chǎng)前景與未來趨勢(shì)

Grand View Research報(bào)告指出，到2024年全球邊緣AI市場(chǎng)的銷售額將超過200億美元，預(yù)計(jì)到2030年將達(dá)到近665億美元。MCU和MPU因其低功耗、本地化處理和成本效益，越來越成為邊緣AIoT視覺和語(yǔ)音應(yīng)用的首選。

瑞薩電子還在開發(fā)用于視覺轉(zhuǎn)換器（ViT）網(wǎng)絡(luò)的MPU，這種深度學(xué)習(xí)模型最初為自然語(yǔ)言處理設(shè)計(jì)，現(xiàn)應(yīng)用于計(jì)算機(jī)視覺。與耗電的GPU不同，ViT無需冷卻風(fēng)扇即可處理高分辨率圖像和視頻。此外，瑞薩電子正在創(chuàng)建零接觸安全解決方案，如后量子密碼學(xué)（PQC），以抵御來自經(jīng)典計(jì)算機(jī)和量子計(jì)算機(jī)的攻擊，增強(qiáng)網(wǎng)絡(luò)安全。

注：瑞薩電子代理商-深圳市中芯巨能電子有限公司，為制造業(yè)廠家的工程師或采購(gòu)提供選型指導(dǎo)+數(shù)據(jù)手冊(cè)+樣片測(cè)試+技術(shù)支持等服務(wù)。如需RA8P1和RZ/G3E等產(chǎn)品規(guī)格書、樣片測(cè)試、采購(gòu)、技術(shù)支持等需求，請(qǐng)加客服微信：13310830171。