當前，隨著AI技術與各類設備的加速融合，AI早已不再局限于云端，而正在向邊緣和端側加速落地。據SHD Group預測數據，到2030年，邊緣AI SoC市場營收或達千億美元規模。

從應用層面來看，邊緣AI能帶來時延、安全、能效、成本和穩定性等多方面優勢，但也在技術和生態層面帶來諸多挑戰。

舉例來說，智能攝像頭正通過本地運行更復雜的計算機視覺算法，工業傳感器也更多在本地處理更復雜的AI模型，這類設備的本地運行模式，確實能帶來更低時延與成本；但隨著設備側數據量持續攀升，工作負載達到新量級，數據安全的重要性也被提升到了空前高度。

在這樣的背景之下，物聯網廠商迫切需要新的AI算力底座幫助他們進行快速創新和擴展，行業正呼喚技術層面更高效、生態層面更完善的新解法。

近年來，作為計算平臺領域重要玩家之一的Arm，對AI的發展一直保持著敏銳嗅覺，其諸多重要策略均直指AI給各領域帶來算力挑戰。從數據中心、汽車、手機、PC到IoT，基于Arm生態的AI計算平臺已經無處不在。

聚焦邊緣AI領域，Arm于今年二月發布了全球首個專為物聯網及邊緣AI工作負載優化的Armv9邊緣AI計算平臺，推動物聯網行業加速邁入AI時代。如今，該計算平臺將正式通過Arm技術授權訂閱模式中的Arm Flexible Access模式開放獲取，為邊緣AI產業發展進一步注入新動力。

一、底層架構創新下放，Arm新平臺直指物聯網AI融合痛點

縱觀當前AI技術的發展，AI大模型“小型化”趨勢突出，越來越多的優秀小模型開始擁有更為出色的AI性能；與此同時，Agent智能體浪潮涌起，Agent成為各類垂類專業模型的“大管家”，調度各類設備、統籌各類邊緣和端側數據，高效處理復雜的現實任務。

物聯網設備的AI化已經成為一種必然，正如Arm所指出的，下一波AI計算創新浪潮將在邊緣側展開，在那些讓智能更貼近數據產生源頭的設備、接口與系統中蓬勃發展。

在這樣的確定性之下，如何讓物聯網設備可以更好地在邊緣側落地AI，已成為十分迫切的問題。整體來看，Armv9在物聯網領域的下放，提供了智能邊緣設備大規模部署所需的高性能與高能效，其內置的安全機制還能兼顧數據安全，而架構本身的靈活性與可擴展性，更為后續發展預留了充足空間。

首先，AI時代最核心的是AI性能。Arm最新的邊緣AI計算平臺將性能拉滿——通過集成增強的Armv9的Neon和SVE2向量處理技術，在ML性能方面，Cortex-A320相較于前代超高效CPU（Cortex-A35）提升了高達10倍的ML計算能力，標量性能提升了30%；相較于去年推出的基于Cortex-M85的平臺，新平臺的ML性能提高了8倍之多。目前新邊緣AI計算平臺已經可以支持參數量超10億的端側AI模型。

Arm物聯網事業部硬件產品管理高級總監Lionel Belnet在與智東西等媒體的交流中提到，Arm在邊緣AI的Armv9產品矩陣可從超高能效的Cortex-A320一路展開到最新發表的超高性能C1-Ultra，達到邊緣AI全場景的覆蓋。

能效方面，Arm架構本身以低功耗著稱，而Armv9邊緣AI計算平臺中包含了Armv9架構的超高能效CPU——Arm Cortex-A320，它的能效比較Cortex-A520（Arm的高效Armv9.2 CPU）提升了50%，進一步降低了功耗。

需要指出的是，能效對應的是企業成本，這對物聯網這種對功耗要求嚴苛的行業至關重要，這也是Arm架構在該領域廣受歡迎的原因。

另外一個至關重要的點是安全性。為了應對大量數據在邊緣側的采集、計算帶來的數據隱私安全的風險，Arm將Armv9的一系列先進安全技術下放到邊緣AI市場，如指針驗證（PAC）、分支目標識別（BTI）和內存標記擴展（MTE），給邊緣側的關鍵應用與數據安全提供了扎實的防護。

值得一提的是，在出色AI能力、高安全性的基礎上，Armv9架構的高擴展性、靈活性同樣給物聯網廠商們帶來了開發層面的極大便利。

此外，邊緣AI普及面臨的最主要障礙之一就是軟件開發和部署的復雜性，這正是Armv9邊緣AI計算平臺軟件生態系統發揮優勢的關鍵所在。

今年初Arm將開源AI庫Arm KleidiAI擴展到了物聯網領域，迄今已與幾乎所有主流物聯網AI框架進行集成。簡單來說，Arm KleidiAI可以讓開發者無縫地利用到Armv9架構的先進功能和靈活性，簡化邊緣AI開發流程。

根據官方數據，在Llama.cpp上運行微軟Tiny Stories數據集，KleidiAI的集成給新的Cortex-A320可以帶來70%的性能提升，同時KleidiAI兼容Linux、Zephyr等操作系統，靈活性大幅提升。