近日，阿里云提出的計算池化解決方案“Aegaeon”成功入選頂級學術會議SOSP 2025，該方案可解決AI模型服務中普遍存在的GPU資源浪費問題，大幅提升GPU資源利用率，目前其核心技術已應用在阿里云百煉平臺。

 SOSP（操作系統原理研討會）由ACM SIGOPS主辦，是計算機系統領域頂級學術會議，平均每年收錄的論文數量僅有數十篇，被譽為計算機操作系統界的“奧斯卡”，入選論文代表了操作系統和軟件領域最具代表的研究成果。本屆SOSP大會上，系統軟件與AI大模型技術的融合成為新的趨勢。

數據顯示，在阿里云模型市場為期超三個月的Beta測試中，Aegaeon系統在服務數十個參數量高達720億的大模型時，所需的英偉達H20 GPU數量從1192個減至213個，削減比例高達82%（見下圖）。GPU用量削減82%意味著公司硬件采購成本將顯著降低，這對于動輒使用成千上萬張GPU的大型模型服務商至關重要。

 在真實的模型服務場景中，少數熱門模型（如阿里的Qwen）承載了絕大多數用戶請求，而大量不常被調用的“長尾”模型卻各自獨占著GPU資源。數據顯示，在阿里云模型市場中，曾有17.7%的GPU算力僅用于處理1.35%的請求，資源閑置嚴重。

而Aegaeon系統通過GPU資源池化，打破了“一個模型綁定一個GPU”的低效模式。

Token級調度是該系統的核心創新點，Aegaeon多模型混合服務系統在每次生成下一個token后動態決定是否切換模型，實現精細化管理，同時，通過組件復用、顯存精細化管理和KV緩存同步優化等全棧技術，Aegaeon將模型切換開銷降低97%，確保了token級調度的實時性，可支持亞秒級的模型切換響應。

據介紹，Aegaeon系統支持單GPU同時服務多達7個不同模型，相比現有主流方案提升1.5-9倍的有效吞吐量，實現2-2.5倍的請求處理能力。

如何從底層系統軟件層面優化，以更好地支撐和賦能上層AI應用，已成為全球學術界和工業界關注的焦點。未來AI的發展將不僅依賴于硬件算力的單純增長，更需要通過系統級的軟件創新來深度挖掘現有硬件的潛力。