在PC上運行人工智能（AI）模型面臨的一個主要挑戰(zhàn)是模型的龐大尺寸。特別是對于大型語言模型（LLMs），其參數(shù)數(shù)量可能達到數(shù)十億乃至數(shù)萬億，這要求大量的存儲空間和內(nèi)存資源來存儲和加載模型。例如，美光的內(nèi)部實驗顯示，一個擁有700億個參數(shù)且采用4位精度的Llama2模型（一種廣泛應(yīng)用于自然語言生成的LLM）需要約42GB的內(nèi)存來加載并執(zhí)行推理任務(wù)，其輸出速度為每秒1.4個Token。然而，普通PC通常無法提供如此大量的內(nèi)存資源。這一矛盾揭示了一個核心問題，同時也為AI PC的未來發(fā)展指明了方向。

未來的模型分化

未來的AI模型很可能會出現(xiàn)分化，以適應(yīng)不同規(guī)模的硬件資源。700億參數(shù)級別的大型模型可能更適合于內(nèi)存和存儲空間充裕的高級系統(tǒng)，用于運行經(jīng)過精細微調(diào)并針對特定對話用例優(yōu)化的應(yīng)用程序，比如聊天補全等。同時，這類大型模型也可能被用于本地設(shè)備上的個人助手。另一方面，參數(shù)數(shù)量少于100億的較小模型則更適合于主流設(shè)備，因為它們只需增加大約2GB的內(nèi)存即可實現(xiàn)諸如文本補全、列表完成和分類等語言處理任務(wù)。

內(nèi)存的重要性

不同大小的AI模型需要相應(yīng)的內(nèi)存容量支撐，尤其是在PC環(huán)境中。除了內(nèi)存容量外，內(nèi)存的帶寬和能效也是至關(guān)重要的因素。隨著PC（特別是移動設(shè)備）從DDR向LPDDR內(nèi)存的過渡，帶寬和能效得到了顯著提升。例如，LPDDR5X在活躍使用期間的功耗比DDR5降低了44%-54%，而在自刷新模式下的功耗降低了86%。同時，LPDDR5的帶寬達到了6.4Gb/s，高于DDR5的4.8Gb/s。如果AI技術(shù)能在PC上迅速普及，LPDDR5的普及率也會隨之加快。此外，將一部分處理任務(wù)直接在內(nèi)存中完成的研究和開發(fā)工作也在進行中，這有望進一步提高能源效率。

存儲中的處理技術(shù)

另一個重要議題是：AI模型的最佳運行環(huán)境在哪里？當(dāng)模型尺寸相對較大時，是否有可能減少對內(nèi)存的依賴，將部分模型放置在存儲設(shè)備中？如果可行，就需要提高存儲帶寬以滿足模型數(shù)據(jù)的頻繁交換需求。這可能促使Gen5 PCIe存儲設(shè)備在主流PC中的普及，或是加速Gen6 PCIe存儲設(shè)備的發(fā)展。

最近，蘋果公司發(fā)表了一篇關(guān)于此話題的論文，題目為“閃存中的LLM：在有限內(nèi)存中進行高效的大型語言模型推理”。該論文提出了一種在可用DRAM容量不足的設(shè)備上運行大型語言模型的方法。作者建議將模型參數(shù)存儲在閃存中，并按需將其加載至DRAM中。此外，論文還介紹了一系列優(yōu)化數(shù)據(jù)傳輸量以及提高讀取吞吐量的方法，以顯著提升推理速度。在論文中，評估不同閃存加載策略的主要指標是延遲，分為三個部分：從閃存加載數(shù)據(jù)的I/O成本、使用新加載數(shù)據(jù)時的內(nèi)存管理開銷以及推理操作的計算成本。總的來說，這篇論文提供了一種解決方案，即通過將模型參數(shù)存儲在閃存中并在需要時加載至DRAM中，解決了“如何有效運行超出可用DRAM容量的LLM”的難題。