線(xiàn)上預估服務(wù)是AI在企業(yè)應用落地的關(guān)鍵環(huán)節，企業(yè)通常會(huì )采用分布式計算架構在內存中完成實(shí)時(shí)數據處理和高達萬(wàn)億維的模型特征存儲，并通過(guò)多集群副本解決傳統純內存（DRAM）天生的易“失”性隱患，以達到線(xiàn)上實(shí)時(shí)服務(wù)質(zhì)量（Quality of Service）效果。然而，隨著(zhù)企業(yè)AI應用模型大小和數量的增長(cháng)，線(xiàn)上預估服務(wù)所需要的硬件資源也呈幾何倍數增加。

為進(jìn)一步滿(mǎn)足企業(yè)線(xiàn)上預估需求，第四范式定制開(kāi)發(fā)了基于持久內存技術(shù)、支持實(shí)時(shí)恢復的萬(wàn)億維線(xiàn)上預估系統，為企業(yè)提供高可用性、毫秒級恢復的在線(xiàn)預估服務(wù)，同時(shí)將企業(yè)總擁有成本降低80%。該系統基于第四范式AI算力平臺SageOne的持久內存進(jìn)行了軟硬一體設計，與其他預估系統相比，可實(shí)現每秒億級KV查詢(xún)的高性能，并能夠與第四范式自研的高維機器學(xué)習框架以及TensorFlow等AI開(kāi)源框架無(wú)縫對接。保證了在線(xiàn)預估服務(wù)無(wú)論在發(fā)生物理故障或者程序崩潰的情況下，均具備毫秒級故障實(shí)時(shí)恢復特性，是企業(yè)低成本實(shí)現高可用AI線(xiàn)上預估服務(wù)的最佳選擇。

第四范式自研的基于持久內存的萬(wàn)億維級參數服務(wù)器 – HyperPS是該線(xiàn)上預估系統的關(guān)鍵基礎組件。HyperPS參數服務(wù)器具備高性能底層序列化框架、鏈路共享、多級訪(fǎng)存優(yōu)化、雙端參數合并及動(dòng)態(tài)擴縮容等特性?；诔志脙却嬖O計和優(yōu)化后，HyperPS在保持與基于純內存參數服務(wù)器幾乎一致性能的同時(shí)，展現出在線(xiàn)上預估應用中數據實(shí)時(shí)恢復和應用成本低的巨大優(yōu)勢。

持久內存加持 參數服務(wù)器性能升級

參數服務(wù)器通常將所有數據放在純內存中處理，AI模型越大，分布式參數服務(wù)器的內存需求越大。此外，純內存雖然性能優(yōu)秀，但因其易失性（volatile）特性，一旦硬件或者軟件發(fā)生故障，內存丟失的全部數據必須從持久性存儲設備（HDD/SSD）中讀取日志恢復，恢復速度慢，嚴重影響線(xiàn)上性能服務(wù)質(zhì)量。

持久內存的大容量、高性能、非易失性屬性，為其帶來(lái)了高安全性、低成本等優(yōu)勢，改善了目前純內存容量小、成本高、災備恢復慢等問(wèn)題。針對持久內存這些應用優(yōu)點(diǎn)，第四范式針對HyperPS參數服務(wù)器的底層系統架構和存取性能等進(jìn)行了軟硬一體設計。首先，針對節點(diǎn)內的shard重新設計了新的存儲引擎，采用持久化哈希表為底層數據結構儲存特征，保證高并行度性能的同時(shí)，對持久內存數據組織格式進(jìn)行優(yōu)化，達到接近于純內存哈希表的性能；其次，對參數服務(wù)器災難恢復機制調優(yōu)，使用持久化智能指針記錄哈希表的核心數據結構和根指針，實(shí)現業(yè)界首創(chuàng )的參數服務(wù)器實(shí)時(shí)恢復能力；再次，利用PMDK的transaction機制，使用pmempool分配和管理持久內存空間，確保持久內存數據一致性；最后，針對影響性能的持久化操作進(jìn)行策略性的降低，進(jìn)一步提高性能。

在實(shí)際測試環(huán)境中，基于持久內存的HyperPS表現出更低的擁有成本和巨大的實(shí)時(shí)恢復優(yōu)勢，以及與純內存近乎一致的性能表現。

01. 企業(yè)AI應用內存預估：

AI為企業(yè)帶來(lái)出眾的業(yè)務(wù)效果，同時(shí)企業(yè)也要承擔AI產(chǎn)生的成本壓力，特別是當AI規?；瘧脮r(shí)。以某著(zhù)名手機終端廠(chǎng)商為例，分別采用配備384GB 純內存服務(wù)器和配備2TB持久內存的服務(wù)器為預估單節點(diǎn)基準。每上線(xiàn)一個(gè)模型在在純內存的參數服務(wù)器上占用內存空間大概是128GB?；诔志脙却娴臄祿Y構由于其有額外的持久化邏輯，在空間復雜度上會(huì )略高于純內存數據結構，其空間占用大概是204GB。在此基礎上，估算企業(yè)上線(xiàn)1-100個(gè)模型參數服務(wù)器所需的純內存物理節點(diǎn)數和配備持久內存的物理節點(diǎn)數量。

從預估結果來(lái)看，企業(yè)需要采用持久內存的物理節點(diǎn)數量和純內存的物理節點(diǎn)數量比為1:3.4-4，而持久內存的參數服務(wù)器總成本最多下降80%。

02. 數據恢復速度測試：

當系統節點(diǎn)出現故障時(shí)，采用純內存的參數服務(wù)器需要從數據存儲集群（如HDFS）重新申請模型參數數據恢復，耗時(shí)長(cháng)，嚴重影響線(xiàn)上服務(wù)質(zhì)量。采用持久內存的HyperPS則完全不同，節點(diǎn)發(fā)生故障或者程序崩潰后，數據依然保存在持久內存中，服務(wù)重啟后只需要調用優(yōu)化過(guò)的數據一致性檢查函數，即可實(shí)現毫秒級實(shí)時(shí)恢復。

以恢復6千萬(wàn)維參數模型為例，純內存參數服務(wù)器恢復模型需要花費58秒，而持久性?xún)却鎱捣?wù)器只需要0.03秒，故障恢復時(shí)長(cháng)縮短將近2000倍。

恢復20個(gè)模型總計12億維參數測試中，純內存參數服務(wù)器數據恢復時(shí)間隨著(zhù)數據總量增加而大幅增長(cháng)，而持久內存的參數服務(wù)器幾乎沒(méi)有受到影響，只需檢查哈希表元數據后即可提供服務(wù)，其恢復時(shí)長(cháng)縮短17114倍。

03. 預估性能測試：

HyperPS不僅大幅降低了總擁有成本并提升數據恢復速度，也展現出和純內存模式下同水準的性能表現。在非高壓（1個(gè)請求線(xiàn)程）和高壓（56個(gè)并發(fā)請求線(xiàn)程）的情況下的請求延遲（TP99）。結果表明，基于持久內存的HyperPS參數服務(wù)器在延遲上，與采用純內存的參數服務(wù)器性能相近。單線(xiàn)程和56線(xiàn)程兩個(gè)測試中，持久內存的參數服務(wù)器均僅比采用純內存的參數服務(wù)器延遲多1毫秒。

在吞吐性能對比測試項目中，基于持久內存的參數服務(wù)器在56線(xiàn)程的高壓負載測試中的QPS僅比純內存參數服務(wù)器低3.5%。

此次，通過(guò) “軟件定義算力”的全新方式，第四范式將自研HyperPS萬(wàn)億維參數服務(wù)器與英特爾?傲騰?持久內存進(jìn)行軟硬一體優(yōu)化設計，保證線(xiàn)上推理服務(wù)超高性能的同時(shí)，大幅降低企業(yè)AI整體投入成本，提升線(xiàn)上服務(wù)質(zhì)量，進(jìn)一步掃清了企業(yè)AI規?；瘧玫那斑M(jìn)障礙。