RM新时代APP官网网址

性能超越A100!范式XC-LLM在昆侖芯P800實(shí)現百款模型適配突破
2026-03-12

在國產(chǎn)算力生態(tài)從“環(huán)境就緒”向“效能引領(lǐng)”跨越的關(guān)鍵階段,軟硬件間的深度協(xié)同與生態(tài)適配效率已成為決定大模型落地速度的核心變量。

近日,范式信創(chuàng )模盒宣布,其發(fā)布的InfiniVRAM(無(wú)限顯存)技術(shù)已擴展支持昆侖芯P800,在昇騰910B系列上率先驗證了“單卡多模型、秒級熱切換”的可行性。該技術(shù)于今年一月正式發(fā)布,是信創(chuàng )模盒的XC-LLM推理引擎的首個(gè)重磅特性。

基于XC-LLM統一的顯存管理抽象架構,范式不僅實(shí)現了核心技術(shù)的平滑遷移,更助力昆侖芯P800在極短時(shí)間內達成100+主流模型適配的里程碑。在性能實(shí)測中,靜態(tài)圖模式下的推理速度更是展現出超越A100的表現。

統一顯存管理架構:實(shí)現跨平臺平滑遷移

此次昆侖芯P800的快速適配,得益于XC-LLM統一的顯存管理抽象架構。

通過(guò)復用已有的顯存管理層接口與資源治理協(xié)議,技術(shù)團隊完成了從昇騰到昆侖芯的高效遷移。這種“架構驅動(dòng)”的設計哲學(xué),屏蔽了底層硬件的復雜差異,為后續向海光、寒武紀等更多信創(chuàng )芯片的快速擴展奠定了標準化基礎。在信創(chuàng )算力生態(tài)中,范式正在將“模型適配”從繁重的重復勞動(dòng)進(jìn)化為高效的“工業(yè)化生產(chǎn)”。

百模適配達成:覆蓋1B至72B全譜系

依托XC-LLM推理引擎,昆侖芯P800目前已成功適配百余款模型,架構覆蓋廣泛:

  • 全系列主流架構:Qwen(1.5/2/2.5/3)、GLM-4、Llama(2/3/3.1/3.2)以及OLMo等。

  • 全尺寸支持:測試范圍涵蓋1B至72B的各種模型參數規模。

這意味著(zhù)開(kāi)發(fā)者可以無(wú)需顧慮算力底座,在P800上實(shí)現大模型應用的“開(kāi)箱即用”。

性能突破:靜態(tài)圖模式超越英偉達A100

除適配廣泛外,XC-LLM引擎對昆侖芯XPU-P架構的潛能挖掘同樣也體現在在性能參數上。在Qwen3-8B的推理實(shí)測中,開(kāi)啟XC-LLM靜態(tài)圖模式后的P800展現出更強競爭力:

  • 昆侖芯P800 (XC-LLM):112.8 token/s

  • NVIDIA A100:89.6 token/s

實(shí)測數據顯示,P800的推理吞吐量已顯著(zhù)超越A100,充分釋放了國產(chǎn)自研架構在高并發(fā)推理場(chǎng)景下的核心優(yōu)勢。

虛擬化突破:InfiniVRAM助力算力“動(dòng)態(tài)治理”

針對信創(chuàng )落地中顯存利用率低、資源分配死板的痛點(diǎn),XC-LLM在P800上實(shí)現了深度的資源隔離與虛擬化管理:

  • InfiniVRAM顯存虛擬化分配:支持單卡部署多模型且總顯存需求遠超物理容量的場(chǎng)景。當請求在不同模型間切換時(shí),調度系統觸發(fā)秒級熱切換,完成顯存換入換出,全過(guò)程對應用層透明。

  • GPU柔性虛擬化:基于昆侖芯P800搭載的96GB HBM2e高速顯存,XC-LLM支持將單卡切分為2x48G或4x24G等多種規格。系統能夠根據不同模型的實(shí)際胃口,動(dòng)態(tài)調整算力分配,實(shí)現“一卡多機”或“單卡多任務(wù)”的最優(yōu)資源配置。

生態(tài)演進(jìn):作為插件無(wú)縫接入vLLM

為了讓開(kāi)發(fā)者能夠同步全球最前沿的算法進(jìn)展,范式積極擁抱開(kāi)源生態(tài)。通過(guò)對vLLM-Kunlun的深度開(kāi)發(fā),現已支持無(wú)縫接入最新版本vLLM引擎。

這種“插件化”設計,能夠支持Qwen(2/2.5/3)、GLM(4.5/4.7/5)、DeepSeek(R1/V3/V3.2)等多款大模型,確保P800在將來(lái)能夠迅速支持各類(lèi)新模型,真正實(shí)現“底層算力與前沿生態(tài)的零時(shí)差對齊”。

XC-LLM 推理引擎代碼庫(昆侖芯專(zhuān)版)現已同步更新:

https://git.modelhub.org.cn:9443/EngineX/xc-llm-kunlun.git

從“無(wú)限顯存”特性的發(fā)布,到昆侖芯P800百模適配的突破,范式信創(chuàng )模盒ModelHub XC始終致力于填平“模型”與“算力”之間的鴻溝。范式將繼續攜手生態(tài)伙伴,推動(dòng)信創(chuàng )算力在金融、能源、交通等核心場(chǎng)景的規?;涞?,共同構建安全可控的智能未來(lái)。

未來(lái),我們將繼續攜手合作伙伴,讓每一份國產(chǎn)算力都能在EngineX引擎的驅動(dòng)下,“算”盡其用,“算”出未來(lái)。

范式集團(港交所代碼: 6682)是全球領(lǐng)先的通用人工智能科技公司,以“AI for everyone”為使命,致力于用“AI agent+世界模型”的技術(shù)路線(xiàn)賦能千行萬(wàn)業(yè)。公司成立于2014年,于2025年實(shí)現集團化,下設企業(yè)服務(wù)(第四范式)、大模型與AGI(萬(wàn)神殿)、消費電子(范式領(lǐng)航)、智慧能源(范式方舟)、智慧體育(范式網(wǎng)動(dòng))等業(yè)務(wù)板塊。截至目前,公司已在金融、零售、醫療等領(lǐng)域成功落地超10000+個(gè)AI應用,始終致力于推動(dòng)AI普惠,助力企業(yè)實(shí)現可持續增長(cháng)。

RM新时代APP官网网址