作者:金鑫,IBM中國區(qū)存儲(chǔ)業(yè)務(wù)銷售總經(jīng)理
北京2026年5月19日 /美通社/ -- 最近,IBM研究院與英偉達(dá)(NVIDIA)、三星共同展示了一項(xiàng)內(nèi)容感知存儲(chǔ)系統(tǒng)(content awareness storage)[1]。該系統(tǒng)在單臺(tái)服務(wù)器上成功支持千億級(jí)別向量的存儲(chǔ)與檢索,平均查詢延遲為694毫秒,召回精度達(dá)90%。系統(tǒng)硬件組合為IBM Storage Scale System 6000全閃存設(shè)備、六顆英偉達(dá)H200 GPU以及48塊三星30.72TB容量的PCIe Gen5 NVMe固態(tài)硬盤。IBM Storage Scale System 6000 全閃存設(shè)備將計(jì)算與存儲(chǔ)解耦,并通過英偉達(dá) H200 GPU 加速索引重建,將原本基于 CPU 需耗時(shí)數(shù)小時(shí)的索引構(gòu)建過程,縮短至 GPU 上的數(shù)分鐘。
我們一起來看看IBM是如何用單機(jī)實(shí)現(xiàn)了現(xiàn)在大集群才能實(shí)現(xiàn)的結(jié)果。
今天,大模型版本平均數(shù)天便迎來一次更新,RAG(檢索增強(qiáng)生成)已成為挖掘非結(jié)構(gòu)化數(shù)據(jù)價(jià)值的核心。企業(yè) CIO 普遍面臨核心課題:如何借助通用人工智能(AI)與 AI 智能體實(shí)現(xiàn)日常運(yùn)營提效?如何依托現(xiàn)有 IT 資源輸出精準(zhǔn)、高價(jià)值的業(yè)務(wù)決策?
高質(zhì)量 AI 應(yīng)答的核心前提,是模型可高效觸達(dá)原始可信數(shù)據(jù),而檢索增強(qiáng)生成(RAG)正是優(yōu)化推理效果、提升應(yīng)答準(zhǔn)確性與時(shí)效性的關(guān)鍵技術(shù)。然而,當(dāng)向量數(shù)據(jù)量激增至數(shù)十億級(jí)別時(shí),CIO們面臨到了傳統(tǒng)全內(nèi)存向量索引方案的容量與成本困境。飛漲的DRAM價(jià)格、不穩(wěn)定的貨期和數(shù)據(jù)在CPU與存儲(chǔ)間頻繁搬運(yùn)造成的"內(nèi)存墻"與"IO墻"瓶頸,正嚴(yán)重制約著AI應(yīng)用的規(guī)模化落地,企業(yè)在落地過程中普遍遭遇四大痛點(diǎn):
打破 "1% 數(shù)據(jù)困局",讓 AI 走向數(shù)據(jù)
當(dāng)下企業(yè)被海量非結(jié)構(gòu)化數(shù)據(jù)包圍,PDF、郵件、音視頻、演示文稿、財(cái)務(wù)報(bào)表等數(shù)據(jù)持續(xù)增長,但能被大模型調(diào)用并產(chǎn)生價(jià)值的占比不足 1%。
RAG 技術(shù)通過數(shù)據(jù)向量化、優(yōu)化批量刷新周期、依托 GPU 集群實(shí)現(xiàn)分布式處理,可打破數(shù)據(jù)訪問限制,讓 AI 覆蓋更廣泛的數(shù)據(jù)來源。而 IBM Storage Scale 的核心突破,在于摒棄 "數(shù)據(jù)遷移至 AI" 的傳統(tǒng)模式,實(shí)現(xiàn) "AI 走向數(shù)據(jù)" 的全新范式。簡單的說,就是CAS技術(shù)直接在存儲(chǔ)層做文檔的提取和向量化(甚至集成了NVIDIA的微服務(wù))實(shí)現(xiàn)了讓 AI 走向數(shù)據(jù),即讓 AI 快速定位合規(guī)、潔凈的可用數(shù)據(jù),從源頭降低模型幻覺風(fēng)險(xiǎn),這一能力依托 IBM CAS 內(nèi)容感知存儲(chǔ)(Content-Aware Storage)技術(shù)實(shí)現(xiàn)。
AI 存儲(chǔ)新范式:CAS 將向量處理下沉至存儲(chǔ)層
CAS 的顛覆性創(chuàng)新,是讓存儲(chǔ)系統(tǒng)從被動(dòng) "數(shù)據(jù)倉庫" 轉(zhuǎn)變?yōu)橹鲃?dòng) "AI 參與單元"—— 存儲(chǔ)不再僅保存數(shù)據(jù),而是對(duì)數(shù)據(jù)項(xiàng)進(jìn)行量化理解,將原本由向量數(shù)據(jù)庫承擔(dān)的文檔向量化流程,從應(yīng)用層直接下沉至存儲(chǔ)層。
通俗來講,傳統(tǒng) RAG 需先將數(shù)據(jù)從存儲(chǔ)取出,在外部完成向量化后導(dǎo)入向量數(shù)據(jù)庫;而 CAS 可在存儲(chǔ)系統(tǒng)內(nèi)部完成全流程處理,數(shù)據(jù)無需遷移、無需拷貝。
該技術(shù)源于 IBM 研究院在自然語言處理、向量嵌入模型、硬件加速領(lǐng)域的長期技術(shù)積累。文檔數(shù)據(jù)提取流程深度整合基于 NVIDIA NIM 構(gòu)建的 NVIDIA NeMo Retriever 微服務(wù)(隸屬于 NVIDIA AI Enterprise),確保 AI 助手與 AI Agent 基于最新、最相關(guān)的上下文應(yīng)答,簡化 RAG 運(yùn)維、提升 AI 應(yīng)用業(yè)務(wù)價(jià)值。
IBM Storage Scale(原 GPFS)為企業(yè)構(gòu)建全局統(tǒng)一數(shù)據(jù)平臺(tái),在多站點(diǎn)、多云、數(shù)據(jù)中心與邊緣環(huán)境間打造單一命名空間,兼容第三方存儲(chǔ),打破數(shù)據(jù)孤島,實(shí)現(xiàn)全域數(shù)據(jù)統(tǒng)一訪問。CAS 作為 Storage Scale 的全新 AI 增強(qiáng)能力,助力企業(yè)從現(xiàn)有數(shù)據(jù)資產(chǎn)中挖掘更大價(jià)值,顯著提升 RAG 準(zhǔn)確性、減少模型幻覺,讓 AI 模型無需重新訓(xùn)練即可同步最新數(shù)據(jù),適配科研、客戶服務(wù)、知識(shí)型應(yīng)用等企業(yè)級(jí)場(chǎng)景。
企業(yè)級(jí) RAG 規(guī)模化:打破性能瓶頸,加碼安全合規(guī)
市面主流向量數(shù)據(jù)庫支撐百億級(jí)向量,通常需要數(shù)十乃至上百臺(tái)服務(wù)器,節(jié)點(diǎn)規(guī)模擴(kuò)張后,分布式索引同步、故障恢復(fù)、擴(kuò)容遷移等問題頻發(fā),運(yùn)維與成本壓力巨大。
IBM Storage Scale 存儲(chǔ)方案實(shí)現(xiàn)單服務(wù)器承載 1000 億向量,按企業(yè)典型文檔場(chǎng)景測(cè)算,可全面覆蓋 PB 級(jí)至數(shù)十 PB 級(jí)非結(jié)構(gòu)化數(shù)據(jù),為企業(yè) CIO 帶來四大核心價(jià)值:
底層核心優(yōu)勢(shì):數(shù)據(jù)就地處理、無需遷移,檢索與計(jì)算在數(shù)據(jù)存儲(chǔ)位置直接完成,天然契合數(shù)據(jù)合規(guī)與安全管控要求。
單服務(wù)器承載千億向量的技術(shù)底氣:核心依托IBM Storage Scale System 6000 全閃存存儲(chǔ)一體機(jī):單節(jié)點(diǎn)配置 48 塊 NVMe 盤,搭載 PCIe Gen5 與 400Gb InfiniBand 高速互聯(lián),結(jié)合 NVIDIA GPUDirect Storage 技術(shù),實(shí)現(xiàn) GPU 直接訪問 SSD 數(shù)據(jù),跳過 CPU 數(shù)據(jù)搬運(yùn)環(huán)節(jié)。
系統(tǒng)將超大規(guī)模索引拆分為多個(gè)獨(dú)立子索引,各子索引可獨(dú)立優(yōu)化、獨(dú)立重建、互不干擾,徹底解決傳統(tǒng)向量數(shù)據(jù)庫 "牽一發(fā)而動(dòng)全身" 的重構(gòu)痛點(diǎn)。
實(shí)測(cè)數(shù)據(jù)對(duì)比:純 CPU 環(huán)境下,千億級(jí)向量索引重建需 120 天;搭載 6 塊 NVIDIA H200 GPU 的 IBM Storage Scale System 6000,僅需4 天即可完成。
結(jié)語
人工智能時(shí)代,存儲(chǔ)的角色被重新定義。IBM 給出明確答案:存儲(chǔ)不應(yīng)成為 AI 瓶頸,而應(yīng)是 AI 基礎(chǔ)設(shè)施的核心加速器。
本次方案提供純軟件版與一體機(jī)版兩種交付形態(tài),全面兼容 RHEL AI 開源數(shù)據(jù)流水線,深度集成 NVIDIA AI Data Platform,是可直接落地生產(chǎn)環(huán)境的企業(yè)級(jí)解決方案。
以 IBM Storage Scale 為核心的 AI 存儲(chǔ)方案,正在讓 PB 級(jí)企業(yè) RAG 從技術(shù)構(gòu)想變?yōu)楝F(xiàn)實(shí)。RAG 的規(guī)模上限,不再受限于向量數(shù)量與存儲(chǔ)性能,而取決于企業(yè)可觸達(dá)、可利用的數(shù)據(jù)邊界。
[1] IBM Introduces Content-Aware-Storage for RAG Workloads, Storage review, April 22, 2026. https://www.storagereview.com/news/ibm-introduces-content-aware-storage-for-rag-workloads |