> 资讯
依托NVIDIA cuVS库和KIOXIA AiSAQ技术,以极低DRAM用量完成1024维向量索引
Kioxia Corporation今日宣布,凭借其开源的KIOXIA AiSAQ™近似最近邻搜索(ANNS)技术,成功演示在单台服务器上实现48亿向量的高维向量搜索扩展。此外,Kioxia还展示了通过NVIDIA cuVS利用GPU加速,显著缩短索引构建时间的成果。这两项成果标志着检索增强生成(RAG)搜索解决方案取得了重大进展。目前公司正持续开发,以支持超过48亿向量的更大规模部署。
大规模向量数据库的索引构建时间是行业的核心痛点。Kioxia与NVIDIA合作,演示了其在1024维高维向量的KIOXIA AiSAQ索引构建时间上最多20倍的改进,以及端到端构建时间上最多7.8倍的改进。这20倍的改进意味着,构建索引的时间从使用CPU的28.4天缩短至使用4块NVIDIA Hopper GPU的1.4天,端到端测试时间从31天缩短至4天。1
如今,AI应用可依赖存储在固态硬盘上的更大规模向量化信息(可达数百亿向量及以上),而仅靠DRAM即便在十亿级规模下也已不再适用。Kioxia借助KIOXIA AiSAQ技术,实现了十亿级搜索的高可扩展存储架构,在Milvus向量数据库环境中,使用单台查询服务器即可满足RAG应用的延迟要求。其索引构建依托GPU加速,让大规模部署变得切实可行。
NVIDIA存储技术副总裁Jason Hardy表示:“向量数据库是那些需要在海量非结构化数据集中实时理解意图、上下文和相似度的应用的核心支撑。通过借助NVIDIA cuVS库实现GPU加速索引,Kioxia支持高维向量数据库实现扩展,并以前所未有的效率构建索引。”
KIOXIA AiSAQ开源软件技术于去年首次发布,通过支持直接从固态硬盘进行向量搜索并降低DRAM用量,解决了RAG技术的可扩展性挑战。KIOXIA AiSAQ技术具备高可扩展性,非常适合多租户环境和大规模单体索引部署。该技术采用创新的全局索引(Global Index)算法,结合混合聚类和图搜索,在超大规模下实现高效向量搜索。KIOXIA AiSAQ软件提供灵活的调优选项,可在性能与大规模向量可扩展性之间取得平衡,让大规模部署更易实现和扩展。
Kioxia Corporation常务执行董事、固态硬盘事业部副总裁Masashi Yokotsuka表示:“将向量数据库扩展至十亿级规模,需要重新思考内存和计算方案。通过将基于KIOXIA AiSAQ固态硬盘的向量搜索与NVIDIA用于索引构建的GPU加速相结合,我们实现了大规模部署下切实可行的索引构建。作为行业创新者,我们将继续利用闪存技术突破AI的边界。”
Kioxia始终致力于推进由存储驱动的AI解决方案,以支持大规模智能数据处理,并持续推动KIOXIA AiSAQ向万亿向量级部署迈进。
|
注: |
|
1. 本次基准测试共处理了19.66 TB向量数据。性能或基准测试结果可能因主机设备、读写条件、数据大小及其他因素而有所不同。 |
|
KIOXIA AiSAQ是KIOXIA的商标。 |
|
公司名称、产品名称和服务名称可能第三方公司的商标。 |
关于Kioxia
Kioxia是全球存储解决方案领域的领军企业,致力于闪存和固态硬盘(SSD)的开发、生产和销售。其前身Toshiba Memory于2017年4月从1987年发明NAND闪存的公司Toshiba Corporation分拆而出。Kioxia致力于通过提供产品、服务和系统来为客户创造选择,并为社会创造基于存储技术的价值,从而提升世界的“记忆”。Kioxia创新的3D闪存技术BiCS FLASH™正在塑造存储技术在高密度应用领域(包括高级智能手机、PC、汽车系统、数据中心和生成式AI系统)的未来。
本文档中的信息(包括产品价格和规格、服务内容和联系信息)在公告发布之日是正确的,但如有更改,恕不另行通知。
- 搜索
-
- 03-18锅圈(2517.HK)核心经营利润劲增 四店齐发驱动长期成长
- 03-18KIOXIA单服务器实现48亿高维向量搜索数据库,借助GPU实现索引构建时间加速7.8倍
- 03-18从农村女孩走向世界:酒店清洁工到美国留学——选择大于努力
- 03-18从存量市场破局:邦克不锈钢定制如何引领家居行业新未来
- 03-18体育+文化+旅游+产业+招商 草原村排:超级文旅IP引爆中国城市招商 参加上海国际文创潮玩展荣膺“玉猴奖”三项大奖
- 03-18“家·恋”VIP艺术季《鼓舞百年》鼓乐剧专场活动开启倒计时3天
- 03-18江苏和气生财贸易有限公司完成1000万元天使轮融资 加速生鲜供应链数字化升级
- 03-18领跑健康钛时代:灵阅纯钛保温杯荣膺“2026年度钛杯行业十大品牌”称号
- 03-18深耕岭南守初心,走进千家万户,瑞众保险广东分公司筑牢“3·15”金融消费安全防线
- 03-18Kioxia宣布推出针对AI GPU发起式工作负载进行优化的全新固态硬盘型号