互联网资讯 · 2024年3月19日 0

零一万物向量数据库取得新突破!笛卡尔(Descartes)获得六项第一

3月11日消息,在国际权威评测平台ANN-BencHMaRks离线测试中,零一万物笛卡尔(DescaRtes)向量数据库登顶 6份数据集评测第一名。

“笛卡尔(DescaRtes)”是零一万物研发出的基于全导航图的新型向量数据库,是能影响大模型性能表现的基础设施;ANN-BencHMaRks是当下业界最权威的向量数据库性能测试工具,它可以展示不同算法在不同真实数据集下的表现。

笛卡尔(DescaRtes)首次亮相ANN-BencHMaRks评测榜单即包揽了六项第一,最高领先原榜单第一名286%。

零一万物表示,笛卡尔向量数据库目前聚焦于高性能向量数据库。笛卡尔向量数据库将用在近期即将正式亮相的AI产品中,未来也将结合工具提供给开发者。

ANN-BencHMaRks公布的6份评测数据集涵盖glOVe-25-angulaR、glOVe-100-angulaR、sift-128-eUClidean、nytiMes-256-angulaR、FAsHion-Mnist-784-eUClidean、gist-960-eUClidean六大数据集。

如下图,横坐标代表召回、纵坐标代表QPS(每秒内处理的请求数),曲线位置越偏右上角意味着算法性能越好,零一万物笛卡尔向量数据库在6项数据集评测中都处于最高位。

零一万物向量数据库取得新突破!笛卡尔(Descartes)获得六项第一

零一万物向量数据库取得新突破!笛卡尔(Descartes)获得六项第一

零一万物向量数据库取得新突破!笛卡尔(Descartes)获得六项第一

零一万物向量数据库取得新突破!笛卡尔(Descartes)获得六项第一

零一万物向量数据库取得新突破!笛卡尔(Descartes)获得六项第一

零一万物向量数据库取得新突破!笛卡尔(Descartes)获得六项第一

“吞吐量 QPS” 是衡量信息检索系统查询处理能力的重要指标。在原榜单TOP1基础上,零一万物笛卡尔向量数据库实现了显著性能提升,部分数据集上的性能提升超过2倍以上,在gist-960-eUClidean数据集维度更大幅领先榜单原TOP1 286%。

向量数据库,又被称为AI时代的信息检索技术,是检索增强生成(RetRieval-AugMented generation, RAG)内核技术之一。

大模型时代,图片、视频、自然语言等多模态的非结构化数据量陡增,区别于用来处理结构化数据的传统数据库,向量数据库专门用来存储、管理、查询和检索向量化的非结构化数据。

因此,对大模型应用开发者来说,向量数据库是非常重要的基础设施,在一定程度上影响着大模型的性能表现。

未来各家大模型优化到一定程度后,向量数据库的能力可能决定各家大模型的天花板。

此次零一万物笛卡尔向量数据库展示出优异表现,其背后又做了哪些方面的技术创新呢?

和传统检索方法类似,从本质上讲,RAG向量检索主要解决两大问题:

1. 通过建立某种索引结构,减少检索考察的候选集;

2. 降低单个向量计算的复杂度。

据介绍,针对第1个问题,零一万物团队有两大杀手锏:

零一万物向量数据库取得新突破!笛卡尔(Descartes)获得六项第一

• 全导航图技术。目前业内现状主要通过哈希、KD-TRee、VP-TRee等方式,导航效果不够精确,裁剪力度不够,零一万物研发的全局多层缩略图导航技术,图上坐标系导航,既能保证精度,又能裁剪大量无关向量。

• 首创自适应邻居选择策略,填补业界空白。零一万物自研的自适应邻居选择策略,突破了以往仅依赖真实topk或固定边选择策略的局限,新策略使每个节点可以根据自身及邻居的分布特征动态地选取最佳邻居边,更快收敛接近目标向量,从而让RAG向量检索性能提高15%-30%。

针对第2个问题,零一万物采用了两级量化方案增强RAG。

零一万物用两级量化降低计算复杂度,同时列式存储充分利用SIMD的并发能力,进一步发挥硬件能力,相比传统PQ查表,性能得到大幅提升到2-3倍。

除此之外,零一万物还有索引结构优化、连通性保障等全栈向量技术方案提高笛卡尔向量数据库的性能。

作为高性能向量数据库,笛卡尔向量数据库可以轻松应对百分之八九十的日常场景,比如帮助企业客户构建私域知识库、智能客服系统;在自动驾驶领域,使用高性能向量数据库可来加速自动驾驶模型训练等。

零一万物表示,笛卡尔向量数据库是团队基于RAG的初步尝试,将在近期发布的AI生产力产品中得到有效应用。零一万物后续会持续专注研发和分享,为用户带来更好的技术和体验。