您当前的位置:首页 >> 滚动 >> 
面向大模型!腾讯云发布向量数据库_全球新视野

时间:2023-07-05 08:41:09    来源:技术联盟

腾讯云 2023-07-04 16:26 发表于广东

大模型正在重塑产业。


(资料图)

但想要真正拥抱大模型,仍然面临很多现实问题:

如何高效率、低成本地处理数据? 模型数据如何动态更新? 私有数据如何安全地接入大模型?

想要解决这些问题,我们需要在数据和大模型之间搭建一座桥梁。

过往,承担数据组织的是传统关系型数据库。但它更适合用来应对结构化的数据。

大模型和神经网络,更多面对的是海量的非结构化数据,比如文本、音频、视频、关系等。

它们有一种专门的处理方式: “向量化”

想要按这种”脑回路“组织数据,需要一个专门的数据库——向量数据库。

把复杂的非结构化数据通过向量化(embedding),处理统一成多维空间里的坐标值,通过计算向量之间的相似度或距离,快速定位最相关的近似值。

它被广泛地用于大模型训练、推理和知识库补充等场景:

支撑训练阶段海量数据的分类、去重和清洗,给大模型的训练降本增效; 通过新数据的带入,帮助大模型提升处理新问题的能力,突破预训练带来的知识时间限制,避免大模型出现幻觉; 提供一种私有数据连接大模型的方式,解决私有数据注入大模型带来的安全和隐私问题,加速大模型在产业落地; ……

简而言之,如果大模型是一个智能的处理器,那向量数据库就是配合这台处理器的”外置缓存"。

今天,我们正式发布国内首个AI原生(AI Native)的向量数据库:

腾讯云向量数据库

Tencent Cloud VectorDB

它最高支持业界领先的10亿级向量检索规模,并将延迟控制在毫秒级。相比传统单机插件式数据库检索规模提升10倍,同时具备百万级每秒查询(QPS)的峰值能力。

针对大模型场景,它在接入层、计算层、存储层实现了全面AI化:

在接入层,智能化支持自然语言文本的直接检索; 在计算层,通过AI算子替代企业寻找/调优AI算法,将接入工期从一个月缩短到3天; 在存储层,融合智能压缩算法,把向量存储成本降低50%。

统计显示,将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗,相比传统方式可以实现 10倍 效率的提升。

如果将向量数据库作为外部知识库用于模型推理,则可以将成本 降低2~4个数量级

其实,腾讯云向量数据库经历了鹅厂内部业务的长期锤炼:

覆盖腾讯视频、QQ浏览器、QQ音乐等上百个业务场景,每日调用量超千亿次; 支撑QQ音乐人均听歌时长提升%,QQ浏览器成本降低%,腾讯视频有效曝光人均时长提升%; 向量化能力(embedding)多次获得权威机构认可,曾登顶MS MARCO榜单第一。

展望未来,“向量数据库+大模型+数据”将产生“飞轮效应”,共同助力企业步入AI Native(AI原生)时代。

我们也将继续打磨技术能力,提供更坚实的AI基础设施。

标签: