在近期结束的机器之心 ai 技术论坛上，一场以向量数据库为主角的主题论坛引发业内广泛关注。该论坛不仅罕见地汇集了国内向量数据库赛道内的各式公司，更是邀请到行业巨头 zilliz 参会。
现场，zilliz 合伙人、技术总监栾小凡进行了一次揭秘式的前沿思考，为业界各开发者提供了不同于以往的参考。
栾小凡表示，海量非结构化数据检索面临以下挑战：
非结构化数据的理解成本更高，基于规则的处理方案难以适应；
海量非结构化数据的处理性能和成本越来越关键；
不同于传统数据处理，非结构数据缺乏好的工具，如 etl、数据库、数仓
而处理非结构化数据的核心是概率。栾小凡解释道，非结构化的处理是相似度，nlp 中根据上下文推断可能性，图像处理关注像素的相似度；而相似度的核心是概率，理解概率的本质是基于大量数据进行 pretrain 和 finetune。
随后，栾小凡进一步解释了概率对于检索意味着什么。他表示，搜索和生成是一体两面，搜索是选择题，生成是填空题，本质都是概率问题。那么，概率对于检索意味着什么？想要做对搜索，本质需要挖掘两种信息：领域内知识和领域外知识。领域外知识见得越多，泛化能力越强，领域内知识见得越大，生成越精确。因为 pretrain finetune 成为了搜索和生成共同的烦事。而搜索的特殊性在于，因为知道答案范围，所以可以利用概率提前构建范围，本质是利用 corpus 的相似性概率。
接下来，栾小凡着重介绍了从概率 1.0 时代到 3.0 时代的主流算法变化，包括 tf-idf、word2vec、bert 等。在此过程中，向量数据库的出现，极大地加速了稠密向量查询性能，使得在生产中落地向量检索成为了可能。从业务效果角度来看，尽管单纯的向量检索要强于单纯的关键词打分，然而这并非最优实现。选择向量检索只是由于 cross encoder 等算法代价过高的无奈折中之举。栾小凡强调，向量检索不应该只是简单传统数据库 向量检索 library，随着场景的不断发展，向量数据库应该从单纯的数学 recall 转向更加复杂的业务 recall。
在此背景下，向量数据库未来发展的一个重要趋势是【由数据库向服务转变】，具体体现在以下六个方面：
关注扩展性，更关注弹性
多云、多机房、异地多活
不仅支持实时写入，更能做到离在线一体化
开箱即用的 pipeline 服务
向量数据湖与离线分析
关注向量数据的安全与合规
目前，zilliz 正延续上述方向在产品上不断升级打磨，其产品 zilliz cloud 提供开箱即用的全托管向量检索服务，已覆盖全球主流的云平台，包括 aws、gcp、azure、阿里云、金山云。近期，zilliz cloud 更是上线了 pipeline，为用户实现 rag 奠定了坚实的基础。