01Kimi智能助手开启“长文本”时代，K系列强化学习模型持续进化中
2023年10月，月之暗面（Moonshot AI）旗下的Kimi智能助手，带着支持输入20万汉字的能力正式发布，提升了全球市场上产品化大模型服务支持的上下文输入长度上限。支持更长的上下文意味着大模型拥有更大的“内存”，从而使得大模型的应用更加深入和广泛：比如通过多篇财报进行市场分析、处理超长的法务合同、快速梳理多篇文章或多个网页的关键信息、基于长篇小说设定进行角色扮演等等，都可以在超长文本技术的加持下，成为我们工作和生活的一部分。数据显示，2024年10月Kimi在PC网页、手机APP、小程序等全平台的月度活跃用户已超过3600万。
Kimi智能助手发布1年多以来，也在不断进化，k系列思考模型从2024年11月推出以来，已从k0-math、k1视觉思考，升级到k1.5模型，数理化、代码、图像推理等能力达到行业SOTA水平。在搜索场景，Kimi推出的探索版引入了搜索意图增强、信源分析和链式思考等三大推理能力，可以帮助用户解决更复杂的搜索、调研问题。
02大模型驱动搜索技术变革，给搜索技术引入新的挑战
Kimi的搜索技术专家Mark表示：“大模型驱动搜索技术经历深刻变革，从关键词输入转变为更自然的聊天式提问，搜索结果的消费模式也由逐个点击结果链接转变为依赖模型批量理解搜索结果并为用户进行总结，用户愿意接受约10秒的延迟，以期获得更智能的回答。”作为深受程序员、科学家、咨询顾问、投资人、律师等专业人群的喜爱Kimi探索版，其搜索量是普通版的10倍，一次搜索即可精读超过500个页面。在信息调研和分析场景的真实长难搜索问题测试中，Kimi探索版回答准确性和完整性具备全面优势，综合性能超过同类产品至少30%。
这些演变给搜索技术带来了新挑战，如多来源的召回机制、多步骤的搜索流程以及多模型的融合检索，而月之暗面（Moonshot AI）作为一家成立不到2年的创业公司，如何快速构建支持大模型时代的搜索基础设施、提升检索效果、并应对业务快速发展带来的数据规模膨胀和成本增长，是其搜索技术团队面临的主要挑战。
03AI搜索基础设施背后的技术需求
一个智能助手的调用路径大致如上图所示：当用户问题被识别为具有“搜索意图”时，首先会调用成熟的搜索引擎接口，搜索互联网相关网页作为原始的知识语料，并通过ReRank模型对这些语料进行二次精排。接着，将排序后的语料与prompt模版结合提交给大模型进行推理，最后将总结归纳后的结果输出给用户。
为了提升数据丰富度，从而进一步提升智能助手的搜索效果，通常还需要自建搜索服务，但这同时也加深了开发的复杂度。引入了自建搜索引擎后，搜索任务分为了如上图所示的“在线搜索请求”和“离线数据处理”两部分，从技术实现的视角来看，对下层的AI搜索基础设施有如下需求：
- 海量数据的处理和存储：在离线数据处理阶段，需要对私域数据和相关互联网信息进行收集、加工和存储，从而构建丰富的语料储备。在这个过程中，高效的数据处理引擎和PB级的标量存储库是必不可少的，考虑到这个场景下数据具有稀疏性和灵活性，通常建议采用HBase这类列式存储的数据库。
- AI推理：智能化的搜索需要匹配不同文本之间的语义关系，而数据需要经过向量化处理才能具备语义，因此，需要一个将各种格式的标量数据转化为精准向量的Embedding服务；此外，还需要一个对召回后的语料进行排序的ReRank服务，从而进一步提升搜索的业务效果。无论是Embedding还是ReRank，都需要一个Serverless的GPU服务，也就是AI推理引擎。
- 向量数据处理：向量化后的数据与普通数据之间存在非常大的差异，普通数据库难以承接向量数据的需求。为了支持向量数据的高效存储、索引和检索，还需要一个专门的向量数据库。
- 高性能、多功能的搜索：应对在线搜索请求时，需要通过搜索引擎从知识库中检索相关的知识，为了保障用户的使用体验，搜索引擎不仅需要保证召回质量，还需要保证召回速度。
- 数据流转和安全保障：为了让以上这些组件共同完成复杂的智能搜索任务，还需要搭建起一套组件间的数据流转链路，并保证数据的一致性。
04Lindorm作为一站式数据平台，支持Kimi构建AI搜索基础设施
一站式数据平台，提升开发效率
Lindorm作为一站式数据平台，能够覆盖数据处理全链路，集成了离线批处理、在线分析、AI推理、融合检索（正排、倒排、全文、向量......）等多项服务，数据全程在Lindorm内部自动流转，无需额外建设和维护同步链路。在Lindorm的架构中，多个引擎各司其职，共同实现这一系列强大的功能，并且这些引擎可以按需插拔，从而灵活应用于不同的业务诉求。这种设计不仅提升了系统的灵活性，也保证了Lindorm在多元化应用中的高效表现。
月之暗面的搜索技术团队以Lindorm为数据底座，快速构建了Kimi背后的AI搜索基础设施。Lindorm提供了全面的能力支持，同时降低了各组件之间数据同步的复杂度，简化了AI搜索的开发和维护流程，让技术人员专注于搜索业务本身，提升了开发效率，实现快速迭代。
多路召回和融合排序，提升搜索业务效果
传统的搜索主要通过关键词匹配，优点是可解释性高，缺点是没有对语义的理解和召回能力；将语料通过Embedding模型转换成向量后，通过向量近似检索可以具备语义召回的能力，但缺点是可解释性差、稀有词召回率低。为了让鱼和熊掌兼得，可以将两种召回方式结合起来，这样的融合检索能够兼顾准确性、可解释性以及语义召回，大幅提高召回率保证搜索业务效果。Lindorm原生支持了全文+向量的多路召回能力，并且内置的AI引擎将AI推理能力算子化，自动将非结构化数据转换为向量，简化了向量检索和索引构建的开发成本。在此基础上，Lindorm还支持用户自定义的ReRank模型，通过ReRank算子对用户问题和召回数据进行语义相似度排序，进一步提升语料的召回效果。
AI搜索的业务形态仍然处于不断摸索和迭代的过程中，新的技术和调优方式层出不穷，对自身数据库的灵活性提出了很高的要求。Lindorm数据库基于宽表模型，天然支持动态Schema，支持灵活增加或者删除字段数据，每一列的字段内容也可以选择性的写入或者不写入。另外，如果有一些字段的内容在进行小批量scan的时候经常需要一起拉取出来，那么也可以使用多列簇的特性，将这部分内容在存储上聚集起来单独存放，减少scan的IO开销。同时这种能力也可以很方便地应用在搜索业务的AB-Test中，将不同版本的数据放到不同的列簇中，并且建立不同的索引结构；在上层也可以可以很方便地控制对不同列簇，不同版本的索引进行检索，从而进行AB-Test操作，加速业务上的搜索效果调优。
高性能存储和计算引擎，提升性价比
从著名的谷歌三驾马车开始，分布式KV存储就承担着解决Web索引海量数据、高频率更新、海量稀疏特征存储的重任。Lindorm宽表引擎十年磨一剑，研发出高性能存储引擎高效地实现了PB级以上的数据存储，不仅支持百万列的超级宽表，还能够做到透明水平扩展。除此之外，在支持千万级高频更新写入的同时，P99随机读延迟可以做到10ms以内，是作为海量数据正排索引的最佳选择。
AI搜索和传统搜索的技术方案不同点在于，传统搜索主要以全文索引为主，而AI搜索中的向量检索则同等重要。因此，面向AI搜索场景，Lindorm研发了高性能全文检索引擎和向量引擎。AI搜索的原始语料存储到Lindorm宽表之后，仅通过一条Create Index命令就可以构建全文索引和向量索引。
Lindorm搜索引擎支持海量数据的存储和实时检索，通过深度优化的倒排索引技术支持高性能的多维全文查询，通过存算分离的架构设计可以实现快速的扩展，无需搬迁数据实现秒级弹性，内置高压缩的ZSTD算法和自动冷热分离还能够显著降低存储成本。
面向海量数据向量检索场景，Lindorm向量索引提供了磁盘索引方案，对比各种开源和商业的向量数据库以纯内存形态为主的方案，可以大幅降低向量检索成本。和业界现有的基于DiskANN的磁盘索引算法不同，Lindorm采用了IVFPQ作为磁盘索引的方案，并对经典算法进行了深入优化，在构建速度上，16C节点构建1亿条1024维向量的速度可以控制在8小时内完成，而且构建速度可以随着集群节点的增加而线性增加，远胜经典磁盘索引所需要的天级别的构建速度。Lindorm的磁盘索引支持对内存和磁盘全量数据的实时更新和删除，并且在进行分区分裂的时候，无需再次构建整个索引，只需要从存储引擎将KV区分到两个不同的分区即可，支持集群的快速扩容。另外，对于经典的IVFPQ召回率不足的问题，Lindorm会在经典的召回流程之后单独加一个Refine的处理过程，从磁盘取回向量原始内容再次进行精排，将召回率提升至95%以上。
Lindorm的向量引擎不仅可以支撑大容量索引，同时还支持磁盘索引低成本形态、支持实时更新、支持弹性扩缩容、还可以保持足够的查询性能，以上这些能力在Lindorm的向量引擎上可以在一个集群中同时提供给业务使用。
Lindorm还提供了Serverless形态的计算引擎，以及列存引擎和列存的索引格式，使用户能够对内部数据进行高度优化的清洗和转换，支持业务所需的统计分析及离线批处理操作。计算引擎使用的计算资源完全弹性，用户按使用量付费对比常驻计算集群大幅降低用户使用成本。并且针对AI场景，Lindorm同时兼容Spark和Ray计算任务，方便用户对结构化和非结构化数据进行批量处理。 
“
客户原声
用户的搜索消费模式的演变给搜索技术带来了新挑战，如多来源的召回机制、多步骤的搜索流程以及多模型的融合检索。为应对这些挑战，Kimi借助Lindorm一体化多模数据库平台秒级弹性、无缝推理及融合检索等优势，构建全新的AI搜索平台。凭借深度压缩、自适应编码、分级存储以及向量磁盘索引等技术，Lindorm助力业务整体资源成本下降超过50%，并支持标签生成、向量生成、重排等多种AI任务，大幅提升了应用开发效率，为月之暗面的业务发展注入了强劲动能。
——月之暗面 Kimi 搜索技术专家Mark
