AI开发新范式,PAI模型构建平台升级发布

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 本次分享由阿里云智能集团产品专家高慧玲主讲,聚焦AI开发新范式及PAI模型构建平台的升级。分享分为四个部分,围绕“人人可用”和“面向生产”两大核心理念展开。通过降低AI工程化门槛、提供一站式全链路服务,PAI平台致力于帮助企业和开发者更高效地实现AI应用。案例展示中,介绍了多模态模型微调在文旅场景的应用,展示了如何快速复现并利用AI解决实际问题。最终目标是让AI技术更普及,赋能各行业,推动社会进步。

本次分享的主题是AI开发新范式,PAI模型构建平台升级发布,由阿里云智能集团产品专家高慧玲分享。

今天的分享主要分为四个部分,且核心内容将围绕两个关键词展开。第一个关键词是“人人可用”,第二个关键词是“面向生产”。这两个关键词将会在后续的分享中反复提及,这也是我希望大家今天能够牢记于心的产品的核心理念

 

一、在新时代背景下,用户或开发者对AI开发平台的需求

这些数字是我从一些公开的评测报告中摘录出来的,它们与当前的认知高度吻合。我们发现,众多企业都开始尝试实现或应用生成式AI技术。但在使用过程中,大家普遍发现,至少有80%的时间被用于降低AI的工程化门槛和实现整个工程化链路环节上。因此,在这种情境下,一个更加普惠且能有效提升企业效率的AI开发平台就显得尤为重要。


那么,什么样的开发平台能满足刚才提到的用户需求呢?其实,在刚才的环节中,我的同事已经向大家介绍了整个人工智能平台的整体架构,包括能够实现的大规模分布式训练推理框架DLC,以及大规模模型推理服务EAS。拥有如此强大的算力和计算服务,如何在一站式开发平台上将它们无缝且一站式地应用起来,这正是我们AI开发平台的使命所在。


在AI开发平台的这部分,将用户大致分为两类。第一类是资源管理者。这部分内容会涉及一些企业级能力,我的同事将在后续的分享环节中为大家做深入的讲解。


而今天主要讲解的是针对AI开发者,即上述用户群体,如何实现从数据输入到模型开发、模型训练,再到模型的生产与发布的链路。在这一过程中,我们致力于提供一站式全链路服务,让开发者能够以更低的门槛、更节省的资源完成整个流程。


接下来是AI开发平台的产品迭代方向,目前主要集中在两个核心领域。一方面,我们希望通过技术能力的不断迭代,帮助大家降低资源消耗成本,并进一步降低AI使用的门槛。另一方面,我们致力于通过产品能力的提升,让大家能够实现更加安全、更加面向生产的AI应用。

 

二、对两方面进行详细展开

首先是第一个关键词“人人可用”。为何说我们现在打造的AI开发平台是一个人人皆可使用的平台呢?首要原因在于,我们提供了人人皆可借鉴和应用AI的最佳实践案例。无论开发者是倾向于从单个模型入手,还是从Notebook案例出发,亦或是习惯于从具有实际业务场景的工作流开始,去探索和实践AI,我们都提供了极为丰富且多样的解决方案案例。而且,我们将完整的MLOps工具链都集成在了产品中。因此,大家可以做到零代码、零门槛,一键进行模型的微调、模型的评估量化以及模型的部署,真正实现了开箱即用。


然而无论是谈论预训练模型,还是对这些模型进行微调,我们都需要一个高度云原生的开发环境。这样的环境能够无缝连接各种异构计算资源以及多样化的存储环境。DSW就是这样一款满足我们需求的产品。


在过去的一段时间里,DSW凭借其极致的易用性,已经吸引了成千上万名生成式AI开发者前来使用。在当前背景下,我们发现DSW已经成为开发者迈入大语言模型时代的一个极为高效且全能的助手。因此,今年我们也对DSW进行了更为极致且简化的能力升级。首先是在存储与数据部分的效能升级。我们通过实现系统盘的持久化,提供文件上传的中转服务,以及动态挂载的技术能力,确保开发者在启动实例时无负担,关闭实例时无任何损耗,所有数据和环境都会得到即时的自动保存。这样,大家就能以极低的成本,以及非常便捷的方式,接入到云上强大的计算能力。


而我们的交互体验也迎来了显著的升级与改版,使得整个使用流程变得更加有效且高效。


接下来是访问权限与可观测能力的升级。我们会发现,在当前的生成式AI开发时代,在开发完成后,经常需要进行对外连接的操作。在产品升级后,无论您希望从外部访问在实例中开发好的模型及应用,还是期望在开发过程中从实例内部更高效地连接到更多云资源,我们都提供了既安全有效又便捷的方式,让大家能够轻松实现互联。而对于热衷于参与开源社区项目的开发者而言,我们发布了一个极为重要的产品能力是轻量版notebook,我们称之为“notebook lab”。


之所以将这款产品称为更加轻量的DSW和更加轻量的notebook,是因为用户仅凭浏览器,就能对从开源社区或任意渠道获取的notebook项目进行跟进和开发。在开发阶段,用户无需消耗任何存储或计算资源。只有当需要保存开发成果时,才需连接到OSS bucket;而当需要运行和调试时,才需连接远程计算资源。借助这种能力,我们能够显著降低开发过程中的资源消耗和成本。


在去年的云栖大会上,我们发布了面向设计师群体的Art Lab产品。自发布以来,该产品为设计师带来了强大的文生图及创作能力支持。今年,这款产品又实现了重要的能力升级。首先,从去年的设计工具升级来看,我们从仅支持文生图的纹声图,升级到了今年既支持文生图又支持纹身视频体验的能力。另一方面,我们也重磅推出了serverless计费模式。这种计费模式意味着,我们无需为整个调试过程付费,而只需根据消耗的推理GPU计算资源来付费。


这让设计师的每一份GPU资源都能用在刀刃上,真正推动了人人可用的AI应用的实现。刚才我们讲述的是如何降低AI开发的门槛。在此基础上,我们可以迅速认识和了解AI。然而,当我们真正想要将AI技术应用到实际生产中时,会发现还有很多工作要做。这就不得不提到PAI产品的另一个非常重要的特性是面向生产,这也是我今天要讲的第二个关键词。


在面向生产的开发链路中,需要解决的关键问题包括数据处理、模型选择以及生产流程构建。为了实现这一目标,我们需要将AI与大数据的开发链路紧密集成,从而大幅提升整个开发环节的效率。首先是数据准备的环节,这是众所周知的重要一环。无论是在传统机器学习的早期阶段,还是如今的大模型时代,高质量数据都被公认为是确保模型质量与有效性的基石。今年,我们非常自豪地推出了针对LIM和LVM等多模态场景的数据准备完整套件。


该套件将大语言模型的数据分析、数据清洗、毒性检测、数据增强以及数据发现等功能进行了完整的组件化和模板化处理。同时,我们与大数据计算资源MassCompute以及分布式训练集群DLC进行了对接,使得整个数据处理过程的性能得到了显著提升。这不仅让企业在数据准备阶段能够实现高效作业,还达到了降本增效的效果。这个是产品使用体验界面。我们的产品也提供了丰富的数据预处理模板,使用户可以一键轻松使用。


数据准备完毕后,我们还面临另一个挑战:当前大模型种类繁多,如何找到最适合自己业务场景的模型,以发挥最大效果?逐一尝试显然效率低下。因此,我们创新性地提供了一个AI评估工具,就像一位裁判员,为企业筛选出最优选择。我们的AI评估工具具备丰富的AI模型评估知识和经验。它能够精准地判断模型最适合的应用场景,无论是智能创作、交互式对话还是代码生成,每种场景都有其独特的评分标准。借助AI评估工具,企业能够在模型选择环节节省大量成本和精力。


数据和模型准备完毕后,我们需要解决如何将模型开发代码与数据准备代码有机结合的问题。因此,在Designer中,我们提供了一个notebook组件,该组件能够高效地将开发过程中的notebook代码一键转化为DLC的生产调度任务。此外,它还支持在周期性调度中,每当有新数据产出时,自动触发模型的实时更新任务,确保模型既高效又能紧密贴合数据。


将刚刚我们讨论的各个环节串联起来,不难发现大数据与AI之间存在着密不可分的联系。当前大模型的生成式能力和智慧涌现,与大数据以及AI技术的持续发展和迭代进步紧密相连。在PAI平台上,我们可以实现通过拖拽积木式的方式,轻松编排整个大数据加AI的流程;同时,也可以通过notebook代码的方式将我们的大数据集群连接起来,以及开发的过程也可以与模型开发和训练的过程连接起来。这样,我们既能够充分利用大数据集群的强大算力,又能够快速将处理好数据,并应用于模型训练和部署环节。


当我们的模型整个上线后,线上问题仍难以避免。面对这种情况,如何排查问题,比如模型效果下降,并确定是哪一串链路中的环节出了问题,就显得尤为重要。在以往的过程中,由于各个环节可能由不同的团队和人员处理,因此很难定位和追溯问题。为了解决这一问题,我们推出了最新的产品能力是大数据AI全链路的血缘追溯。无论是从数据的标注、准备、清洗、以及模型训练、模型版本迭代、模型部署完整的过程中的每一步的操作,还是在PAI平台上或是大数据引擎中,都为用户进行了详细记录。并且,我们能够生成一张实时的全链路血缘生命周期图。当线上的AI应用出现问题时,比如效果下降,运维人员可以迅速追溯问题源头。他们可以判断是昨天的训练任务出了问题,还是某份数据存在问题,从而更快、更高效地恢复线上的生产任务。


刚才我们介绍了两个核心的产品能力:一个是人人可用的AI开发平台,另一个是面向生产的AI开发平台。我们也希望能够借助整个平台的能力,帮助开发者和企业在AI开发以及工程化的过程中实现降本增效,让GAI触手可及。

 

三、有趣的案例

这个案例是关于多模态模型微调。虽然这个名字听起来好像没有什么意思。但是最近,大家可能都有所耳闻,由于我是山西人,我的家乡山西因为一款名为《黑悟空》的游戏而突然走红,吸引了大量游客前往旅游,甚至导致机场的接待能力达到了极限。其实作为土生土长的山西人,我也很难全面了解山西到底拥有多少古建筑和古文物,以及它们的具体信息和历史背景。于是,我意识到可以用大模型来解决这类业务场景或满足我的一些小知识需求。为此,我们配合Lama Factory框架,共同推出了一个针对文旅大模型微调的解决方案。在这个方案中,我们能够迅速采用千问最新推出的多模态大模型,并利用PAI平台提供的免费GPU算力,仅用了大约20分钟的时间,如果大家有时间,可以很快复现这个案例,也可以让AI导游或AI文博园为你生动有趣地讲解古建筑和古文物的来由及其背后的故事。


刚才的案例,我们很快就会上线相关的开发者活动,如果大家有兴趣,欢迎后续踊跃参与。除了开发者活动,PAI也一直在联合不同产业及教育行业,希望能利用GAI的能力,赋能中国传统文化的传承以及高校教育课程的改革。在PAI的加持下,我们也希望AI能让所有企业变得更加高效,让社会变得更加美好。

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
16天前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
|
19天前
|
人工智能 新制造 云栖大会
TsingtaoAI亮相云栖大会,AI大模型赋能传统制造业焕新升级
2025年9月24日,杭州云栖小镇,2025云栖大会盛大开幕。作为全球AI技术与产业融合的重要平台,本届大会以“AI驱动产业变革”为主题,集中展示大模型技术在各领域的创新应用。 其中,由西湖区商务局牵头组织的“AI大模型应用与产业融合”专场论坛成为大会亮点之一,吸引了来自政府、企业及投资机构的百余名代表参与。 在论坛上,TsingtaoAI作为制造业智能化转型的代表企业,分享了在具身智能-制造企业的AI应用实践。
55 1
|
存储 人工智能 安全
智存跃迁,阿里云存储面向 AI 升级全栈数据存储能力
一文总览阿里云存储产品创新与进展!
416 0
|
18天前
|
人工智能 运维 关系型数据库
云栖大会|AI时代的数据库变革升级与实践:Data+AI驱动企业智能新范式
2025云栖大会“AI时代的数据库变革”专场,阿里云瑶池联合B站、小鹏、NVIDIA等分享Data+AI融合实践,发布PolarDB湖库一体化、ApsaraDB Agent等创新成果,全面展现数据库在多模态、智能体、具身智能等场景的技术演进与落地。
|
28天前
|
SQL 人工智能 机器人
AI Agent新范式:FastGPT+MCP协议实现工具增强型智能体构建
FastGPT 与 MCP 协议结合,打造工具增强型智能体新范式。MCP 如同 AI 领域的“USB-C 接口”,实现数据与工具的标准化接入。FastGPT 可调用 MCP 工具集,动态执行复杂任务,亦可作为 MCP 服务器共享能力。二者融合推动 AI 应用向协作式、高复用、易集成的下一代智能体演进。
196 0
|
19天前
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
1652 39
|
26天前
|
人工智能 Cloud Native 搜索推荐
【2025云栖大会】阿里云AI搜索年度发布:开启Agent时代,重构搜索新范式
2025云栖大会阿里云AI搜索专场上,发布了年度AI搜索技术与产品升级成果,推出Agentic Search架构创新与云原生引擎技术突破,实现从“信息匹配”到“智能问题解决”的跨越,支持多模态检索、百亿向量处理,助力企业降本增效,推动搜索迈向主动服务新时代。
219 22
|
18天前
|
人工智能 编解码 搜索推荐
AI智能换背景,助力电商图片营销升级
电商产品图换背景是提升销量与品牌形象的关键。传统抠图耗时费力,AI技术则实现一键智能换背景,高效精准。本文详解燕雀光年AI全能设计、Canva、Remove.bg等十大AI工具,涵盖功能特点与选型建议,助力商家快速打造高质量、高吸引力的商品图,提升转化率与品牌价值。(238字)
129 0
|
23天前
|
人工智能 供应链 搜索推荐
拔俗AI 智能就业咨询服务平台:求职者的导航,企业的招聘滤网
AI智能就业平台破解求职招聘困局:精准匹配求职者、企业与高校,打破信息壁垒。简历诊断、岗位推荐、技能提升一站式服务,让就业更高效。
|
23天前
|
人工智能 搜索推荐 大数据
拔俗AI一体化数字销售服务平台:让企业销售更智能、更高效
AI一体化数字销售服务平台融合AI与大数据,集成客户管理、智能推荐、自动化跟进等功能,实现销售全流程智能化。打破传统模式困局,提升转化率与效率,助力企业降本增效,抢占数字化转型先机。(238字)

热门文章

最新文章

相关产品

  • 人工智能平台 PAI