信条:阿里云AI攻防安全启示录

本文涉及的产品
Web应用防火墙 3.0,每月20元额度 3个月
云安全中心免费试用套餐资源包,价值199.45元额度,3个月
云安全中心 免费版,不限时长
简介: 解读AI时代下的安全攻防新态势

1.png
“有人在未来制作逆时间子弹,逆转时间传递给我们。”

4月9日AI势能大会上,阿里云百炼推出业内首个全生命周期MCP服务。MCP如同“超级插座”,使端侧应用能像智能设备接入电网般,无缝融入AI应用架构。

当这把通往未来AI世界的"万能钥匙"问世之际,技术突破的"速度与激情"遭遇安全防线的"生死时速",这场没有硝烟的战争正催生出怎样的攻守格局?

本期《安全记》特邀阿里云蓝军负责人石肖雄、业内知名白帽专家张卫作为嘉宾,通过蓝军视角,围绕“AI安全攻防新态势”主题展开,并结合阿里云在安全攻防的实践经验和成果,探讨大模型MCP协议等AI交互新模式对蓝军攻防技术带来的变化。

本文基于访谈嘉宾观点进行提炼,完整版内容请点击下方视频。

点击查看视频详情

AI安全攻防:攻什么?守什么?

AI安全攻防主要涉及在人工智能领域展开的安全攻击与防御活动。其核心在于保护AI系统免受恶意攻击的影响,同时通过研究特定技术对AI系统实施攻击,以此来评估和提升系统的安全性。

AI安全与传统安全在攻防侧两大核心差异性:

  • 攻击目标不同:传统网络安全攻防主要集中在网络基础设施,如服务器等;而AI安全攻防则更关注于机器学习模型本身及其生成的数据,包括模型参数等。
  • 攻击方式多样:除了传统的软件漏洞利用外,AI安全还面临特定于AI的技术挑战,比如对抗样本攻击等。

AI安全攻防技术手段主要涵盖两方面:AI技术赋能网络攻防和AI大模型原生安全问题。AI技术能助力安全人员提质增效,而攻击者同样可以利用AI能力精准化、复杂化攻击场景。此外,AI系统存在数据隐私泄露、模型中毒等风险,因此确保AI自身的安全性也至关重要。

AI大模型攻防:守护“AI车”安全运行

大模型安全攻防需聚焦三个阶段:数据收集、模型训练与模型使用。

  • 数据收集阶段:常见的攻击手法有操控输入数据实施闪避攻击,致使模型应用时判断失误。
  • 模型训练阶段:诱饵攻击会使训练数据中毒,后门攻击能令模型在特定条件下触发后门效果。
  • 模型使用阶段:攻击者会分析系统输入输出等外部信息,推测模型参数及训练数据。
    针对这些潜在攻击威胁,保障大模型安全需采取多类主动防御措施。

若把大模型安全比作汽车安全,目标就是确保 “AI车” 行驶时全方位安全,涵盖外部攻防、内部模型及应用架构安全。

  • 外部攻防安全如同给 “AI车” 安检和保养,出发前检查输入数据,行程结束后检测输出结果。

  • 内部模型安全则是保障 “AI车” 稳定运行,依靠对抗检测技术,确保其在各场景下的安全性。

  • AI应用架构安全犹如为 “AI车” 安装防盗系统和安全气囊,建立严格访问控制、数据加密和安全审计流程,防止数据泄露和滥用,保障 “乘客” 即用户的安全。

AI出鞘,可让安全攻防火力全开

把AI的能力植入到安全攻防中,可以极大释放白盒、灰盒和黑盒测试工具的潜能,进而提升安全测试效率与准确性。

  • 传统白盒测试:靠人工代码审查和静态分析,效率低且易出错,AI的介入让自动化源代码分析得以实现,提高了漏洞检测准确性。
  • 传统黑盒测试:依赖手动生成测试用例,存在重复工作多、覆盖面有限的问题,AI则可快速模拟用户行为,实现重复流程自动化处理。
  • 传统灰盒测试:传统方式依赖人工经验和多源数据整理分析,AI能够弥补不足,识别出安全人员难以察觉的潜在风险。
    在实战攻防场景,借助AI优势可有效解决传统方法应用过程中的诸多问题。比如:

  • 利用AI的自动化事件响应能力,可赋能渗透测试平台自动化分析代码和测试结果,自动化处理重复流程。

  • 利用AI的持续学习能力,可赋能网络威胁检测平台自动化构建检测模型和规则。
  • 利用AI的海量数据快速分析能力,可赋能威胁情报监测平台快速分析安全事件并进行预测性分析。

人机协同的AI模式可助力安全团队更高效地开展工作等。

AI与安全攻防结合,可通过AI智能体、RAG知识库、MCP协议、A2A协议等多种AI技术实现。

  • 首先,AI Agent能够将安全专家的经验和决策过程以工作流的形式进行复制,助力团队成员快速学习和掌握不熟悉的安全技术,从而提高工作效率。
  • 其次,利用RAG知识库可助力大模型整合特定垂直领域的安全知识,增强大模型的知识图谱,从而提升决策的有效性。
  • 最后,通过MCP 、A2A等协议,可增强大模型在多任务、多场景下的适应能力,使安全团队能够灵活选择和组合最佳的安全解决方案。

阿里云AI安全攻防实践:蓝军实战利刃

安全攻防领域,实战演练至关重要。

AI对网络攻击的赋能主要体现在两大方向,一是生产力赋能,二是攻防场景赋能。关于实战攻防演练中AI技术的应用,阿里云蓝军实战探索已久。

  • 攻防RAG知识图谱:将多年积累的攻防场景下的攻击姿势和知识库沉淀到大知识平台,助力新入职人员学习;
  • 能力工具化:发布资产测绘、外部扫描等,聚焦解决以往难题,如爬虫问题,利用AI对代码的强大识别作用解决攻防审计问题,以及通过简单提示词检测漏洞;
  • 社会工程领域:利用AI构建互动场景,并在攻防项目中结合AI进行攻防演练,提升相关人员安全意识,共同维护新技术背景下的安全环境。

攻&防协同进化:迈向AI安全新纪元

MCP和A2A技术广泛应用,可预见未来面向端上的安全风险会持续攀升,在传统安全基础上加大向AI安全转型的投入。

石肖雄认为,大模型厂商需保障原生安全可靠稳定,例如提供MCP和A2A服务的企业,应作为第一层安全防护主体,从协议层、应用层等实现安全左移。“左移” 包含两重意思,即大模型服务提供方自身的安全左移以及接入服务的对端安全左移。

同时,随着大模型的发展,AI大模型逐渐成为关键基础设施,对网络安全行业带来了一定冲击。如何有效防范风险,推动行业健康有序发展成为众人关注焦点。

张卫提出两点建议:

  • 其一,AI技术提供厂商必须肩负起AI安全责任,在原生安全上做到可靠稳定;

  • 其二,除了应对大模型原生安全问题,还需借助技术手段反制AI技术滥用行为。

未来也许还有安全风险尚未浮出水面,但阿里云作为云计算和大模型领域的领军者,会始终致力于保障云与大模型原生安全的稳定可靠。同时,阿里云将于今年牵头举办AI攻防挑战赛,期望借助类似AI攻防赛的交流平台,激发AI安全攻防领域的创新活力,汇聚更多新生力量投身安全建设。

相关文章
|
18天前
|
人工智能 文字识别 监控
|
15天前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
|
17天前
|
人工智能 vr&ar UED
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
|
15天前
|
机器学习/深度学习 人工智能 Serverless
吉利汽车携手阿里云函数计算,打造新一代 AI 座舱推理引擎
当前吉利汽车研究院人工智能团队承担了吉利汽车座舱 AI 智能化的方案建设,在和阿里云的合作中,基于星睿智算中心 2.0 的 23.5EFLOPS 强大算力,构建 AI 混合云架构,面向百万级用户的实时推理计算引入阿里云函数计算的 Serverless GPU 算力集群,共同为智能座舱的交互和娱乐功能提供大模型推理业务服务,涵盖的场景如针对模糊指令的复杂意图解析、文生图、情感 TTS 等。
|
18天前
|
存储 人工智能 OLAP
AI Agent越用越笨?阿里云AnalyticDB「AI上下文工程」一招破解!
AI 上下文工程是管理大模型输入信息的系统化框架,解决提示工程中的幻觉、上下文溢出与信息冲突等问题。通过上下文的采集、存储、加工与调度,提升AI推理准确性与交互体验。AnalyticDB PostgreSQL 版提供增强 RAG、长记忆、Supabase 等能力,助力企业构建高效、稳定的 AI 应用。
|
15天前
|
机器学习/深度学习 人工智能 算法
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
NBA中国与阿里云达成合作,首发360°实时回放技术,融合AI视觉引擎,实现多视角、低延时、沉浸式观赛新体验,重新定义体育赛事观看方式。
155 0
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
|
16天前
|
存储 人工智能 OLAP
AI Agent越用越笨?阿里云AnalyticDB「AI上下文工程」一招破解!
AI上下文工程是优化大模型交互的系统化框架,通过管理指令、记忆、知识库等上下文要素,解决信息缺失、长度溢出与上下文失效等问题。依托AnalyticDB等技术,实现上下文的采集、存储、组装与调度,提升AI Agent的准确性与协同效率,助力企业构建高效、稳定的智能应用。
|
15天前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
226 28
|
2月前
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
640 36
|
29天前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
304 21