《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 1.边边协同

简介: 《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 1.边边协同

02 多维协同

边缘云协同大体可分为“边边协同”和“云边协同”两类边边协同,主要是面向边缘云节点集群

间的计算、网络和存储等技术的资源协同。云边协同,主要是面向边缘云管控与边缘云节点集群间

的管控协同。


边边协同


边边协同技术,主要包括协同计算、协同网络和协同存储边缘云节点规模通常较小,资源规格受

限,不将资源部署的物理位置作为交付属性,而是按网络时延和服务质量等评估指标来交付资源,

这就要求边缘节点资源能够被管控系统“统管统调”。节点资源通过边边资源协调,实现“资源

池”化,边缘云资源池是资源管控的基础。

边缘云节点提供的是小型云的算网存资源,且算网存资源使用水位相互依赖,从技术上看单一节

点或单一集群里的资源容易跑满、造成同节点的其他资源无法再分配,边缘云边边协同管控需要能

够在边缘云节点和集群间进行多维资源的协同调度,调度策略的执行也正是基于边边资源协同来实

现的。

从业务高质量和资源高可用角度看,通过边边协同可以实现边缘云的高可用性保证通过边缘云单

节点或单集群内软硬件多路互备的技术方案实现系统高可用研发成本较高且效果未经验证,而依托

分布式云管的多级协同、边边协同和多点协同实现高可用,可以提供更高的性价比实现高可用,即

单点不可用时,由其他节点或集群来补位。

以边缘云的“协同存储”技术方案为例,阐述边边资源协同的技术实现。

协同存储管控的核心设计包括云边协同管控、全网智能调度、边缘自治管控等,是边缘云云边协同

以及跨节点协同的重要组成。

用户在使用对象存储时,针对海量数据,提出了大流量、就近、低延迟的要求,边缘云在这些方面

具备天然优势。但边缘云的对象存储在使用方式和体验上存在明显不足。边缘云由很多分布式边缘

云节点组成,如果每个边缘云节点独立进行对象存储服务,用户使用时将面临节点资源管理、资源

读写调度、单节点可用性运维等诸多复杂问题。

image.png图12 分布式存储示意图


边缘计算提供了位置无感的协同存储服务,通过中心管控和多个边缘节点进行协同,将分布在各地

的边缘节点的物理存储资源,组成一个逻辑统一的对象存储资源池。用户不需关心读写位置和单节

点可用性带来的运维和调度问题,即可得到与使用公有云对象存储一致的接口体验,以及由于数量

众多的边缘存储资源整合而带来的大容量、高弹性的存储资源池。

image.png图13 位置无感的分布式存储


协同存储核心包含中心管控与边缘节点两部分,其中,中心管控包含以下管理模块:


1684831619478.jpg

image.png图14 协同存储管控架构


协同存储的云边协同管控、全网智能调度、边缘自治管控等,是边缘云边边协同以及跨节点协同的

经典案例。

相关文章
|
14天前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
264 4
|
6月前
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows:分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能,且具备优秀的用户界面。Airflow以Python为核心语言,适合数据科学家使用,拥有丰富的Operator库和云服务集成能力;而Argo Workflows基于Kubernetes设计,支持YAML和Python双语定义工作流,具备轻量化、高性能并发调度的优势,并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中,Airflow擅长结合云厂商服务,Argo则更适配Kubernetes生态下的深度集成。
776 34
|
2月前
|
机器学习/深度学习 人工智能 前端开发
边缘云系统的灵活可变速率图像特征压缩——论文阅读
本文提出一种面向边缘云系统的灵活可变速率图像特征压缩方法,通过联合优化率-精度-复杂度三重权衡,实现单模型多比特率自适应。该方法引入速率参数嵌入与条件归一化机制,在ResNet、ConvNeXt等架构上验证了高效性,显著优于固定速率方案,兼顾低延迟与高精度,适用于资源受限的视觉任务。
167 13
边缘云系统的灵活可变速率图像特征压缩——论文阅读
|
2月前
|
存储 算法 安全
“卧槽,系统又崩了!”——别慌,这也许是你看过最通俗易懂的分布式入门
本文深入解析分布式系统核心机制:数据分片与冗余副本实现扩展与高可用,租约、多数派及Gossip协议保障一致性与容错。探讨节点故障、网络延迟等挑战,揭示CFT/BFT容错原理,剖析规模与性能关系,为构建可靠分布式系统提供理论支撑。
177 2
|
2月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
279 4
|
1月前
|
机器学习/深度学习 监控 PyTorch
68_分布式训练技术:DDP与Horovod
随着大型语言模型(LLM)规模的不断扩大,从早期的BERT(数亿参数)到如今的GPT-4(万亿级参数),单卡训练已经成为不可能完成的任务。分布式训练技术应运而生,成为大模型开发的核心基础设施。2025年,分布式训练技术已经发展到相当成熟的阶段,各种优化策略和框架不断涌现,为大模型训练提供了强大的支持。
|
2月前
|
机器学习/深度学习 算法 安全
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
|
2月前
|
JSON 监控 Java
Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
本文档全面介绍 Elasticsearch 分布式搜索与分析引擎的核心概念、架构设计和实践应用。作为基于 Lucene 的分布式搜索引擎,Elasticsearch 提供了近实时的搜索能力、强大的数据分析功能和可扩展的分布式架构。本文将深入探讨其索引机制、查询 DSL、集群管理、性能优化以及与各种应用场景的集成,帮助开发者构建高性能的搜索和分析系统。
209 0
|
4月前
|
数据采集 缓存 NoSQL
分布式新闻数据采集系统的同步效率优化实战
本文介绍了一个针对高频新闻站点的分布式爬虫系统优化方案。通过引入异步任务机制、本地缓存池、Redis pipeline 批量写入及身份池策略,系统采集效率提升近两倍,数据同步延迟显著降低,实现了分钟级热点追踪能力,为实时舆情监控与分析提供了高效、稳定的数据支持。
125 1
分布式新闻数据采集系统的同步效率优化实战
|
6月前
|
安全 JavaScript 前端开发
HarmonyOS NEXT~HarmonyOS 语言仓颉:下一代分布式开发语言的技术解析与应用实践
HarmonyOS语言仓颉是华为专为HarmonyOS生态系统设计的新型编程语言,旨在解决分布式环境下的开发挑战。它以“编码创造”为理念,具备分布式原生、高性能与高效率、安全可靠三大核心特性。仓颉语言通过内置分布式能力简化跨设备开发,提供统一的编程模型和开发体验。文章从语言基础、关键特性、开发实践及未来展望四个方面剖析其技术优势,助力开发者掌握这一新兴工具,构建全场景分布式应用。
615 35

热门文章

最新文章