实时云渲染助力全息影像突破终端算力瓶颈

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
应用实时监控服务-可观测链路OpenTelemetry版,每月50GB免费额度
简介: 全息技术、体积视频与高斯溅射是三维动态内容实时生成与传输的关键技术,但硬件成本、数据量大及多终端适配等问题制约其发展。实时云渲染成为关键解决方案,通过云端GPU资源池化与弹性调度,大幅降低算力门槛。LarkXR平台整合动态捕捉与AI算法,实现毫米级精度的三维重建,并优化传输架构,解决弱网环境下的延迟与带宽问题。在体育赛事、虚拟时尚及全息演唱会等领域,LarkXR助力开发者打造沉浸式体验,如NBA全息战术、巴黎高定秀场和虚拟偶像演唱会,推动全息技术从专业领域走向大众消费场景,开创全新商业价值。

全息技术(Holography)、体积视频(Volumetric Video)与高斯溅射(Gaussian Splatting)推动数字内容变革,三维动态内容实时生成与传输成行业关键。但技术落地遇阻,痛点显著:一是硬件与算力要求高,动态捕捉和实时渲染设备成本及运维费让中小团队难以承受;二是数据量大,本地算力无法满足实时处理;三是多终端适配复杂,跨国传输延迟。实时云渲染是全息技术核心,其整合动态捕捉、体积视频生成等环节,动态捕捉可达毫米级精度,体积视频通过AI算法融合数据并实时重建。

突破全息影像性能瓶颈的关键技术

在全息影像实时渲染中,算力与传输等性能瓶颈突出。云端GPU资源池化与弹性调度成为应对算力挑战的利器,这也是实时云渲染技术的核心能力。借助GPU池化技术,整合分散的GPU算力,构建可动态扩展的资源池。LarkXR具有PaaS平台产品能力,能智能分配算力,满足三维重建及高斯溅射等复杂计算需求,实现对硬件资源全生命周期管理,大幅提升异构计算资源利用率。

在全局传输优化方面,全息数据流对带宽、延迟及弱网适应性要求严苛。平行云LarkXR重构端到端传输架构,打通渲染、编码与网络传输链路。利用自研降龙(XLong)传输控制框架与Hermes流式引擎,融合动态码率自适应、编码优化及多路径传输技术,在跨国网络波动与弱网下稳定推流,解决延迟、丢包和带宽动态变化问题。

为加速全息技术规模化落地,平行云LarkXR开箱即用的部署方式,采用自动安装程序,提升开发与部署效率。支持原生Unity/Unreal引擎工作流,实现跨平台兼容性与标准化接入,开发者无需针对异构终端重复开发,还能在低端硬件实现高清内容流畅运行,借助标准化接口快速完成从开发到全球分发的闭环。

解决高精度体积视频商业化泛终端使用痛点

法国的科技公司French Touch Factory为例(以下简称“FTF”)。French Touch Factory于2022年联合欧盟委员会 (The European Commision) 发起 ITHACA计划 (Immersion and Training with Holograms for Art, Craft and Audiovisual), 通过全息技术革新艺术、工艺与教育内容的传递方式。高精度体积视频叠加实时动捕,海量的数据引入引擎中构建了庞大的3D/XR程序,为了让更多的人能够体验使用,两年来不断寻找突破算力瓶颈的方案,以便能提供流畅高品质的内容输出。

平行云LarkXR实时云渲染平台能够将FTF的高精度体积视频转化为跨平台流媒体内容。成功打破终端算力壁垒,得以实现全息直播与实时交互体验。观众无论使用何种终端设备,都能流畅观看全息直播内容,并参与实时交互,大大提升了用户体验,为全息技术的广泛应用开拓了新的可能。

全息技术应用商业化前景

依托实时云渲染技术,全息应用可以从小范围、专业性的应用场景,扩大到面向消费者的日常生活场景。

体育赛事领域 :NBA全息战术与奥运多视角

FTF合作3.png

体育赛事的内容消费正从被动观看转向沉浸式互动。然而,传统2D录像无法还原球员的三维运动轨迹。通过LarkXR实时云渲染技术,支持实时处理RGB-D相机捕捉的数据实时传输至云端,利用高性能GPU集群进行三维重建与渲染。这使得开发者能够创造出前所未有的互动观赛体验,如让观众自由切换视角、"悬浮"在篮筐上方观看NBA扣篮。

虚拟时尚:巴黎高定全息秀场

FTF合作4.png

在虚拟时尚领域,LarkXR支持各种开发引擎和设计工具创建的全息模特走秀内容,确保高清细节在手机、AR设备等多终端上完美呈现。这不仅大幅降低了全息高定时装秀的开发和制作成本,更能为我们的合作伙伴和终端客户品牌开辟了触达全球消费者的新途径。

全息跨时空虚拟偶像演唱会:经典歌手“复活”

FTF合作5.png

随着全息投影技术、AI合成声线以及实时交互技术的成熟,虚拟偶像演唱或已故歌手演唱会正也成为娱乐圈最大的热点之一。历史影像的分辨率与帧率往往无法满足全息演出的需求,而实时特效的开发成本与复杂度也让许多主办方和开发方望而却步。而平云行LarkXR支持8K超高清渲染和实时特效互动,让开发者能够轻松打造出震撼的全息表演,甚至"复活"经典艺术家。

相关文章
|
7月前
|
存储 安全 API
LarkXR云渲染平台:如何实现应用管理、访问权限控制,并与业务系统嵌入集成
本文讨论了功能完备的PaaS平台LarkXR ,重点介绍其“应用管理”功能。关键要点包括:​ 平台级安全访问控制:构建LarkXR平台开放页面到公网时,可将特定应用设为私有应用,通过设置口令、生成分享链接、禁用分享链接等操作控制访问权限。​ 打造SaaS平台:将LarkXR“工作空间”功能引入业务系统,分别设置用户和应用的工作空间,通过工作空间ID筛选用户可访问的应用列表。​ 接入业务系统:业务系统管理用户和应用,动态展示应用列表,在LarkXR为默认工作空间设置密钥,结合时间戳确保应用访问安全。​ 多业务系统接入与管理:在平台级通过创建不同组别划分渲染池和应用池,绑定不同网络环境的渲染机器。
|
JavaScript
nuxt项目:全局获取process.env信息
nuxt项目:全局获取process.env信息
640 0
|
6月前
|
Web App开发 编解码 数据可视化
实时云渲染:数字孪生可视化最稳定省心的方案
数字孪生技术发展面临大内容与轻终端的矛盾,实时云渲染成为解决这一问题的关键。它支持大规模复杂数据处理、低延迟交互、跨终端访问、高精度可视化及弹性扩展,同时保障数据安全。平行云Lark XR作为企业级实时云渲染PaaS平台,相比Epic Games UE引擎的像素流送插件,提供更稳定、兼容性强、功能全面的解决方案,适用于工业数字孪生、云游戏、元宇宙活动等场景,助力企业专注于业务创新。
|
7月前
|
机器学习/深度学习 人工智能 PyTorch
模型手动绑骨3天,AI花3分钟搞定!UniRig:清华开源通用骨骼自动绑定框架,助力3D动画制作
UniRig是清华大学与VAST联合研发的自动骨骼绑定框架,基于自回归模型与交叉注意力机制,支持多样化3D模型的骨骼生成与蒙皮权重预测,其创新的骨骼树标记化技术显著提升动画制作效率。
996 27
模型手动绑骨3天,AI花3分钟搞定!UniRig:清华开源通用骨骼自动绑定框架,助力3D动画制作
|
10月前
|
vr&ar 云计算 UED
实时云渲染:推动XR技术产业化发展的关键技术之一
近年来,企业利用扩展现实(XR)为用户提供沉浸式虚拟环境,Cloud XR、协同技术和GPU资源池化技术成为XR产业应用的关键。Cloud XR通过云端计算资源实现高效图形渲染,降低终端要求;协同技术助力实时协作,提升团队效率;GPU资源池化则优化资源分配,降低成本。平行云LarkXR提供全面的解决方案,推动XR技术广泛应用。
309 18
|
8月前
|
存储 机器学习/深度学习 人工智能
TaoAvatar:手机拍出电影级虚拟人!阿里3D高斯黑科技让动捕设备下岗
阿里巴巴最新推出的TaoAvatar技术,通过3D高斯溅射实现照片级虚拟人实时渲染,支持多信号驱动与90FPS流畅运行,将彻底改变电商直播与远程会议体验。
521 8
TaoAvatar:手机拍出电影级虚拟人!阿里3D高斯黑科技让动捕设备下岗
|
7月前
|
编解码 分布式计算 自然语言处理
LLM用于科学假设生成:探索与挑战
产生新颖的科学假设和科研方向,是科学发现的重要前提;大语言模型生成科学假设已有不少探索,但仍面临诸多挑战
168 9
|
9月前
|
Web App开发 编解码 弹性计算
实时云渲染技术布道 | 像素流送技术与商业化实时云渲染产品的指标对比
随着虚幻引擎(UE)在高品质应用开发中的广泛应用,大内容与轻终端的矛盾日益突出。实时云渲染技术应运而生,成为解决这一矛盾的关键。本文以LarkXR实时云渲染平台为例,对比UE自带的像素流送插件,探讨云渲染技术的革新。LarkXR提供完整的实时云渲染PaaS服务,涵盖云端算力管理、网络传输优化和异构终端接入全流程,支持2K-8K分辨率、30-120FPS帧率,具备强大的集群并发能力和多引擎兼容性,整体性价比远高于像素流送,为开发者提供了更高效、专业可靠的解决方案。
|
7月前
|
人工智能 自然语言处理 监控
蓝耘智算:开启智能算力新时代
蓝耘智算作为智能算力领域的新兴平台,为AI应用提供强大计算支持。它通过异构算力重构、丰富模型库与低代码工具,降低使用门槛,助力中小企业发展。其应用场景涵盖内容创作、金融、医疗、教育、制造及智慧城市等领域,以高效算力与军工级安全体系推动行业创新。未来,蓝耘智算将融合更多前沿技术,持续拓展应用边界,为数字化时代注入新动力。
|
边缘计算 5G vr&ar