沃资讯
科技 财经 汽车 游戏 数码 资讯 商业

EdgeAIGC新突破:TD3算法助力边缘缓存命中率大幅提升41%以上

2025-07-29来源:ITBEAR编辑:瑞雪

近年来,随着ChatGPT、Sora、Stable Diffusion等人工智能生成内容(AIGC)工具的兴起,算力需求急剧攀升,全球推理请求量持续增长,云端延迟问题日益凸显。

面对这一挑战,一个创新的解决方案应运而生。广州大学、清华大学与浪潮集团携手,提出了一种将大型AIGC模型切割成“模块化组件”的新方法,利用TD3算法实现实时组装,旨在优化计算需求的同时,确保服务质量不受影响。

该研究的重点在于,在边缘计算的有限存储空间、带宽和计算资源条件下,如何减少用户模型服务请求的响应时间与成本。这一创新框架被命名为EdgeAIGC,并于2025年7月4日在《Digital Communications and Networks》期刊上发表。

EdgeAIGC框架由云服务中心、边缘服务层和用户层构成。云服务中心配备高性能云服务器,存储了多种预训练的AIGC模型,如文本转语音、文本转换等,虽能满足所有用户推理服务请求,但成本和时间消耗较高。

为解决这一问题,研究者设计了包含云服务器(CS)和边缘服务器(ES)的网络架构,其中CS与ES的计算资源以A800 GPU数量表示。考虑到用户关注的效率与成本,以及运营商的成本利润,研究者致力于优化所有请求服务的平均响应时间与成本。

为了实现这一目标,研究者引入了TD3算法。在资源分配中,带宽、计算资源等均为连续变量,TD3算法擅长处理连续动作空间问题,并对高维状态空间具有良好的适应性。通过学习最优连续动作策略,TD3算法能够确定最佳缓存决策和资源分配方案,同时引入延迟更新策略网络机制,确保策略网络更新稳定。

在研究中,问题被形式化为马尔可夫决策过程(MDP),包括状态空间、动作空间和奖励。TD3算法架构包含六个神经网络,通过Actor和Critic网络抑制Q值过估,延迟更新策略网络防止震荡。实验表明,TD3算法对学习率的设置要求较高,但通过双评论家网络和延迟更新策略,显著提高了学习效率和稳定性,相比DDPG算法,在奖励优化方面提高了约1.72%。

随着用户数量的增加,模型命中率也随之提升。在此过程中,TD3算法的模型命中率始终优于其他基准算法,与DDPG、GCRAS、PCRAS相比,最大改善率分别为41.06%、50.93%、57.85%。

EdgeAIGC框架结合动态模型流行度,实现了边缘服务器的模型缓存决策及带宽和计算资源的协调分配。这一创新方法不仅提高了模型命中率,还为边缘计算与AIGC的融合提供了新的思路,有望在未来推动相关技术的发展与应用。

光联携手利元亨,共话新能源制造AI时代网络新路径与新机遇
聚焦企业在全球范围内的多分支互联与云IDC接入问题,方案基于光联自建全球光纤骨干网络及华为SD-WAN设备,支持MPLS、Internet与4G/5G等多种链路融合,并可弹性部署多种拓扑模型,实现总部、分支…

2025-11-15

TLKS-PMG-TP装置:全天候精准监测,守护输电线路“体温”安全
TLKS-PMG-TP输电线路线夹及导线温度在线监测装置应运而生,以其高精度测温与全时段监测能力,为输电线路装上了一双“精准温控眼”。 TLKS-PMG-TP装置不仅提供实时监测,更实现了输电线路运维的智能…

2025-11-15

Gartner发布2026十大技术趋势:AI主导变革,从“大而全”迈向“精而实”
近日,商业与技术洞察公司Gartner发布了2026年十大战略技术趋势:AI超级计算平台、多智能体系统、特定领域语言模型、AI安全平台、AI原生开发平台、机密计算、物理AI、前置式主动网络安全、数字溯源,以及…

2025-11-14

广电卡适配指南:哪些手机能用?这些旗舰机型可能不兼容!
华为P50系列是个特例,即便是4G版,也能通过软件方案支持广电5G。中国广电表示,近六年主流手机型号均已升级适配广电网络,98%以上的新入网5G手机支持700MHz频段。 判断你的手机是否适配广电卡,不仅…

2025-11-13

Kernelcom“智能键盘”来袭:12.5英寸超宽屏,AMD/Intel双版本可选
快科技11月12日消息,近日一款名为Kernelcom的设备正在Kickstarter上众筹,虽然其本质上是一款功能完备的笔记本电脑,但制造商还是将其宣传为“智能键盘”。 这款设备最大的特点是其12.5英寸超…

2025-11-13

山海星耀攻克超低轨难题,以硬核技术逐梦空天新蓝海
天虎科技了解到,虽然当前市场上有一些针对超低轨的吸气式推进器,但从气体收集率、推进效率、测试工作环境等维度上,山海星耀的电推进器均具备一定优势。 蔡东升表示,目前该产品是商业航天公司首次实现了“高真空运行环…

2025-11-12

Viwoods发布AiPaper Reader电纸书:6.13英寸墨水屏搭载AI阅读互动功能
IT之家 11 月 11 日消息,据科技媒体 NoteBook Check 今天报道,Viwoods 现已推出 AiPaper Reader电纸书,运行 Android 16 操作系统,机身配备专用 AI …

2025-11-12

海外游语言障碍终结者:时空壶新T1离线翻译,精准适配复杂场景
时空壶新T1翻译机凭借端侧AI翻译技术与全面的离线功能配置,成为假期中解决无网沟通难题的关键设备,其技术设计精准匹配了海外旅行中的复杂网络环境。这种“离线核心+在线补充”的双模式设计,精准命中了国庆海外游中“…

2025-11-11

苹果换新机数据迁移难?5种实用方法,简单操作轻松搞定数据转移!
方法一、“快速开始”直接传输这是苹果官方自带的工具,专门针对新手机未激活时迁移旧机数据设计,能直接把旧 iPhone的几乎所有数据完整搬到新手机,包括照片、联系人、短信、视频、APP等,不用手动筛选,适合换…

2025-11-11

星闪E2.0亮相!华为FreeBuds Pro 5开启无线音频新篇,重塑TWS标准
于是,我们得到了星闪1.0,而在此基础上,华为今年又推出了星闪E2.0,将此前星闪1.0在音频传输上存在的一些问题彻底解决,并且做了全链路的升级。聊完星闪E2.0,接下来我们再聊聊FreeBuds Pro …

2025-11-11