沃资讯
科技 财经 汽车 游戏 数码 资讯 商业

EROFS文件系统升级,48位寻址助力AI训练突破容量限制

2025-03-24来源:ITBEAR编辑:瑞雪

在科技界的一则最新动态中,知名科技博客Phoronix于3月23日披露,随着Linux 6.15内核版本的临近,开源社区中的EROFS(增强型只读文件系统)即将迎来一次重大革新。此次升级的核心亮点在于,EROFS将引入48位寻址支持,以满足人工智能模型训练过程中对数据存储容量的迫切需求。

一直以来,EROFS受限于32位块寻址机制,其最大容量被限定在16TiB(在4KiB块大小下)。而48位寻址技术的加入,将彻底打破这一瓶颈,使得EROFS能够轻松应对AI训练中所需的大规模数据集存储挑战,同时也为对象存储客户端提供了更为广阔的存储空间。

除了容量上的大幅提升,此次EROFS的更新还涉及到了核心磁盘结构的全面扩展,包括inode、设备槽以及inode块的优化。为了支持基本的时间戳功能,新版EROFS引入了32字节紧凑inode的mtime字段,这一改进无疑将进一步提升文件系统的实用性和灵活性。

在性能优化方面,新版EROFS同样不遗余力。针对Zstd压缩算法,新版EROFS引入了字节导向的编码扩展,这一改进使得压缩器能够保持其原有的高效压缩方法,从而在提升压缩效率的同时,也确保了数据压缩质量。据测试数据显示,在启用48位寻址后,Zstd镜像的构建时间得到了显著缩短,特别是在Intel Xeon Platinum 8163 CPU上,构建时间从原先的3分52秒骤降至12秒,这一提升无疑将为AI训练等高性能应用场景带来极大的便利。

EROFS,这一由华为最初开发并随后由全球开源社区共同维护的轻量级只读文件系统,自问世以来便以其出色的存储效率和性能表现赢得了业界的广泛关注。此次重大升级,不仅进一步巩固了EROFS在只读文件系统领域的领先地位,更为AI、大数据等前沿科技领域的发展提供了强有力的支持。

随着人工智能技术的不断发展和普及,对于数据存储和处理能力的需求也将持续增长。EROFS此次的升级,无疑为这一趋势提供了强有力的技术支撑,我们有理由相信,在未来的科技发展中,EROFS将继续发挥其独特优势,为更多领域的应用场景提供高效、可靠的存储解决方案。

Valve推出Steam Frame新VR头显 正式宣告上一代Index头显停产
用户可通过无线适配器,将 PC 或 Steam Machine 上的平面屏(flatscreen)及 VR 游戏串流至 SteamFrame;与此同时,Steam Frame 本身也是一款独立设备,搭载高通…

2025-11-14

2025网购流量卡选购指南:不同场景实测教你选到网速稳的好卡
所以,简单概括一下:一张正规的网购流量卡,其网速表现与同运营商的线下套餐并无本质差异。 在流量卡领域,我认为“便宜”不一定直接等于“网速差”。•警惕“物联卡”冒充手机流量卡

2025-11-13

中国电信AI赋能6G发展:创新技术引领通信变革,拓展产业融合新路径
中电信数智科技有限公司“一种基于6G的天地一体化传输优化及拓扑测绘的方法”获国家发明专利授权,这项专利涵盖卫星与地面网络协同通信、频谱资源共享、高效信号传输等多个核心技术领域,为6G的落地应用铺设了一条“高…

2025-11-12

照片压缩至5M内超全指南!七大实用方法助你轻松搞定分享难题
具体的执行步骤是:将它们直接开启,随后去挑选照片,该应用会自动给出推荐的压缩级别,你能去预览最终结果,还能够对某些设置予以调整,比如把分辨率调低或者转换格式,借此令文件大小小于5MB,这对即时分享至社交媒体来…

2025-11-12

企业宽带选不对,带宽再大也白费!这些关键因素决定实际网速
• 网速(用户感知):即实际访问体验,取决于 3 个核心因素 —— 带宽只是基础,更重要的是网络质量、路由优化和并发处理能力。 真正专业的服务商,会从企业实际业务场景出发提供解决方案,而非一味推销高带宽产品…

2025-11-12

荣旭传媒技术破局:以专业方案化解直播痛点,成就高性价比之选
传统方案在视频、音频和网络方面存在诸多不足,而荣旭传媒通过先进的技术和专业的设备,有效解决了这些问题。传统方案的视频分辨率较低,画面不够清晰,而荣旭传媒的4K 超高清视频拍摄制作让画面质量有了质的提升;传统…

2025-11-12

Marantz与B&W组合:以多元功能承载家庭温情,让音乐共鸣融入日常
我在活动上最常遇到来宾,不管是男的,还是女的,他(她)问我:我手机上这些音乐能不能通过蓝牙,或Apple Airplay传到音响播放。 用高级音响回归音乐本身你会发现原来美好的东西就在身边最近我在电脑里找到了…

2025-11-12