• 实时要闻
  • 当前位置:首页 > 实时要闻
  • 走近智算 | 大模型训练的关键角色——存储,为什么如此重要?——数据存算生态大会

    2025-07-25作者:数据存算生态大会

    在AI大模型从训练至推理的每一个关键环节,存储都扮演着不可或缺的角色。


    1.jpg


    数据归集与预处理阶段,面对来源广泛、形式多样的数据,存储系统需要具备全局统一命名空间与原生无损多协议互通的特性,确保数据的无缝整合与高效流通。


    同时,极致的稳定性和可靠性更是存储系统的基石,为数据安全筑起坚不可摧的防线。进入模型训练阶段,为了确保数据集能够被快速读取,减少等待时间,存储需要具备数千节点的横向扩展能力。


    这样的能力可以支撑亿级文件列表的获取,满足大规模数据训练的需求,为模型的高效训练提供强大的保障。


    当模型发布并投入推理阶段后,存储系统的高并发、高吞吐、高效率等特性更是显得尤为重要。它能够确保在推理过程中,数据能够迅速、准确地被处理,从而满足AI应用对于实时性与准确性的严苛要求。


    2.jpg


    接下来,我们具体从两个方面来探讨AI大模型对存储的需求。


    首先大模型需要更大的存储容量,从文本到多模态,数据增长巨大,数据规模往往都达到了PB级,随着模型规模和原始数据的增加,数据规模也会增长,为了应对海量的数据存储问题,需要大模型存储具备良好的扩展性。


    大模型存储采用的分布式架构,通过横向扩展增加存储容量和性能,一方面可以满足存储容量的持续增加,另一方面还能满足模型训练对高带宽、高IO存储的需求,从而充分发挥计算资源的算力,保障计算资源不浪费。


    3.jpg


    其次,大模型需要更优的存储性能,大模型训练过程中需要处理海量数据,包括数据集的加载、模型参数的保存与恢复等,这些操作都依赖存储系统的性能。数据集加载阶段,需要将大量数据从存储系统加载到内存中。


    如果存储系统性能不足,数据加载速度缓慢,会直接影响训练的启动效率。模型训练过程中,模型参数需要定期保存,以便在训练中断时能够快速恢复。这要求存储系统具备高吞吐量和低延迟,以确保参数的快速写入和读取。对此,基础设施层也从“本地盘”向”高性能+大容量”的AI存储演进。



    防范“算力候鸟”:泰国拟强制数据中心提供电力担保 STT GDC在新加坡启动东南亚首个高压直流AI测试平台 总投资43亿,配套160kw光伏 通州区人工智能智算中心正式动工 北京将推进40家存量数据中心绿色低碳改造 征收差别电价! 腾讯计划扩大中东云业务 预算1亿,广西启动智能算力服务采购 投资25.85亿,西北零碳智慧云智算中心项目落地庆阳 工信部:2025年全国建成42座万卡集群 智算规模超1590EFLOPS 字节跳动首次大规模引入800V HVDC 投资4.6亿、供冷80MW能源站将上线 你会用“集中供冷”么? 新玩家!彩讯股份拟发债10亿 建万卡智算中心 80.4亿元破纪录!世纪互联第二笔ABS获批 筹划回购股份 1亿,邯郸智算中心项目一期总承包中标结果公布 你有万卡集群,但你有算力资产么? 改名了?六部门公告《2025年度国家绿色算力设施名单》 深度|绿电直连项目落地风险与应对策略 总投资超15.5亿、规划2.5万P,内蒙古新增三大智算中心项目获批 启动招标!中国电信长三角国家枢纽嘉兴算力中心项目一期(6号算力中心)等工程总承包及监理 规划算力500P,广州海珠区启动琶洲太空智算中心计划 良信深耕智算配电:以技术创新引领算电协同新生态 算力中心:与其等电来,不如省省先 中国信通院栗蔚:智能算力重塑计算和网络架构,普惠化服务人工智能 4栋数据中心,8500个机架!武当云谷大数据中心二期建设加速推进 智算中心新课题:破解安全、效率与成本的三重困局 总投资25.85亿!庆阳又一零碳智算中心项目前期工作有序推进 秦淮数据联合东阳光布局乌兰察布,打造全国首个超大规模绿电直供垂直一体化产业示范区 字节跳动豪掷2664亿,TikTok将在巴西建拉美首个数据中心 世纪互联、光环新网、万国数据等12个项目入选!北京经开区2025数据中心白名单揭晓 投资估算33.98亿!招商银行贵安云数据中心产业园项目招标计划发布 地建设银行17亿招标、某地拟4.5亿部署太空智算中心、某地8亿项目强制PUE及100%绿电......丨算力情报局Vol.02 2亿,天津移动采购4套超节点算存一体机 欧洲数据中心配储已成为出海新战场! 1.9亿,广南算力中心建设项目EPC中标结果公布 投资9.7亿元、5000P,中电万界(青海)智算中心项目获建设工程规划许可证 总投资超33.7亿!青海省海南州4个智算中心项目迎来新进展 约12.42亿!海西天防绿色智算中心万卡项目(三期)设计施工总承包(EPC)启动招标 智算中心的绿色转型难在哪儿? 投资达180亿,13栋数据机房!中金数据中卫零碳算力产业基地一期项目建设全速推进 项目总投资25亿!新疆中芯数智绿能AI智算中心项目EPC总承包项目启动招标 深度|当前智算中心面临的最大风险 总投资约22.28亿!嘉唐科技绿电超算中心及风电项目签约落户黑龙江通河 【关注】中国移动x曙光存储:先进存力赋能智算升级 总投资11.9亿元 濮阳大数据中心项目主体封顶 发改委等五部门:优化改造城市内“老旧小散”算力设施 投资150亿元,泰康科技大健康总部智算中心项目封顶 算力上天?英伟达H100 GPU将部署轨道,提供太空公共云服务 “美式”算电协同:智算中心“自供电”成必选 投资7.92亿,3900张国产芯片 甘孜州绿色智算项目开工 预计投资91亿美元 字节跳动巴西数据中心即将开工 总投资158亿,杭钢与阿里合作的浙江云计算数据中心南区项目即将动工

    @数据存算生态大会 版权所有

    粤ICP备2024291375号