曙光存储携业内首创技术,攻克大模型存储三大痛点

2023-07-20 18:17:23     来源:

国内大模型百花齐放,据统计,中国10亿以上参数大模型已发布79个。

大模型海量计算,对存储提出了更高要求。而三大存力痛点,制约大模型计算发展:一是数据加载慢,导致训练时间长;二是数据访问协议多样性,要求数据访问效率更高;三是数据生命周期管理不完善,数据安全风险亟需关注。

基于这些存储痛点,曙光存储大模型解决方案升级迭代,携全新业内首创技术XDS,提供增效、降本、安全的体验。

增效-首创XDS技术,存算协同优化提升效率

此次大模型解决方案升级迭代,曙光ParaStor首创实现XDS多层级智能加速技术,集算力端、存力端各维度各层级加速引擎为一体,打造高效的存算协同。

以往AI训练中,智能芯片若想读取数据,则需先将数据存到缓存中,再由CPU发往智能芯片读取。CPU与缓存的转运,导致数据调取速度变慢。而XDS技术可实现将数据直接加载到智能芯片中,提高训练过程中数据集的加载及处理速度。XDS技术创新在于支持多种智能芯片的直接存取,除了GPU,也支持多款算力端智能芯片直接存取数据。XDS技术简化了存取过程,降低了CPU与缓存压力,更节省硬件资源。

在存力端,XDS技术内嵌ParaBuffer加速引擎,在AI训练计算节点与存储系统之间构造大内存池,将系统整体I/O性能提升数倍。存算协同优化,使得训练时间大幅降低,可由数十天降低至几天。

降本-多存储协议与智能分级,数据管理省心可靠

此外,针对数据访问协议多样性痛点,曙光ParaStor同时支持文件、对象等多种存储协议,可为大模型提供统一的存储底座。为实现数据全生命周期管理,曙光ParaStor具备热温冷数据智能分级流动,支持给数据自定义标签,过期后自动删除。

对于AI数据存储的安全可靠,曙光ParaStor凭借全栈自研能力,从操作系统、存储架构、软件核心模块、存储介质等多层面保障数据安全。提升存储可靠性,降低数据管理成本,让用户省心省力。

目前,曙光存储为国内某AI新经济独角兽大模型平台构建了PB级NVMe全闪存高性能存储池,从硬件设施到软件系统,性能、可靠性、安全性皆满足需求指标,为多个领域带来增效降本、可靠安全的存储方案。

标签:

猜你喜欢

新计算时代,CVC们应该怎么投?
打造品质与性价比兼顾 众安保险 “尊享e生·中高端系列”重磅发布
行业首家!雅迪三次亮相世界杯 引领行业闪耀全球顶级赛事
“佑三药业”总经理常芳:传承精华,守正创新
海北藏族自治州农畜产品区域公用品牌发布会即将在金银滩举办
打造质感小家电,小熊电器解锁夏季养生新方式
“我是小球王”盛大开启,助力南粤少年足球发展!
强强联合!北京在明律师事务所与中国政法大学法律硕士学院签署战略合作协议
SHURE携新品精彩亮相InfoComm China 2023
全城瞩目!「四季物语 万物有光」MEIYI英皇幼儿园第十六届毕业典礼
阿克塞税务:以“幸福两单”为笔 助企绘就发展新“蓝图”
华为音乐与摩登天空达成版权合作,宝藏乐队带你开启音乐狂欢派对!
贵州世界级白酒产业集群高质量发展,老酒厂迎来政策新机遇
美心月饼全球代言人郭富城最新电视广告隆重登场
快看漫画乐园KKWORLD 2023圆满收官!三大精彩看点回顾今夏最出片二次元盛会
CCBEC中国(深圳)跨境电商展览会 9月秋季展助力外贸企业扬帆出海
WPS AI进化升级 金山办公助力进入智能办公时代
奶业大会暨D20峰会发布“一揽子”措施 新乳业布局高质量发展新赛道
科优韵智能家居创始人刘科辉:智能生态,智慧品质,智造未来
VICUTU威可多引领未来创新趋势 持续发力科技时尚
拉妃:深入研究低温烘焙!用心做好宠物粮食!
2023启牛学堂周年庆活动在京举办 明礼老师获评年度优秀讲师称号
智能保卫文脉:圣东智能科技领航文物保护新时代
BAUNAT全新挚献FANCY SHAPE钻石作品系列,倾呈非凡工艺以及绝佳客户满意度
燕京清爽啤酒焕新再出发!助力燕京啤酒发展加速度
首销优惠价2899元起 大屏旗舰荣耀平板MagicPad 13今日正式开售
干货不断!JAKA携手大型国企打造钢构焊接解决方案,智能“焊”将再添新功能
平安产险上海分公司温馨提示:擦亮双眼,警惕“培训退费”陷阱
平安产险上海分公司温馨提示:保护个人信息,防止权益受损
大宝携手中国大熊猫保护研究中心,支持国宝大熊猫保护研究工作