您的位置 首页 电子技术

速度和容量受制?No!高性能存储的瓶颈不止于此

近两年以来存储市场可谓好不热闹,SSD带来的急速已经体现在了下至消费电子,上至超算的性能上,然而随着高性能计算走上了全新的道路,大吞吐量和大容量也已经不再是HPC存储关注的唯二设计目标了。   那么当下的HPC存储遇上了哪些挑战呢?首先数据生成已经在被数据接入逐渐取代,大数据环境下,IOPS要求的反而是小数据的随机存取。其次,“寻找”到真正所需的数据成了最关键的一环,也对元数据在统计、读取、写入和删除上提出了更高的要求。\” />

<meta http-equiv=X-UA-Compatible content=\"IE=edge,chrome=1

近两年以来存储市场可谓好不热闹,SSD带来的急速已经体现在了下至消费电子,上至超算的性能上,然而随着高性能计算走上了全新的道路,大吞吐量和大容量也已经不再是HPC存储关注的唯二设计目标了。那么当下的HPC存储遇上了哪些挑战呢?首先数据生成已经在被数据接入逐渐取代,大数据环境下,IOPS要求的反而是小数据的随机存取。其次,“寻找”到真正所需的数据成了最关键的一环,也对元数据在统计、读取、写入和删除上提出了更高的要求。加之近年来涌现的不同文件与数据形式,处理起来需要额外的注意,高性能存储必须具备大型数据转移的能力。新的高性能计算场景就以目前一些在建的智能城市项目为例,诸多传感器和执行器散落在城市中,激光雷达、摄像头、微流控传感器和电机,它们将产生PB级别的原始数据,这些数据在需要经过压缩、预处理、上传、深度学习和推理,存储可以说与边缘计算和机器学习紧密联系在一起。另一个例子就是我们的自动驾驶,如今的自动驾驶方案都是通过数据与高性能计算实现的,像特斯拉这样的厂商甚至自研自建芯片和超算,用于其自动驾驶技术的开发。自动驾驶测试车队每天都要将PB级的遥测传感数据传输给数据平台,随后经过标签、分类、错误检测和仿真,再放到大型存储系统中,而这样的大型存储平台不仅大小可能扩展至EB级,还要承受着仿真、再处理与机器学习的繁重负载。在这些新场景给出的挑战下,兴起了一波新的技术,比如PCIe 4.0朝PCIe 5.0转变,光模块从200G朝400G的转变,使用GPU直接存储等专用协议等等。这些技术多数是对HPC存储在吞吐量上的提升,而更重要的是对特定工作流效率的优化。HPC系统中存储的组成在当下的HPC场景中,无论是本地部署还是云端环境,都需要一个计算平台,可能是CPU或是CPU+GPU/加速器的配置,这一节点可以充分利用3D Xpoint这样的持久内存,不仅可以提供低延迟的内存数据访问,在断电下不丢失数据,还可以用上DAOS这样分布式异步对象存储的文件系统。Lustre文件系统 / Lustre最后是数据的管理,这一部分属于对大量数据更加长期的存储,比如像波音这样的航空公司,需要对每一架飞机的细致数据存储50年以上,还要具备数据追溯的能力。这样的存储并不需要拥有高速的性能,但在前端的程序需要时提供即时的交互,而且为了节能考虑,要做到所谓的“零功耗存储”。超算是怎么做的?随着不少超算都已经在布局百亿亿级的系统,作为HPC中最顶端的应用,我们自然可以从中窥得一二,看一看当下主流的HPC存储方案。以计划于今年打造完成的Frontier超算为例,该超算将成为美国第一台百亿亿级别的超算,算力约为1.5 exaFLOPS。Frontier超级计算机 / AMDFrontier采取了AMD的全套方案,结合AMD的EPyc CPU和Radeon Instinct GPU,在AMD的缓存一致性互联方案下,CPU上的代码可以直接访问GPU内存,这也就是我们在上文提到的GPU直接存储技术。在存储系统上,Frontier用到了679PB基于Lustre+ZFS的文件系统方案,用47700块硬盘实现,最高速率可达5TB/s。高速存储上,共有5400块NVMe固态硬盘组成11PB的存储空间,提供10TB/s的读取速度。Aurora超级计算机 / 英特尔而Aurora同样作为今年推出的百亿亿级超算系统,则选择了英特尔的方案,单个计算节点由两个Xeon Sapphire Rapids、6个Xe Ponte Vecchio GPU和一个通用内存架构组成。其主要存储方案也选择了英特尔的DAOS文件系统,结合NVMe和傲腾持久内存,组成一套大于230PB的系统,并实现25TB/s的速度。小结在HPC存储上的挑战除了以上提到的这些外,还有近来兴起的存内计算激发的计算能力挑战,未来5年内,无论是存储结构、文件系统乃至存储材料都会再度迎来新的变化。这些变化会先一步解决HPC上的难题,再潜移默化地改善日常应用。 <!–

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

作者: admin

为您推荐

智慧路灯照明系统的应用为智慧城市的发展建设添砖加瓦

智慧路灯照明系统的应用为智慧城市的发展建设添砖加瓦

智慧路灯照明系统的应用为智慧城市的发展建设添砖加瓦-夜间的路灯不仅照亮了黑暗的街道,而且照亮了回家的道路。从街上望去,闪烁的路灯发出暖光,指引着我们家的方向。城市里的路灯就像“守护者”,给长途旅行回来的游客带来了极大的安全感。 当今,路灯智能控制时代的到来,极大地促进了传统路灯的人工机械化运行。虽然对此感到兴奋,但我们不禁要问:随着路灯智能控制的早期到来,除了改善路灯的运行模式,还能带来什么? 为城市交通提供安全保障 城市公共照明系统中的智能路灯在每个路

晶振在五种不同行业中的应用说明

晶振在五种不同行业中的应用说明-晶振在五种不同行业的应用-由TST嘉硕代理KOYU光与电子

几种不同的物联网控制APP模式

本文就简单介绍当前几种物联网控制APP模式,让大家了解几种不同的技术路线。\” />

<meta http-equiv=X-UA-Compatible content=\"IE=edge,chrome=1

苹果稳坐全球可穿戴设备数量首位,占据日本市场超7成份额

苹果稳坐全球可穿戴设备数量首位,占据日本市场超7成份额

苹果公司占据2021年日本第四季度可穿戴设备71.5%份额,占据全球可穿戴设备市场34.9%份额。\” />

<meta http-equiv=X-UA-Compatible content=\"IE=edge,chrome=1

如何用GPUDirect存储器如何缓解CPU I / O瓶颈

除了使用 GPUs 而不是 CPU 加快计算的好处外,一旦整个数据处理管道转移到 GPU 执行,直接存储就起到了一个力倍增器的作用。这一点变得尤为重要,因为数据集大小不再适合系统内存,而且 GPUs 的数据 I / O 增长成为处理时间的瓶颈。当人工智能和数据科学继续重新定义可能的艺术时,启用直接路径可以减少甚至完全缓解这个瓶颈。\” />

<meta http-equiv=X-UA-Compatible content=\"IE=edge,chrome=1

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

返回顶部