|
datasheet

AI、HPC的助推器,下一代并行文件系统解决方案—EXA5

2019-07-03来源: EEWORLD关键字:AI  HPC  EXA5
分享到
微博
QQ
微信
LinkedIn

——翻译自Nextplatform


DataDirect Networks (DDN)推出了EXA5,这是该公司第五代Exascaler Lustre文件系统平台,将用于填充DDN的全闪存、中档和高端存储设备系列。Exascaler主要客户是针对HPC人群,但这个最新版本也吸引了更多面向企业客户的特性,尤其是那些从事人工智能工作的客户。

 

DDN高级营销总监Kurt Kuckein表示:“对于那些不那么熟悉DDN的企业来说,这些需求变得越来越明显。因此这款产品结合了我们存储功能和一些企业特性。”

 

多年来,DDN一直在有条不紊地为Exascaler软件添加一些利于企业的功能,人工智能市场正促使DDN对这一领域给予额外关注。对于EXA5,很多新特性都是相当标准的问题——增强型数据保护、升级安全性(包括多租户)、通过CIFS和NFS网关支持non-Lustre并行存储系统[1]以及审计功能。改进的small file性能也有所增加了,这也得到了传统的高性能计算客户的赞赏。

 

据Kuckein介绍,他们在Lustre中做了大量工作来加速Smallfile(小文件存储)的性能。在硬件级别,这主要是通过利用基于闪存的存储组件的特殊随机访问性能实现的。Kuckein说,他们所做的优化不仅加快了Smallfile(小文件存储)的I/O速度,而且还跨越了一系列文件大小,从几kb到几mb。

 

然而,EXA5最大的新特性是STRATAGEM,这是一个功能强大的数据编排引擎,它使用基于策略的布局为用户提供全面的数据驻留控制,并且提供了Flash和硬盘之间的自动分层。分层是通过将活动数据保存在闪存中,并将访问的数据放在旋转磁盘上,从而优化I/O性能。它通过扫描后台文件系统并在访问模式允许的情况下移动文件来实现这一点。EXA5中的其他几十个新特性为在云中部署要求最高的工作负载的用户提供了独特的价值。

 

 

到目前为止,DDN客户一直依赖于开放源码的Lustre策略引擎,比如Robinhood,根据Kuckein的说法,Robinhood在性能方面还有待改进。Strategem使用的开销要小得多,因此可以在不过度影响用户性能的情况下进行文件系统扫描。有趣的是,它将大多数基于闪存的文件镜像到硬盘上,以备快速需要闪存层上的空间。用户还可以自定义开发,在特定情况下自动进行数据升降级,还可以使用API对外部驱动的数据移动进行控制。

 

DDN设置了策略引擎,所以无论Flash是在它自己基于NVMe(非易失性内存主机控制器接口规范)的存储阵列(比如ES200NV或ES400NV)中,还是在混合设备(比如ES7990)中与硬盘混合,都没有关系。它将解决所有的Flash 是否在文件名称空间或系统本身的问题。

 

EXA5已经在德克萨斯高级计算中心(TACC)很快将拥有一台顶级超级计算机—“Frontera”上实现了应用。作为世界上第五大系统,同时由CPU和GPU驱动,新型TACC机器有望与传统HPC应用程序一起运行人工智能工作负载。它支持50 pb的DDN硬件,其中3 pb以基于NVMe的硬件的形式提供额外的快速划痕存储。

 

 

在人工智能领域,一家提供实时视频分析软件公司正在应用EXA5,XXII分析软件可以用于无现金的零售环境中,监控商店客户,并根据他们放入购物车的内容计算费用。在最近的GTC会议上,XXII分析软件运行在了连接DDN存储的Nvidia硬件上进行了演示。

 

EXA5可以运行在所有的Flash SFA200NV SFA400NV,混合SFA7990,高密度SFA18K,以及 AI存储电器 (A1200和AI7990)上,它将在今年第三季度初上市。

 


[1] Lustre,一种平行分布式文件系统,通常用于大型计算机集群和超级电脑。Lustre是源自Linux和Cluster的混成词。它是应用广泛的linux开源分布式存储文件系统,其容量可轻易扩容到PB级别,在HPC、云上有相应的使用。


关键字:AI  HPC  EXA5

编辑:muyan 引用地址:http://news.eeworld.com.cn/IoT/ic466541.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:DeepNude现在火了,看看一键脱衣AI原理的秘密
下一篇:技术文章—LoRa火灾自动报警系统

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

手中的两张王牌和两场硬战决定着腾讯在AI时代的位置

在大谈人工智能的时代,几乎所有的科技企业和互联网公司都在AI上有所布局。 BAT三家中,技术起家的百度是公认的AI优等生,不久前结束的“2019百度AI开发者大会”上,“百度大脑”已经升级到5.0,由百度大脑核心能力支持的Apollo和DuerOS两大AI开放平台的生态体系越来越丰满,成为各自领域的AI标杆;阿里的达摩院名号响亮,马云公开承诺,达摩院“活得至少要比阿里巴巴长”,并且要在三年内投入超过1000亿,砸下大量的资源,达摩院的成长“肉眼可见”。 相比之下,腾讯AI布局的动作显得较为迟缓,至今靠进入国家人工智能创新平台的医疗AI“腾讯觅影”撑着台面,内部力量也分散为腾讯AI Lab、优图实验室
发表于 2019-07-18

SONOSPLAY:5:好的设计和性能败给了功能的缺乏和陈旧的外观

加上AI功能,效果应该更佳; 价格偏高,重量较重。
发表于 2019-07-18
SONOSPLAY:5:好的设计和性能败给了功能的缺乏和陈旧的外观

汽车智能网联领域下,BAT首次同台

信号的长城汽车将在明年发布。 这将是中国首款5G汽车。 长城汽车股份有限公司董事长魏建军指出,“打造AI长城为品牌战略,以成为AI出行时代的领导者为目标,长城汽车全新智能网联战略的发布,将助力汽车行业告别传统功能车时代,开启出行机器人时代。” 他还称,“长城科技战略中的智能网联战略、智能安全战略、智能驾驶战略将助力长城汽车实现全球化战略。” 在发布会上,长城汽车技术中心副主任郭岩松提出,长城要告别传统功能车时代。 他说,未来出行汽车将是机器人它包括AI生活、AI伙伴、AI出行三大产品主张。 其中,AI生活凭借可变换的智能空间,实现用户随时随地多任务多场景多体验的向往
发表于 2019-07-17
汽车智能网联领域下,BAT首次同台

在冰与火的夹缝中生存,AI芯片市场最近变冷?

最近,AI芯片市场明显“冷”了下来。  作为芯片市场的一哥,英伟达刚刚发布的Q1季度报告表现就十分不理想。数据显示,截至2019年4月28日,英伟达当季收入22.20亿美元,环比增长1%,同比下跌31%,毛利率58.4%,环比提高3.7个百分点,同比减少6.1个百分点;净利润3.94亿美元,环比下跌31%,同比下跌68%。数据一出,整个AI芯片市场的心态都很难不受影响。  英伟达营收下跌的因素有很多,作为高端芯片设计巨头,就像是早年苹果显著优势被不断追赶上一般,现在英伟达也处在这样的困局之中,创新无力,优势渐失。因此,它的利润下跌暗示出两个信号:1.整个市场平均水平上升了;2.高端
发表于 2019-07-16
在冰与火的夹缝中生存,AI芯片市场最近变冷?

抢占5G、游戏、AI和XR 高通推骁龙855 Plus移动平台

7月15号,高通在美国圣迭戈宣布推出Qualcomm骁龙855 Plus移动平台,这是高通骁龙855的升级产品,高通产品管理副总裁Kedar Kondap表示,骁龙855 Plus是高通迄今为止最先进的移动平台。骁龙855 Plus锁定的目标市场是当前最为炙热的5G、游戏、AI和XR体验。据悉,搭载骁龙855 Plus的商用终端预计于2019年下半年面市。与骁龙855相比,该平台支持的增强性能包括:Qualcomm Kryo 485 CPU的超级内核主频高达2.96GHz;Qualcomm Adreno 640 GPU实现15%的性能提升。该平台在性能方面的提升将游戏体验带至全新
发表于 2019-07-16

智能AI?可以变形?看车企眼中的未来汽车座舱什么样

可能投放到前风挡上面。斑马智行在最新发布的Banma ME情景概念座舱中,展示了下一阶段斑马智行的应用状态。位于中控台上方面的屏幕,将同时显示AR-Driving 2.0系统、导航、娱乐等多种信息,同时还在A柱上集成两块屏幕,通过实时显示的摄像头画面替代原始的反射式外后视镜。Banma ME情景概念座舱还在后视镜旁增加了全息投影设备,在使用语音系统时将出现拟人化的AI伴驾智能助手,提升交互时的亲切感。斑马智行的提出的理念是具有强烈现实性的应用场景,核心依旧是对驾驶员辅助而非替代,不久后可能就将逐步实现。 星途E-IUV概念车星途在上海车展期间发布了E-IUV概念车,这款车展示的是星途对未来产品的前瞻构想,而且也对座舱和人车
发表于 2019-07-15
智能AI?可以变形?看车企眼中的未来汽车座舱什么样
热门资源推荐
更多
  •  pdf文件手机摄像头模组结构详细解说文档
  •  doc文件Layout 规则简单介绍
  •  rar文件pcf8584应用实例
  •  pdf文件基于神经元芯片和单片机的双处理器结构模拟量输入AI节点的研究
  •  MATLAB数值计算
  •  直流电动机控制电路的设计
  •  STM32F407 ADF4351程序
  •  PIC18F45K22资料中文版

小广播

最新物联网文章

  • 采用Pure1 云端管理平台实现自驾式混合云基础架构
  • ChinaJoy高通骁龙主题馆开启今夏移动游戏盛宴
  • 红狮控制推出新锐信号调节器
  • Arm联手中国联通完善中国物联网生态发展
  • 力推万亿智能互联技术浪潮,Arm中国“极术社区”正式发布
  • 基于LoRa的智能水表有助于自动抄表并提高整体效率
  • 康佳特推出10款用于嵌入式边缘计算的高端模块
  • 研华备战AIoT新势力 抢攻转型大商机
  • 射频模块天线端的ESD该如何设计?
  • 技术文章—实现ZigBee快速组网方法解析

更多相关热搜器件

  •  1-1337528-0
  •  KSZ8795CLXCC
  •  AT-267
  •  M3933/17-21S
  •  AWB7225P8
  •  132118
  •  CY2292FZXT
  •  MABT19530
  •  4098PA51H01800
  •  EKI-7659C-AE

更多每日新闻

  • Microchip助力客户加速智能嵌入式视觉设计
  • Guardian车载传感器增新功能 探测乘客重量并分类
  • 用于车内空气净化系统中的温湿度传感器
  • 英特尔发布神经拟态计算系统 算力远超PC 可用于自动驾驶
  • 啥都不用更动,电池就能降低20%损耗?该技术如今被公开
  • 庖丁解车:摇窗机之无传感器防夹简介(一)
  • 18650电池将退出汽车领域?将被哪种电池取代?
  • 预计2026年宽禁带半导体将占汽车功率市场的20%
  • 采用Pure1 云端管理平台实现自驾式混合云基础架构
  • GTI 证实是德科技提供了最多的 5G 新空口测试用例
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright 2005-2019 EEWORLD.com.cn, Inc. All rights reserved