米乐6|米乐电竞|米乐官网
米乐6
米乐6
电话:0851-85824918
传真:0851-85824918转8018
E-mail: gyjlykj888@163.com
地址:贵阳市花果园中央商务区2号楼1单元44层
  您当前位置:首页 > 产品中心
创新存储架构突破IPFS算力瓶颈 西部数据的这些技术探索

来源:米乐6    发布时间:2023-10-09 16:09:28

  随着疫情的平稳,2021年CITE也于上周五在中国创新之都深圳的国家会展中心,拉开了序幕。在历经了罕见的全球化疫情侵扰后,数据的价值进一步被放大,在大数据的强大算力支持下,智慧医疗,AI配送,在线教育,云监管等一系列,基于数据存储的业务在疫情下实现了爆发性的增长,也让慢慢的变多的从业者意识到数据的真正意义。

  在此背景下,来自全球的各大数据存储大厂集结深圳CITE,共同出席了深圳国际大数据与存储峰会,并分享了它们对于大数据和存储产业的行业发展和产业动态。作为数据基础架构提供商的西部数据,此次也携众多合作伙伴共同出席此次峰会,同时,西部数据副总裁兼中国区业务总经理刘钢先生,发表了《创新存储架构 突破IPFS算力瓶颈》的主题演讲,引发行业热议。

  刘钢先生一上台,便以一组数据作为引子,与在场的观众分享了当下和未来大数据存储的发展趋势。

  通过数据表格,不难发现几个有趣的现象,在HDD方面,“在2024年的时候,以HDD为代表的大数据预计将增长到1.62ZB,那从现在开始到2024年,年化增长率在30%左右”,“而在SSD为代表的快数据方面,2024年快数据存储预计将达到333EB,年化增长率几乎接近50%”,这表明在绝对增长上,无论是大数据还是快数据,都有着相当的活力和潜力。

  而每年产生如此多堪比石油、黄金的数据,又有多少被安全高效的存储了呢?答案是大概1.5%,“因为在2024年产生的数据有143个ZB,大数据只存入了1.62个ZB,快数据333个EB(0.333ZB),所以加在一起也小于当年产生的数据的1.5%。”

  那么剩余的超过98%的数据为何无法被安全高效存储呢?原因主要在于存储架构的老旧和存储技术的落后,刘钢先生表示,我们应该创新存储架构,为更多海量的数据来进行存储、挖掘和分析,唯有如此,才可以更好的利用数据,撬动数据经济的新动能。

  面对新兴的存储需求,存储架构的迭代和创新也面临的诸多的挑战,刘钢先生总结到,“创新存储架构的挑战总结来说就是用户既需要大容量、也需要快速访问、又需要低成本、还需要低功耗。那么有没有一个存储设备或者一种存储介质能够同时满足这四个方面的需求?”

  实际上,几乎很难从存储设备或存储介质方面,找到能够很好的满足这四个方面需求的完美解决方案。可当你从部分的存储设备和介质中剥离开来,回到整体或系统化的进行存储架构的创新时,就会发现这个棘手的问题,有了解决的可能。

  其中,以去中心化为特点的IPFS存储架构,相较于传统的中心化思路的云存储服务商,能够显著的节省它们的服务提供成本,进而降低整体系统的存储成本。

  接下来,刘钢从传统大数据存储和新兴的快数据存储两个方面,为在场的行业同仁分享了西部数据来进行的一些技术探索。

  在分享技术探索之前,刘钢也引入了一个新的概念和理解,他表示,“数据是有价值的,同时数据也是有分层的,我们把它简单分成五层,有极热数据、热数据、温数据、冷数据和极冷数据。”

  根据数据分层不同,数据延迟,应用场景和成本制造也有着明显的区别,就以大数据存储而言,基于其少量写入、大量读取、大量数据的应用特性,西部数据将其归为极冷数据和冷数据类别,并为其提供了业界单碟最高2.2TB,总容量达20TB的Ultrastar DC HC650,这是一款定位于极冷数据的SMR HDD,更低的TCO&Watt/TB,更小的体积,能够极大的节省大数据存储的采购和运维成本。

  当然,对于HDD有着一定性能需求的数据中心,西部数据也提供了性能更强,存储容量依旧夸张的Ultrastar DC HC550,这款HDD,采用的是CMR架构,并通过三级磁臂设计,进一步提升硬盘性能,同时在容量方面,也达到了18TB,能够满足以IPFS为代表的众多服务商的存储需求。

  无论是18TB还是20TB,西部数据提供的更大容量单盘HDD,能够显著的提升单位功耗,降低服务器基准成本以及服务器总体拥有成本,也被包括DropBox在内的云服务商率先进行了验证和适用。

  至于在以SSD为核心,追求高性能计算的密集型工作负载,或是主流的读写均衡混合型的工作负载,西部数据依旧有一系列针对性解决方案。

  无论是密集型或是均衡混合型,其背后都需要高性能SSD进行硬件支撑。而西部数据在SSD领域拥有着多年的研发经验和深厚的技术积累。

  首先是关于SSD中NAND闪存产量方面,SSD的成本核心在于NAND闪存,而西部数据作为全球领先的NAND原厂,和合作伙伴铠侠一同占据全球三分之一的原厂份额,同时西部数据拥有稳固的NAND产业领导力,以及固定的NAND技术投资承诺,使得它能够在NAND闪存的制造和产能方面有着绝对话语权。

  其次在闪存技术方面,刘钢先生表示,“我们刚刚发布了第6代3D闪存技术,162层的3D闪存技术,会促进地缩小芯片的尺寸,减少相关成本、提高性能。它的程序性能能大大的提升两倍以上,输入输出的IOPS提高约66%”,随着第六代3D闪存的问世,西部数据将继续保持在NAND领域的领导地位。

  最后,更为关键的是纵向集成优势,SSD作为一个高度集成化的产物,不仅需要各个组件的高质高性能,更需要有优秀和可靠校正和优化,进而发挥所有组件的潜能。而西部数据集成了完全自主的NAND颗粒,SSD主控器以及固件于一体,能够轻轻松松完成产品的校正和优化,逐步提升SSD产品的性能和稳定性。

  因而,无论是针对读写均衡的混合工作负载还是密集型工作负载,西部数据都有能力匹配和提供对应的SSD,以实现用户需求。

  如果将上述的存储技术和存储架构应用到IPFS领域,又能产生哪些新应用呢?刘钢分享到,“目前IPFS服务商的存储痛点,主要有数据吞吐量低、空间利用率低、难扩容、总体拥有成本高、运维低效以及故障惩罚高等,但是通过西部数据提供的一系列存储新架构和存储新产品,能够针对性解决上述诸多问题。”

  刘钢再次分享和推荐了,和西部数据共同建展的诸多IPFS合作伙伴,并通过它们的案例为在场从业者,提供了相应的IPFS的存储解决思路。

  首先是西部数据、星辰天合、浪潮联合推出的IPFS解决方案,通过部署西部数据Ultrastar DC HC550 18TB硬盘,明显提高了的存储容量,同时降低集群的节点数量,节省能耗、机柜空间等相应成本;

  其次则是西部数据与杉岩数据携手赋能IPFS存储,西部数据与杉岩数据联合推出了融合了杉岩 MOS海量对象存储系,Ultrastar DC SN840/640、Ultrastar DC HC550和JBOD存储平台的 IPFS解决方案。通过构建高性能、大容量、低成本、简运维的存储方案,极大的降低IPFS业务的总体拥有成本,全方面提升经济效益。

  最后,西部数据还携手长城超云打造了IPFS“新范式”,以及牵手灵动公司,提供西部数据的存储解决方案,逐步提升用户效应。

  “所以总结来讲,针对Web3.0或者IPFS的基础设施架构,针对它的存储集群,我们有高密度的磁盘扩展柜、大容量的18T硬盘,还有Ultrastar DC SN640 NVMe SSD来作为缓存。

  刘钢在整个主题演讲的末尾做了总结,西部数据能为广大的用户群体提供的各种不一样的需求的存储解决方案。同时,西部数据也能够就IPFS的计算和存储优化,进行更多的技术合作,一同推动未来数据存储架构的激活和发展。

  2023年1月,南京鹏云网络科技有限公司(简称:鹏云网络)正式公开宣布开源ZettaStorDBS分布式块存储系统,开放了自研10余年的分布式块存储技术,自此踏上了“自研”与“开源”一体并行的生态闭环之路。研发十年,挑战块存技术上限成本、效率、高可用,一直都是企业IT系统建设所追求的重要关键点,这三点在

  2023年5月9日,以“效能再进化,数据更安全”为主题,威联通2023年新品发布会在上海隆重举行,多家媒体、合作伙伴及威联通爱好者莅临现场,共同见证NAS网络存储行业朝向更高品质、更强性能、更好安全性的再次启航。威联通QTS5.1.0系统发布时下,网络存储行业已从萌芽时代步入增速发展关键期,用户对数

  高可靠存储控制芯片、高端汽车存储芯片等领域都已成为备受瞩目的黄金赛道,被持续加大研发投入,颇受市场认可。在这样的市场背景下,得一微电子CEO吴大畏与Arm物联网事业部业务拓展副总裁马健展开生态对话,围绕存储控制技术及应用市场展开了探讨,双方将在ComputationalStorage计算存储领域芯片

  近期互联网圈顶流“ChatGPT”凭借着“天上文曲星”般的智能表现火速破圈,在诸如内容生成、搜索引擎优化、智能问答等领域展现出了巨大潜力,引发了AI领域的新一轮技术升级与产业重塑,一个AI大规模商业化的时代正悄然来临。AI大规模商业化时代背景,势必伴随着背后海量级的数据存储,数据就是一切,是支撑

上一篇:6GB到8GB再到12!手机闪存选多大更合适大数据给出答案
下一篇:大数据生态系统最底层的数据存储
米乐6
米乐电竞
新闻中心
公司新闻
产品中心
软件产品
米乐官网
解决方案
网站地图

微信二维码扫描
联系电话:0851-85824918  手机:0851-85824918转8018  邮箱:gyjlykj888@163.com
Copyright 2020   米乐6|米乐电竞|米乐官网  版权所有.  地址:贵阳市花果园中央商务区2号楼1单元44层   
免责声明:本网站部分资料来自互联网,如果涉及到版权问题,请及时通知本站,我们尽快删除或更改。    米乐6