推广 热搜: 采购方式  甲带  滤芯  气动隔膜泵  减速机  减速机型号  履带  带式称重给煤机  链式给煤机  无级变速机 

SSD数据精减助力企业 3/3

   日期:2023-08-20 13:24:57     来源:网络整理    作者:本站编辑    浏览:21    评论:0    

重删的实现源自备份存储和辅助存储,尽管其同样可以对主数据集进行重复数据消除,最大限度地提高闪存对外服务的容量和性能。主存储重删是存储硬件或存储操作系统软件的一个功能。

重删技术有望为云服务提供商提供合理的开支。能够对存储的内容进行重复数据消除,从而降低了磁盘存储成本和异地复制带宽。(当然这些可能并没有降低最终用户的开销.....)

数据缩减越有效,固态硬盘就变得越实惠。

虽然存储中的数据缩减(简约)曾经是聚焦在备份设施上,但供应商现在通常在其基于闪存的主存储系统中也实施了这些技术。

固态硬盘对比硬盘来提供的卓越性能使得即使在支持关键任务应用程序的主存储系统中也可以使用数据缩减技术。存储供应商还改进了数据缩减技术,以提高效率并帮助将对性能的影响降至最低。

尽管有这些优势,但SSD数据缩减技术在有效性方面可能因产品而异,另一方面,存储的特定性能指标也会下降。在选择存储产品之前,甲方爸爸应该充分了解系统的数据缩减功能、它们对应用程序性能的潜在影响,以及自己的组织在存储成本方面,直至TCO方面节省了多少。

数据缩减通常侧重于两种主要技术:压缩和重复数据删除。压缩在位级别删除冗余数据,重复数据删除在块级别删除数据。查查字典, 用较短的数据段代替较长又重复出现的数据段。  

多年来,数据缩减通常被降级到用于备份和归档的辅助存储。在辅助存储中,重点是有效使用资源,而不是支撑应用程序性能。

IT团队一直不愿在其主存储系统上实施压缩或去重,因为这可能会对应用程序性能产生潜在的影响,就算采用专门用途的硬件加速器来压缩。对于许多组织来说,即使它们将主存储升级转移到AFA,这种不愿意仍然存在。

数据精减操作可能会消耗内存和CPU资源,增加I/O开销,增加延迟并降低整体性能。即使组织想要采用数据精减,他们也可能一直在运行无法从这些数据精减技术中受益的工作负载,任何使用这些技术的尝试都会导致不必要的开销。例如,他们的数据可能具有较低的冗余率,因此尝试对数据进行去重几乎没有什么好处。所以要么自己知道自己数据的可压缩可去重的幅度, 要么请供应商来做概念论证测试.一般项目前期可以见到的供应商人员每个人都拍胸脯说部署精简甲方的TCO一定会更优, 直到甲方终于见到一个满脸菜色,头发花白,表情万般讨好的乙方工程师突然说了一句“还是测试下才知道". 这是他唯一一句顶撞了兴致勃勃的甲方的话。 

一些存储系统采取了"要么全有要么全无"的方法来精简数据,尽管总是打开精简功能有可能弊大于利。要么全有要么全无的方法给那些必须遵守区域数据法规的组织带来了挑战,这些法规可能要求数据以原始格式存储。重复说, 在运行生产工作负载之前,甲方IT团队可能还没有完全意识到其产品的局限性。例如,他们可能为时已晚地发现,他们的存储系统不支持无损压缩,无法满足不断发展的扩展需求,或者无法在整个阵列中全局应用数据精简。

随着AFA在数据中心的不断激增,数据缩减技术已经在存储环境中取得了重要进展,在存储环境下,每GB的成本仍然是一个首要考虑因素之一。然而,固态盘的进步带来了新一代设备,它们可以提供卓越的IOPS和微秒延迟,以及更容易适应数据精简开销的性能。

改进的不仅仅是存储设备本身。PCIe 4.0的固态硬盘现在很常见,提供比几年前更快的数据速率。此外,PCIe 5.0驱动器已上市,PCIe 6.0规范已于2022年发布。每一代新的PCIe都会使数据速率比上一代PCI-SIG推动规范升级思路是经典的"小车不倒只管推,"字面上的意思......

NVMe和NVMe oF有助于提供高性能存储系统。NVM Express组织最近发布了NVMe基本规范的2.0c版本,该版本为实现更低的延迟和更高的吞吐量提供了更高效的接口。NVMe与PCIe一起,有助于最大限度地发挥SSD性能的全部潜力,从而使存储系统能够更好地适应数据精简。当下这个气氛已经到这里了,应该没有人有勇气问"那SATA呢?SATA是否也可用......"之类吧? 爷儿要说, "有啥不可以的?!只要自己开心!存储又不是啥大事!毕竟粮棉油才是国计民生!"后来爷儿看到2021年《农业农村部关于加快发展农业社会化服务的指导意见》提到要"推动服务范围从粮棉油糖等大宗农作物向果菜茶等经济作物拓展", 才长叹一声说, "要不还是NVMe好了"。 

数据缩减技术本身也在不断发展。它们将对性能的影响降至最低,并提供更有效的数据精简。AFA通常支持无损压缩、联机数据缩减和整个阵列或命名空间的全局精简。供应商已经使数据精简更具适应性,并改进了他们的算法,以提供更智能的缩减和更好的性能。

AFA中的数据精简功能可以提高其存储系统的有效容量,节约能源并减少存储占用空间。数据精简减少了写-擦除操作的数量,延长了驱动器的寿命并减少了数据传输负载。这些因素加在一起,毕竟有助于降低总体存储成本,并使固态硬盘更适合更多的工作负载。

尽管SSD数据缩减操作仍然会影响性能,但与企业级驱动器提供的性能提升相比,其影响通常很小。对于许多工作负载来说,节省的容量可能值得进行任何性能方面的权衡。

Pure Storage FlashArray 集成了多种数据缩减技术,以节省其AFA的空间。该系统识别并删除重复的二进制模式数据,并提供支持4 KB到32 KB的可变块大小的联机去重。它确保只有独有的(没有相同的)数据块被保存到存储器中。该产品将去重应用于整个阵列,而不仅仅是单个驱动器。FlashArray提供了联机压缩,该压缩使用可变寻址和"仅追加写入"布局来消除浪费的空间。它运行一个后处理压缩算法来挤出更多的空间,同时对实时IO的影响具备超越安慰剂的治愈。

VAST Data 存储系统使用自适应分块技术,该技术将数据分割成范围从16KB到64KB的块。数据缩减发生在集群创建的整个命名空间的单个领域内,精简元数据保留在SCM写缓冲区中。去重操作首先识别相同的数据块,然后运行一组查找相似性的哈希函数。如果找到,Vast会使用一个通用的压缩字典将它们压缩在一起。Vast提供了自动实时应用的数据感知压缩。它的系统还使用delta编码来进一步减少存储的字节数。(这些统统在过去已经学习过的.)

facebook的Zstandard compression 算法在SSD上实施压缩和解压后获得的读写性能均已经高于HDD的标准裸读写操作的性能。而VMWare vSAN, 仅对全闪的配置提供压缩和去重服务。 

计算型SSD也是一个可行的方案。盘自己搞定自己命名空间里数据的压缩和解压。对主机,对网络,乃至对应用都全透明。而且因为算力都驻留在盘内部,所以只要简单地部署更多盘, 算力就线性扩展了。 挑战同样显著。 针对不同的数据特征采取不同的针对性的压缩解压是毕竟难的了。 加上功耗,散热,部署成本,供应商锁定等等的考虑,现在还没有普及。 向那家和Xilinx 一起在明知市场尚没有买家的前提下,依旧上市了商业版产品的供应商致敬。 

存储破破烂烂, 闪存缝缝补补。 

剧终

大时代下, 无人幸免。从公司出来已经漫天繁星了。 精疲力尽,走进小饭馆吃个饭。手贱发了晚饭照到朋友圈。结果,朋友圈里谁扫了画面里贴在饭桌上的二维码, 给我点了一千多的东西.....就在这样的小饭馆里。

走出饭馆时都半夜了。 想不到这么个小饭馆有这么些餐具要洗。腰直不起来了......我以为回郊区的夜宵公交应该很空, 就象北京的330路那样。结果车里象上班高峰一样。而且车又走得磕磕绊绊地,不时急刹,大家东倒西歪的

"挤什么挤,别挤了!我特么都过了好几站了都下不了车!

"大哥别说了, 你比我好。我特么只是路过的, 结果都被挤了上来!”

这时, 一位40多岁的大叔开口了:"都让让, 都让让,让我过去, 我是这公交车司机, 现在到底是谁在开车啊?!"

这些是造就郊区人民的精神状态的根源......

挣扎这个词出自元,吴昌龄的《张天师》第二折:“我只得挣扎病躯,到此后花园中等。”

 
打赏
 
更多>同类资讯
0相关评论

推荐图文
推荐资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  皖ICP备20008326号-18
Powered By DESTOON