删除校正技术是数据保护办法的一种,主要利用校正算法删除原始数据分割后扩展到了各个部门及细分执行验证的数据编码和验证一起存储在磁盘、存储节点或者其他位置,允许错误达到目的的。基本原理:块=原始数据块+验证块,通常用n=k + m表示。基本想法是将k块原始数据元素计算成一定的编码,获得m块验证要素。对于k+m块元素,如果任何m块元素发生故障(包括数据和验证错误),可以通过相应的重组算法恢复原来的k块数据。
在上述情况下,以k=4, m=2为例,首先将应用数据分割成4个区段,计算出2个测试流,然后根据数据分布算法将6个区段数据传送到6个节点存储。余副本战略分析了客户使用策略的数据剩余的ec删除艾尔和纠正错误的3副本的读写过程和故障场面如下步骤:在下表中可以得到的正常程序中,需要消耗7个iointelligence才能写入正常程序,同时出现故障场面的7个读写iointelligence认为是较大的读写惩罚。另外,在小块io读写过程中,如果块小于ec块的数据大小,就会造成空间浪费。
在hyperconvergence应用脚本中,用户经常使用块内存接收应用数据,以适应虚拟化、云平台、数据库等场景。在此脚本中,小块的随机读写负载非常多,用户需要5ms以内的高延迟,而对操作的影响则需要很小的故障场景。这些要求就是ec删除的缺陷
由于ec的优缺点很明显,如何在超整合块存储商中使用ec的功能最近成为了新的话题。浪潮云海hyperconversion在下一代g7平台上设计了独特的方案。
数据层管理:数据内存分为使用高性能nvme和sata ssd存储的缓存层和使用多个副本设计为缓存层提供高性能数据存储功能的数据层。数据层提供ec存储库,主要存储在hdd硬盘中,因此提供大容量存储空间。
智能缓存管理:设计冷热层的智能缓存管理,有效识别热点数据和呼叫数据,同时设计全局缓存管理功能,保证客户的热点数据存储在缓存空间。
数据存储空间的有效:缓存副本存储在层叠因上尉应用部门的小块io集合,数据变更成冰冷的数据时,ec储层刷的时候,通过数据排序,因此ec数据读写顺序在层叠的大模块集合,可以进行有效的数据储存。
ec加速计算:在英特尔平台上,使用isa l的ec加速库,支持多个ec加速引擎,以使用英特尔cpu的ec计算功能。
为了验证模式效果:比较isa l加速计算性能测试和不计算cpu加速而使用jerasure纯软件的性能。使用下面的画是1g的测试数据,在金融及医疗领域一般会展(http://www.maoyihang.com/exhibIT(http://www.maoyihang.com/sell/l_25/)/)示使用的数据库应用程序,并触发数据下刷(brusing)的剧本中,ec - solomon和cauchy使用算法,里德医院,选择算法,ec保定版本进行测试。从实验数据中发现:
isa-l在不同的k/m模型中ec计算的带宽比较稳定,但软件计算会随着计算量的增加而线性减少。
isa l的吞吐量为9.8 gb/s,比软件计算提高了5.7倍。
结论:ec删除战略与多拷贝战略相比,可以提高内存的使用率,例如4 + 2脚本可以提高66%的使用率,3脚本可以提高33%的使用率,8 + 2脚本可以提高80%的使用率。但是,与ec相关的删除计算、数据验证、读写惩罚等问题仍然比多副本存在更多的优化空间。incloud dsan分散存储软件是新g7平台上驱动,新硬件(英特尔下一代g - cpu), isa - l软件加速库为基础,设计一种新的ec功能,独特的阶层化、智能缓存数据管理、软件和硬件使用协作等。解决了目前广泛存在的数据重复和存储空间利用难题。