全面讲解数据存储系统的 80/20 法则

     目前一些人对80/20 法则不是很了解，今天编程学习网就来和大叫一起探讨一下，想要了解的小伙伴，可以参考一下。希望能对你有一些帮助，大家要认真的阅读哦！

     80/20 法则通常被认为是源于意大利经济学家维尔弗雷多·帕累托。帕累托出生于1848年，他是(至少被认为是)占领运动的早期成员之一。他发现意大利国家财富的80%是掌握在几乎少于20%的人口手中的。由此发散开来看，80/20法则在其他方面的应用同样值得注意，也是很有趣的：因为帕累托观察发现他的园子里的80%的豌豆产自于20%的作物上(他似乎更喜欢数豌豆而不是其他豆子，哈哈)。无论如何，帕累托是不相信均匀分布的理论的。

　　帕累托原则，以及由此而来的统计学观点“帕累托分布”被看作是统计学幂率的一个实例，它在理解存储器访问模式上也有出人意料的相关性。这就是为什么应用负载、访问磁盘的问题更接近于帕累托分布而不是均匀的随机分布：即大部分的I/O请求访问少量的热门数据，而大量的冷门数据的访问频率远低于此。

　　我们的系统是由冷数据和热数据混合组成的，这是一个众所周知的事实。混合介质存储系统技术引起了热烈的争议，它也被应用于为Facebook这种规模的应用程序设计存储系统。问题就在这里：通过给数据分配不均等的资源可以给类似帕累托分布的结构更好的支持。使用多种存储介质来代替同介质存储系统，这样的分配就可以让我们从那些不经常访问的数据处夺来资源补贴给那些经常被访问的数据。

　　对帕累托原则的误解导致了构建和度量存储系统时的诸多混乱。例如有些闪存芯片供应商坚持认为在单一、同介质的闪存芯片上构建完全基于闪存的存储系统就能很好的满足工作负荷的要求。从这个角度来看，同介质纯闪存的系统还是高效的“共产主义”存储呢。他们理想化的决定投资这种给所有数据分配均等资源的方案，这导致了资源层面的开支与数据访问层面的开支严重不对等，哎，还是在这里多关注一些吧。

　　让我们看一下真实的工作数据

　　为了解释存储的工作负载数据到底有多么的不一致，我们来看一组真实的数据。我们最近对11个开发者桌面存储数据进行了为期一年的跟踪记录。随着时间的推移，对这些数据集的分析变得很有趣，因为它包含了一个很长时间段内的大量数据：存储的轨迹记录，比如 SNIA保存的数据就非常的小(一天内的总小时)或者精确度也很低。总的来说，为期12个月的跟踪记录了大概76亿次的IO操作和在5TB存储数据上进行的超过28TB传输量。

　　我想通过快速的总结这些数据，指出一些有趣的东西，获取能对你的思考如何规划你的数据存储有些帮助。

　　上面第一个图表，显示的是所有存储数据在结束trace时的时间。5.1TB的数据被存储在11个桌面，3.1TB的数据在整整一年中没有被访问。因此，可以通过一整年都没有被改变数据来决定那些冷数据被存储在哪个位置。

　　在另一方面，我们看到仅有627GB，或者大约21%的数据有在一个月内被访问。在更短的时间段里，我们看到类似的级数增长。这个初始容量/时间分析，仅仅是用于验证我们对于访问分布的假设，那么，现在让我们看一个更有趣的现象…

　　32 GB 4.5 TB (35%) 64 GB 5.9 TB (46%) 128 GB 8.0 TB (62%) 256 GB 10.7 TB (84%) 512 GB 12.6 TB (98%) 1 TB 12.8 TB 缓冲大小… …对应的请求量.

　　如上图所示，我把一年来实际的访问量同逐渐递增的“热门”数据进度条对应起来。通过上图，我们对一年来的访问数据有了两个方面的新认知。第一个认知是：这张图罗列出了所访问的数据量，通过它我们可以计算出命中率。如果使用“最近最少访问”(LRU)模型作为填充高速内存方法，那么我们就可以推断图中上半部分(即缓冲)所提供的请求率是多少。如果你把鼠标滚动到上图中，你就能看到命中率是怎样随着系统中高速内存的增加而增长的。

　　第二个认知是：通过这张图，我们可以计算出数据的一般性访问成本。不是推断每GB存储上我们所花费的费用，而是看看纯粹访问所花费的费用。我完全随意地选择了最小缓冲的大小，即以32GB为高速缓存的最小单位，此时我计算出每访问1GB的数据所花费为1美元。为了提高命中率，我们不断地增加高速存储的数量，现在我们看看这种情况下会出现怎样的情形。为了提高命中率，你不得不一而再再而三成倍地增加高速缓冲的时候，你会发现实际的数据访问量却在相对的减少。因此，你就会很容易地得出访问数据的成本将会更贵。在我们的例子里，要实现100%的命中率所花费的金钱是我们最初使用最小高速缓存实现35%命中率所花费的11倍多。

　　80/20法则应用领域

　　企业管理

　　运用二八法则管理企业，就必须先弄清楚公司在哪些方面是赢利的，哪些方面是亏损的。理出赢利的部分，从而制定出一套有利于公司成长的策略。其次要搞清楚什么部门业绩平平，什么部门创造了较高利润，什么部门带来严重赤字，通过比较分析就会发现起主要作用的因素。获利的项目是少数，要给予更多的关注。

　　人力资源管理

　　二八法则同样适用于人力资源管理。一个组织的的生产效率和未来发展往往取决于少数关键性的人物，这些人可以帮助企业获取大部分的利润。多数人为企业的发展作出了贡献，他们看起来非常忙碌，但并没有为公司的发展创造什么价值。找到关键性的少数人，要建立有效的收益分配机制，防止关键人员流失。要理清20%的骨干力量、20%的重点产品、20%的重点客户、20%的重点信息以及20%的重点项目到底是哪些？然后将精力集中到这20%上，采取有效的跟进措施。

　　人际关系处理

　　在认识的人当中，有一多半是泛泛之交。一小部分的人际关系等于大部分的情感价值，数量少但程度深厚的人际关系好过广泛而浮浅的交际。所以，要把80%左右的时间花在20%的重要人物的人际关系处理上。

　　人生规划

　　人的专长可能很多，但真正发挥作用的很少。所以，要善于掌握自己的优势，寻找那些自己非常喜欢、非常擅长、竞争不太激烈的事情去做，一定会有收获。找到人生最关键的事情，才有可能获得成功的人生。在安排自己的时间上，有所不为才能有所为。要集中自己的时间精力，抓关键的人、关键的环节、关键的岗位和关键的项目。

　　网站制作

　　20%的网页内容为来访者提供了80%的价值。

　　营销学应用

　　1．学习和培训

　　一定要花80%的时间和精力去参加学习和培训，真正走向推销的时候，你就可以用20%的时间和精力去学习新东西。

　　2．推销的时间

　　80%的时间是工作，20%的时间是休息。

　　3．对目标客户的了解

　　了解80%，只消花20%努力，成功的把握就可以达到80%。如果你对推销对象一无所知，即使极尽80%之努力，也只有20%的成功希望。

　　4．推销的市场

　　真正能够接受你的推销的客户只有20%，但这些人却会影响其他80%的客户。你要花80%的精力找到这20%的客户。80%的业绩，来自20%的老客户。

　　5．听与说

　　使用80%的耳朵去倾听。如果80%的时间你都在唠叨不停，推销成功的希望将降到20%。仅用20%的嘴巴去说服客户。

　　6．第一印象

　　第一印象80%来自仪表。在客户面前一定要花80%的努力去微笑，它胜过用80%的言辞所建立起的形象所以花20%的时间，修饰一番再出门是必要的。如果客户认为你是严肃而不易接近的，你成功的可能性将降为20%。

　　情感与介绍80%来自交流、建立感情的成功。如果你用80%的精力使自己接近客户，设法向他表示友好，你只消花20%的时间去介绍产品，就有八成的希望成功20%来自演示、介绍产品的成功。假如你只用20%的努力去与客户谈交情，即使你用80%的努力去介绍产品，八成是白费劲。

　　7．成功与失败

　　在推销实践中，80%的将是失败，80%的人会因四处碰壁知难而退。80%的成功要归因于个人素质和技巧。但80%的推销员不是努力提高自己的水平，而是在抱怨和等待。

　　在成功的原因中，只有20%是由于环境和运气。仅20%的人会成功，这20%的人，将为他们的企业带来80%的利益。

　　确定进行不同投入

　　现在，我们要弄清楚我上面所讨论的事情：我讨论的不是你应当满足35%的命中率。相反，我讨论的是：你花费在访问存储条尾部的资金–即花费在提高根本就没有任何访问的3.1TB性能方面的资金-可能没有花费到正确的地方。我认为资金花费在提高较热门数据访问性能方面会更好一些。

　　这就是近来我在存储讨论日的第六期或多或少提到的，同时在Coho Office的一系列生动的博客日志中提出来的论点。我还说明了当今存储技术方面正在发生的某些显著的技术革新，尤其是现在三种大量使用的固态存储的连接方式(SATA/SAS SSDs,PCIe/NVMe和NVDIMM)，它们每一种的费用和性能都差别非常大。

　　因此，为了获得优异的性能，即便不使用磁盘，存储系统仍然需要使用多种介质，实现混合存储。我发现这就是”混合存储“和”全闪存阵列”(AFA)被误解的原因。对仍然使用磁盘做存储者来说，混合存储系统并不是一个廉价存储系统，它只是一个把更多的钱花费在存放热门数据的高性能存储上的一种存储框架。与此类似，全闪存阵列(AFA)也可以由三个(或者更多)种存储介质组合而成，这也是混合存储。

　　Coho的存储栈持续不断地监视和描绘工作负载，并适当地分配存储以提高性能，同时汇报你所运行的应用的工作性能。不久前，我们在顶级系统研究会议上发布了令人激动的新算法。如果你想了解更多，(上面链接处)我的存储讨论日展示概要地介绍了工作负载监控和自动分级设计，即分层设计。

　　非均匀分布无处不在。正是由于帕雷托的观察，各种类型的系统设计才得益于集中力量尽可能高效地做最流行的事情这样的理念。类似这样的设计也使得高速公路和乡间公路设计、中心城市交通系统设计、互联网核心路由设计以及 许多Netflix入门级系列课程设计上都有所不同。存储系统也不例外，而且建设存储系统需要仔细地对工作负载响应进行分析，这样才能正确地确定存储规模，适应存储工作区的特性。

     结束语：以上文章内容就是讲解“数据存储系统的 80/20 法则”，如果各位小伙伴还想了解更多关于这方面的知识内容，随时可以登录编程学习网参考，里面有全面的知识，一定可以帮助你很多的。我们一直在这里等着你的到来哦！