必须要了解大数据的“黑暗”面

　　大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。但是大数据还有一些黑暗的一面，各位小伙伴要警惕了。

     今天数据正在以前所未有的速度产生，每一个新的技术都将进一步推动这种趋势。物联网(IoT)、机器学习和医疗保健数字化，产生数据的速度很快就达到每秒数百万千兆字节。根据IMB的一项研究，自动驾驶汽车也将很快加入——到2020年每秒将生成350MB的数据。

　　数据的产生与收集已经在企业中根深蒂固，时刻上演着大量数居的记录与分析。但是，这些数据的存储库并不总是结构化和一致的。事实上，未知的和未使用的数据催生了一个新的术语——“黑暗数据”。

　　如果我们不改变存储、管理、结构和分析数据的方式，大部分数据都将变得毫无价值。IMB同一研究表明，今天收集的所有数据中有80%是“黑暗的”，也就是说，这些数据是无效和不连贯的。未来数据量越大，“黑暗数据”引发的黑洞也就越大，导致的问题与挑战就越严重。

　　存储和安全

　　最大的挑战是，“黑暗数据”不仅难以分析，而且也容易导致存储问题。大量的非结构化数据——MS Office文件、即时消息、电子邮件、社交媒体帖子等形式获得的数据就属于此范畴。

　　目前存储大数据的方式包括混合云、闪存存储、智能软件设计存储(I-SDS)和冷库归档。虽然存储本身相对便宜，但是大型数据中心的维护和能源消耗产生的成本可能是一个天文数字。

　　安全性是与数据相关的另一个问题——无论是存储在云上还是本地基础设施上。由于数据源繁多，以及分布式计算在数据分析中的普及，均为数据泄露提供了众多机会。

　　敏感信息无处不在

　　现在，互联网已经渗透到我们生活中的方方面面，互联网能快速而又轻易地存储大量的数据，这意味着，我们的个人信息会在网上许多地方留存，甚至在你自己都没有意识到的地方，你也留下了个人信息。

　　在网上的某些角落里，你的信息被或许正在被一些别有用心的人关注着。你是不是经常会收到“你已中XX元大奖”的邮件?恶意软件猖狂，你会经常更新杀毒软件进行杀毒吗?不一定吧，你的电脑往往会受到这些病毒的攻击。

　　作为一名普通的互联网用户，我们无意识地在网上留下了大量个人信息，并且这些信息很容易被病毒识别。也许，你点开了一张购物优惠券，然而这个优惠券实际上是一个病毒，可能会盗取你的银行卡密码。也许，你像我一样，在租房网站上看到了一套房子，房租价格低得惊人，而你却不敢点开，生怕又是一则诈骗信息。

　　即使在我们不在线的时候，你的个人信息也可能会泄露。普遍来讲，可以安全储存你的个人信息的地方包括银行，保险公司以及医院。我们似乎也愿意在这些场所留下自己的电话、生日、地址、身份证号码等敏感信息。可是，现在这些地方似乎也不安全了。

　　质量与数量

　　对于大数据来说，组织迫切需要关注质量数量。一般来说，数据集越大，其质量越低。这样清理数据将比分析数据涉及更多的工作。但是，通过仅收集有意义的数据可以减少这种精力消耗。组织应努力收集来自内部和外部来源的高质量数据。但是，这种尝试减少“暗数据”的收集并不总是可行的，在这种情况下，数据探索成为重要的一步。

　　数据探索是确定数据集质量的过程，即使我们不知道我们正在寻找什么，也能有效地从数据中提取知识。在大数据分析中，最小的错误可能会引发随后的错误计算，从而使整个分析无法使用。使用数据探索，分析人员可以识别在进行清洁和策划的昂贵且耗时的步骤之前可能存在的任何错误。

　　大数据分析肯定会在未来几年甚至几个月内发生变化。认知计算已经准备好利用人工智能挖掘出几乎零错误的短距离数据集。然而，尽管如此，减少和简化收集的大数据的需求仍然比以往任何时候都重要。

      结束语：看完文章的小伙伴，明白了大数据的“黑暗”面了吧！数据现在对我们每一个人都很重要，所以我们要学习更多这方面的知识。大家可以登陆编程学习网，这里知识全面并且还有视频教学，我们在这里等你哟~