2021年大数据和分析4大趋势

[[384184]]

大数据是一个术语，它被用来描述处理数据的技术和实践，这些数据不仅数量大，速度快，而且有许多不同的形式。埃隆·马斯克的自动驾驶汽车以及杰夫·贝佐斯的无人便利店背后，都有一个复杂的大数据系统和一支聪明的数据科学家队伍，他们已经把愿景变成了现实。

“大数据”这个词可能不像几年前那样无处不在，因为它所体现的许多概念已经彻底融入了我们周围的世界。不过大数据并没有过时，事实上，即使在今天，大多数组织也在努力从其所能接触到数据中获得价值。作为一种商业实践，大数据仍然处于非常初级的阶段。

因此，以下是我对一些关键趋势的看法，这些趋势将影响今年和不久的将来如何将数据和分析用于工作和生活中。

AI推动更深入的洞察力和更复杂的自动化进程

人工智能(AI)改变了分析领域的游戏规则。由于公司及其客户生成了大量结构化和非结构化数据，自动手动分析也只能触及表面。

今天使用的人工智能，最简单的思维方式是计算机和软件能够自我学习。举个简单的例子，我们的客户中，哪一个对我们最有价值?

如果是传统的、非学习型的计算方式，可以通过建立一个数据库来探究一下哪些客户花钱最多。但是，如果出现了一个新客户，第一次交易就花了100美元，该客户是否比过去一年每月消费10美元的客户更有价值?要了解这一点，我们需要更多的数据，比如客户的平均终身价值，客户本身的个人数据，比如他们的年龄、消费习惯或收入水平也会很有用!

从数据集中解读、理解和得出见解是一项复杂得多的任务。这就需要人工智能，因为它可以尝试解释所有数据，无论是否理解数据之间的关联，并根据我们所知道的一切预测客户终身价值。它不一定会得出“正确”或“错误”的答案，但是能够提供一个概率范围，然后根据这些预测的准确性进行改进。

探索和解释数据的新方法

数据可视化是分析过程中的“最后一公里”，然后我们才会根据我们的发现采取行动。传统上，人机交互是通过可视化来进行的，采取图形、图表和仪表盘的形式，突出关键的发现，帮助我们获得数据价值。

问题是，并不是所有的人都能洞察隐藏在一堆统计数据中的潜在价值。随着组织内每个人从数据中获得洞察越来越重要，新的技术和方法也不断发展。

其中一个取得重大突破的领域是人类语言的使用。分析工具可以让我们对数据提出问题，并以清晰的人类语言获得答案，这将极大地增加对数据的访问，并提高组织的整体数据能力。这一技术领域被称为自然语言处理(NLP)。

另一个是新技术，沉浸式体验发挥数据价值。扩展现实(XR)这个术语包括虚拟现实(VR)和增强现实(AR)，他们是推动创新的动力。VR可以用来创建新型的可视化，让我们从数据中传递出更丰富的意义，而AR则可以直接向我们展示数据分析的结果如何实时影响世界。例如，一个试图诊断汽车问题的机械师可能会戴着AR眼镜查看发动机，并预测哪些部件可能有问题，哪些部件可能需要更换。在不久的将来，我们应该期待可视化或数据交流的新方式的应用。

混合云和边缘计算

云计算是另一个对大数据分析方法产生巨大影响的技术趋势。无需昂贵的本地基础设施的情况下，就能够访问庞大的数据存储和对实时信息采取行动，这推动了按需提供数据驱动服务的应用程序和初创公司的发展。但完全依赖公有云提供商并不是最佳业务模式，当你将整个数据操作托付给第三方时，难免对数据安全和治理产生担忧。

许多公司现正在尝试混合云系统，其中一些信息保存在AWS、微软Azure或谷歌云等公有云服务器上，而其它个人或敏感数据则部署在本地或私有云。云提供商也不断布局混合云，提供“云-本地”解决方案，提供公共云的所有丰富功能和稳健性，但允许数据所有者完全保管其数据。

边缘计算是另一个强劲的趋势，它将在未来一年内影响大数据和分析。从本质上讲，边缘计算意味着设备在收集数据的地方处理数据，不用将其发送到云端进行存储和分析。有些场景对时延要求很高，比如从自动汽车上的传感器收集的数据，需要及时处理。此外，当消费者可以直接从他们的设备中收集洞察力，而无需将数据发送给任何第三方时，隐私也有了一定的保障。例如，谷歌新安卓手机上的Now Playing功能会持续扫描环境中的音乐，因此它可以告诉我们超市中播放的歌曲或我们正在观看的电影的名称。这在纯基于云的解决方案中是不可能的，因为用户会拒绝向谷歌发送全天候的音频环境流。

DataOps的崛起

DataOps是一种方法和实践，它借鉴了软件开发中的DevOps框架。DataOps(数据操作)是一门新兴学科，将DevOps团队与数据工程师和数据科学家角色结合在一起，提供一些工具、流程和组织结构服务于以数据为中心的企业。

DataOps工作不需要任何正式的培训，对IT职业感兴趣的人希望从事创新的项目，这通常是数据项目，DataOps为其提供了一个很好的机会，我们还将看到“DataOps即服务”供应商的普及，提供数据流程和管道的端到端管理，并按需付费。这将继续降低小型组织和初创组织的进入门槛，这些组织对新的数据驱动服务有很好的想法，但缺少实现这些想法所需的基础设施。