高级数据分析常见的五种挑战

然而，实践者们都非常清楚，高级分析并不都是成功的。对于每一个令人印象深刻的案例研究或令人兴奋的头条新闻，都有几十个项目未能发挥其潜力。高级分析项目的探索性、反直觉性和技术性通常是每个项目面临挑战的原因。这些失败的背后还有什么原因呢?

在过去的几个月里，我们回顾了自己的经验，并与多个行业的高级分析领导者和实践者讨论了分析项目失败的原因。以下五种跨领域的障碍与行业无关，它们是项目需要克服的共同主题，以便充分发挥潜力。

1. 问题定义不明确的挑战

糟糕的问题定义是分析团队面临的重大挑战。将一个组织面临的广泛挑战分解为可解决的部分通常是非常困难的，而评估哪些部分在解决后将产生最大的影响则更加困难。

那么，当分析项目专注于错误的问题——或者至少是正确问题的错误方面时，它们的后果是什么?当这个问题出现时，项目最终会：

• 没有解决明确的业务需求
• 与整体业务战略不一致
• 缺乏实现投资回报的明确途径
• 与企业成功的真正驱动力脱节
• 专注于有趣的事情，而不是产生最大影响的事情

2. 数据质量低、不一致或缺失的挑战

任何模型的强大程度都取决于它所依赖的数据。然而，获取正确的数据而且足够多可能会很困难。在以上情况下可能会发生：

• 所需数据不存在
• 数据质量不足以继续进行项目
• 项目团队无权访问必要的数据
• 数据访问成本太高
• 数据工程太昂贵或太耗时而无法使数据可用

3. 执行中技术方法与问题不一致的挑战

不幸的是，确定正确的业务问题供分析解决并拥有解决问题所需的数据不足以构建交付业务成果的模型。即使前两个步骤正确，团队也可能由于以下原因无法完成工作模型：

• 在整个过程中缺乏适当的技术人才或领域专家
• 过度规划项目并试图一次实现太多目标
• 在开发解决方案时使用了错误的技术、算法或方法
• 没有建立足够准确的模型来进行预测
• 可用资源不足，无法达到产生影响所需的质量或范围
• 该项目的交付时间比预期的要长，并且没有足够的预算来完成模型

4.未能考虑到人为因素的挑战

即使交付了一个工作模型，如果目标用户不采用它，或者没有集成到现有的技术或业务流程中，它仍然可能会失败。虽然技术集成会带来问题，但用户采用是分析项目失败的更大原因。最好的数据科学和结构最完善的模型如果不容易使用和部署以增强人类决策，那么它们将产生很小的影响。在以下情况下会出现采用和可用性失败：

• 目标用户没有参与或积极拒绝采取干预措施
• 操作程序和激励措施不鼓励用户将模型纳入他们的持续行为中
• 模型的交互或界面太难使用
• 该解决方案不容易集成到现有技术堆栈、当前基础架构或组织缺乏必要的数据仓库、云处理和存储等能力

5. “一次性”陷阱的挑战

虽然一种模式在最初被采用时可能会蓬勃发展，但如果长期被抛弃，可能是由于缺乏内部支持，或者是由于在建立它的组织发生重大变化后没有适应。

• 未能调整模型以适应组织需求、业务战略或目标的变化
• 由于环境、模式或行为的变化，模型性能随时间恶化
• 没有足够的技术支持来调整数据管道中的问题、源系统或 API 的更改等。
• 缺乏长期采用，最终用户回滚到旧的工作方式，创建新的解决方法或使用次优系统

虽然不同的组织处于其数据分析过程的不同阶段，但我们已经看到整个高级分析行业的整体成熟度不断提高。技术人才、适当数据的可访问性和模型概念背后的思想通常最初是合理的，因此导致问题、数据和执行失败模式的因素通常比两年前更普遍。上面强调的问题四和问题五代表了许多高级分析项目的最新瓶颈，很大程度上取决于用户的采用。仅靠数据科学无法解决这个问题。根据经验，以人为本的设计，超越界面和数据可视化，在消除这一瓶颈和确保分析项目发挥其全部影响方面发挥着不可或缺的作用。

从项目一开始就集成设计，早在问题定义阶段，就可以更早地开始变更管理过程，并在许多导致失败的问题之前进行处理。考虑未满足的需求，并尽早发现潜在的用户问题。正如一位经验丰富的分析高管所说，“分析的50%影响在于你的模式有多好，另外50%则是用户接受度。两者缺一不可，不会给你带来任何有价值的东西。”