大数据常见问题

　　欢迎大家阅读本文章，本文章是一篇关于大数据常见问题简介文章。这篇文章会给大家带来一些关于数据和大数据的相关知识详解，希望本篇文章能帮助到你，对你有所收获，让我们开始学习吧，编程学习网提醒您：大家仔细阅读文章。编程学习网教育提醒您：要认真好好阅读哦~~

　　缺乏熟练的数据专业人员(例如资源和内部技术能力)是很多企业面临最大的问题，此外，还缺乏高价值的商业案例。

　　如今，为了收集大数据状态的见解，行业媒体与来自20家企业的22位高管进行了交流，他们主要从事大数据工作，或为客户提供大数据解决方案。

　　当人们问：“你们认为阻止企业获得大数据的好处的最常见的问题是什么?”以下是这些高管给出的答案：

　　•相信如果企业建立一个大数据湖，其结果变得明显。数据管理是一个问题。计划预期成果和企业想要实现的见解。思考如何进行更多的高级分析。使用正确的工具作业。确定要在数据仓库中使用的内容。

　　•企业不了解业务层面的大数据。他们没有确定他们需要解决的业务问题，了解什么是正常工作，以及可以做些什么来增加价值。

　　•一半的IT项目正在整合应用程序。获取访问权限如何清理和应用数据治理，看到两个整合，以及有能力外包的厂商?虽然平台的访问费用较低，Hadoop和Cassandra的进入障碍可能很高。

　　•需要对不同的格式进行归一化，收集，洞察，标记，并采用可搜索的格式。

　　•一个常见的问题是简单地低估了实现一个功能齐全的大数据系统的难度。还有很多其他的工具也会让企业开始，很多开放源码是伟大的沙盒，但对于生产级大数据系统是完全不同的。随着业务需求的变化，保持系统的运行和发展是另一个重大挑战。

　　人们一再听到同样的故事，他们了解大数据解决方案，并说：“感谢这个想法，我们有一些大数据体验，我们认为自己也可以建立。”通常，这些团队在几个月后将会表示，这比我们想像的还要难。

　　•能够动态地连接不同的来源，尽可能地保持工作的进程，使他们能够专注于更高层次的活动。

　　•复杂性加剧了整合和实施数据所需的技能。尝试将所有数据集中在一起，以便企业可以更改访问数据的80:20比例，并分析其数据。

　　•企业找不到需要查找的数据，因为它有太多的数据。有些文件名是神秘的，害怕给人们访问数据，因为不知道数据是什么。企业需要摄取，编目和查找数据。

　　•惯性。没有开始

　　•由公司的能力而异。对大数据集群的认知是10到50个，只有少数几个客户拥有数千个节点。开始运行并及时了解版本，而工具的标准化成为额外的工作。

　　•文化。大公司受益于大数据分析，摆脱项目必须成功的假设，允许失败和学习，允许迭代和实验。像西门子和菲利普斯这样的创新领导者可以向业务团队展示当允许失败时可以获得多大的成功。

　　•固定特定技术。确定正在尝试解决什么问题，并准备随着时间推移。

　　•拥有合适的人选。人才问题很大。企业必须有合格的候选人。数据科学家必须保持技术前沿，知道哪些工具正在发展以解决问题。

　　•他们需要指导。生态系统正在迅速发展，企业必须处于不利地位，才能知道问题的最佳解决方案。Spark需要从存储密集型到计算密集型的不同架构。对于具有传统系统的传统企业而言更为困难。他们倾向于更加缓慢而有条不紊地采取行动。行业厂商为银行和保健公司创建了一个商业价值顾问团队。

　　有客户设定具体目标(即减少4%的流失)达到或超过目标，然后转到下一个项目。开源的速度对大多数人来说是压倒性的。企业需要知道接下来会发生什么，所以可以相应地进行规划。行业厂商正在推动开放标准，使客户更加灵活，拥有更多技能和便携性的市场。在云计算和本地的大数据方面保证灵活性。

　　缺乏资源和内部的技术能力。每个人都需要了解人们在自己的网站和博客上做了什么。有几个好产品可以告诉你这些事情，比如MixPanel和Google Analytics(谷歌分析)，而不再需要数据科学家的帮助。

　　•存在于孤岛的数据：太难以及时并入并提取有意义的见解。存储和忘记大数据的方法：没有明确的分析大数据的策略来实现业务收益。技能缺口：大数据系统/工具太复杂，无法用于大多数员工。

　　•收集涉及特定个人行为的数据时，担心法律问题。在B2B中，这是一个真正的关注点。“数据足够好”的问题总是发挥作用。这是一个有效的关注，但是没有做任何事情都没有回答这个问题。。如果你失败了，就会知道你的数据收集应该在哪里改善。

　　企业明白可以应用的用例，但它是一种新型的项目，目前还没有很多系统集成商可以支持它们。

　　•无法界定明确的业务目标。获得具有技能的人实现目标。没有足够的人拥有提供大型数据项目所需的知识和经验。软件工程师不仅要了解概念和可能性，还要了解如何提供。人们经常认为他们需要数据科学家，但他们需要产品所有者，数据工程团队，数据科学家等等。

　　那么你认为什么样的问题阻止企业实现大数据的好处?

　　以下是行业媒体邀请讨论的行业专家：

　　•剑桥科技企业企业解决方案副总裁Nitin Tyagi。

　　•Cloudera公司高级营销经理RyanLippert，Cloudera高级产品营销经理Sean Anderson。

　　•CohoData产品营销高级经理Sanjay Jagad。

　　•数据转换实验室(DCL)首席运营官Amy Williams。

　　•Datameer市场策略与情报高级总监Andrew Brust。

　　•ExperianDataLabs执行副总裁Eric Haller。

　　•系统公司数据平台全球产品营销部门Julie Lockner。

　　•肯特克战略联盟V.P.Jim Frey。

　　•Kinetica全球工程副总裁Eric Mizell。

　　•总监兼首席执行官Rob Consoli。

　　•MapR工业解决方案高级总监Dale Kim。

　　•全球MPP首席技术官Chris Cheney。

　　•SAP的产品和解决方案营销高级总监Amit Satoor。

　　•Sisense产品负责人Guy Levy-Yurista。

　　•雪花计算产品和营销副总裁Jon Bock。

　　•鲍勃•布罗迪(Bob Brodie)，首席技术官苏哈维(SUM OHeavy)。

　　•TARGITEMEA专业服务主管Kim Hanmark。

　　•伏特加公司产品营销总监Dennis Duckworth。

　　•WaterlineData公司创始人兼首席执行官Alex Gorelik和首席营销官Todd Goldman。

　　•世界编程总监兼联合创始人Oliver Robinson。

　　容量问题

　　这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。

　　在解决容量问题上，不得不提LSI公司的全新Nytro™智能化闪存解决方案，采用Nytro产品，客户可以将数据库事务处理性能提高30倍，并且超过每秒4.0GB的持续吞吐能力，非常适用于大数据分析。

　　延迟问题

　　“大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。

　　此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质可扩展存储系统通过高性能闪存存储，自动、智能地对热点数据进行读/写高速缓存的LSI Nytro系列产品等等都在蓬勃发展。

　　安全问题

　　某些特殊行业的应用，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。

　　虽然对于IT管理者来说这些并没有什么不同，而且都是必须遵从的，但是，大数据分析往往需要多类数据相互参考，而在过去并不会有这种数据混合访问的情况，大数据应用催生出一些新的、需要考虑的安全性问题，这就充分体现出利用基于DuraClass™ 技术的LSI SandForce®闪存处理器的优势了，实现了企业级闪存性能和可靠性，实现简单、透明的应用加速，既安全又方便。

　　大数据应用领域成本问题

　　对于那些正在使用大数据环境的企业来说，成本控制是关键的问题。想控制成本，就意味着我们要让每一台设备都实现更高的“效率”，同时还要减少那些昂贵的部件。重复数据删除等技术已经进入到主存储市场，而且还可以处理更多的数据类型，这都可以为大数据存储应用带来更多的价值，提升存储效率。

　　在数据量不断增长的环境中，通过减少后端存储的消耗，哪怕只是降低几个百分点，这种锱铢必较的服务器也只有LSI推出的Syncro™ MX-B机架服务器启动盘设备都能够获得明显的投资回报，当今，数据中心使用的传统引导驱动器不仅故障率高，而且具有较高的维修和更换成本。

　　如果用它替换数据中心的独立服务器引导驱动器，则能将可靠性提升多达100倍。并且对主机系统是透明的，能为每一个附加服务器提供唯一的引导镜像，可简化系统管理，提升可靠性，并且节电率高达60%，真正做到了节省成本的问题。

　　数据的积累

　　许多大数据应用都会涉及到法规遵从问题，这些法规通常要求数据要保存几年或者几十年。比如医疗信息通常是为了保证患者的生命安全，而财务信息通常要保存7年。而有些使用大数据存储的用户却希望数据能够保存更长的时间，因为任何数据都是历史记录的一部分，而且数据的分析大都是基于时间段进行的。

　　要实现长期的数据保存，就要求存储厂商开发出能够持续进行数据一致性检测的功能以及其他保证长期高可用的特性。同时还要实现数据直接在原位更新的功能需求。

　　灵活性

　　大数据存储系统的基础设施规模通常都很大，因此必须经过仔细设计，才能保证存储系统的灵活性，使其能够随着应用分析软件一起扩容及扩展。在大数据存储环境中，已经没有必要再做数据迁移了，因为数据会同时保存在多个部署站点。

　　一个大型的数据存储基础设施一旦开始投入使用，就很难再调整了，因此它必须能够适应各种不同的应用类型和数据场景。

　　应用感知

　　最早一批使用大数据的用户已经开发出了一些针对应用的定制的基础设施，比如针对政府项目开发的系统，还有大型互联网服务商创造的专用服务器等。在主流存储系统领域，应用感知技术的使用越来越普遍，它也是改善系统效率和性能的重要手段，所以，应用感知技术也应该用在大数据存储环境里。

　　针对小用户

　　依赖大数据的不仅仅是那些特殊的大型用户群体，作为一种商业需求，小型企业未来也一定会应用到大数据。我们看到，有些存储厂商已经在开发一些小型的“大数据”存储系统，主要吸引那些对成本比较敏感的用户。

　　总结

　　大家都会了呢~相信大家对大数据也有些了解了呢~也一定知道了大数据的相关知识的详细介绍，要是您还有什么问题，编程学习网平台，随时为您服务，关于更多的知识，后面还有很多关于类似的文章，期待大家的到来。