全面讲解数据分析的一些常见问题
懒人小魔法师
2024-04-23 22:44
业领域的数据科学家和侦探类似:去探索未知的事物。不过,当他们在这个旅程中冒险的时候,他们很容易落入陷阱。所以要明白,这些错误是如何造成的,以及如何避免。什么事情都可能犯错误和出现问题,发现问题要时去改正。今天编程学习网和大家一起探讨数据分析的一些常见问题和怎么去改正。
数据分析和数据挖掘,是大数据应用的核心技术,也是大数据应用的关键所在。
数据分析重要,但是,很多时候却不知道该如何去做,面对大量的数据,却无从下手。概括起来,经常面临的困难有:
分析目的不明确
分析方法不清晰
分析过程不清晰
分析思路不完善
解读数据能力差
1、 不知道要分析什么?(分析目的)
不知道要分析什么,也就是分析目的不明确。
经常有学员告诉我,领导给了一大堆数据给我,要我分析一下,但我不知道要分析什么?除了基本的统计求和,我不知道要干吗。
明确分析目的,这是数据分析的起点,也是分析的终点。所有的分析工作都应该围绕业务问题开始,分析的结果最终也要落到业务问题。
如果目的不明确,后续的分析工作就无法开展了。
2、 下一步做什么?(分析过程)
数据分析不是一个单一的操作,而是一套复杂和完整的操作流程。
一般地,一个完整的数据分析包括了六个步骤,后一个步骤依赖前一个步骤,也是前一个过程的深入。
当有了分析目的之外,接下来就需要围绕业务问题来收集相关的数据,并对收集来的数据进行预处理(清洗、转化、提取、计算),如果使用FineBI之类的BI工具来处理的话就是先抽取数据、ETL处理数据,然后在前端多维度分析,并对分析结果进行可视化,最后形成一个完整的分析报告,到此,一个数据分析的工作才算正式完成。
3、 不知道怎样去分析?(分析方法)
分析目的明确了,数据也有了,但面对大量的、复杂的数据,却无从下手,不知道怎样分析,这是由于分析者缺乏对分析方法的了解。
数据分析最核心的工作,就是对数据进行分析。围绕业务问题,采用什么样的分析方法,使用什么样的分析模型,选择什么样的分析工具,这是数据分析的核心。这是分析师的必备技能。
为了便于理解,我将数据分析分为三个层次,从低到高,由浅入深,分别是统计分析,基本分析,数据挖掘。
一般情况下,企业有80%的工作都只需要掌握统计分析方法就可以了,剩下20%的工作需要更深入的分析及挖掘。当然,更深层次的业务规律及业务模式,需要更高层次的数据分析来解决。比如,市场细分,客户特征提取,等等。
4、OLAP能不能代替DataMining?
所谓OLAP(OnlineAnalyticalProcess)意指由数据库所连结出来的在线分析处理程序。有些人会说:「我已经有OLAP的工具了,所以我不需要DataMining。」事实上两者间是截然不同的,主要差异在于DataMining用在产生假设,OLAP则用于查证假设。简单来说,OLAP是由使用者所主导,使用者先有一些假设,然后利用OLAP来查证假设是否成立;而DataMining则是用来帮助使用者产生假设。所以在使用OLAP或其它Query的工具时,使用者是自己在做探索(Exploration),但DataMining是用工具在帮助做探索。
举个例子来看,一市场分析师在为超市规划货品架柜摆设时,可能会先假设婴儿尿布和婴儿奶粉会是常被一起购买的产品,接着便可利用OLAP的工具去验证此假设是否为真,又成立的证据有多明显;但DataMining则不然,执行DataMining的人将庞大的结帐数据整理后,并不需要假设或期待可能的结果,透过Mining技术可找出存在于数据中的潜在规则,于是我们可能得到例如尿布和啤酒常被同时购买的意料外之发现,这是OLAP所做不到的。
DataMining常能挖掘出超越归纳范围的关系,但OLAP仅能利用人工查询及可视化的报表来确认某些关系,是以DataMining此种自动找出甚至不会被怀疑过的数据模型与关系的特性,事实上已超越了我们经验、教育、想象力的限制,OLAP可以和DataMining互补,但这项特性是DataMining无法被OLAP取代的。
5、 看不明白分析结果?(数据解读)
好不容易分析有结果了,统计有数据了,但是,这些数据及分析结果表示什么意思呢?与我们的业务有什么关系呢?这一步也不知道坑了多少学员。
对数据不敏感,解读数据的能力差,无法将分析结果与业务问题和业务策略关联起来,这是数据应用的最大障碍。
如何来解读数据,解读分析结果,这需要有一定的数据解读方法,也需要分析师要了解相应的业务逻辑。
6、 不知道分析是否全面?(分析思路)
我经常收到一些分析师的抱怨,他们说,基本的分析我都会了,但是,每次提交分析报告给领导以后,领导总是不太满意,说我分析不全面,漏此漏那的。分析不全面,这是由于缺乏分析思路导致的。
如果说,分析方法是从微观从细节来对数据进行分析,那么,分析思路,就是从宏观角度指导如何进行数据分析,比如从哪几个方面来进行完整的数据分析而不会遗漏。
要掌握分析思路,需要分析师懂业务、懂管理、懂营销。比如,如果要分析企业的外部环境,你必须要懂得PEST模型,即要从政策、经济、社会和技术四个方面来进行分析,否则就是不全面的;如果要做竞争分析,你需要懂得SWOT、波特五力,从这几个方面来分析竞争态势,才算完整和系统。
最简单,最实用的是5W2H模型,广泛用于企业营销活动、用户行为分析等专题分析中,即要求分析的从下面7个方面来进行分析,这样可以确保能够将用户购买行为分析完整、系统。
数据分析看起来很简单,但如果没有经过系统的培训,要胜任这项工作也是不容易的。毕竟,数据分析师作为企业主管的智囊,作为主管决策的支撑,其重要性及高要求是不言而喻。
这些都是数据科学家在做数据科学时常见的错误。如果你能想到的任何其他常见的数据科学错误,我们很乐意在下面的评论听到你的想法。如果还想学习或了解更多关于这方面的知识,随时可以登陆编程学习网,我们一直在这里等你哟~
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341