高效数据分析的七个习惯以及7种常见错误的规避技巧

2高效的数据分析方法不是马上就能学会的,但是可以通过快速学习掌握基本的要领,这里有7个数据分析的习惯。

1.和花哨算法比较,更重视分析的简单性

如果你都不能向一个5岁的小孩解释清楚,那么你就很难将你的产品卖给其他人。产品数据分析的重点不是分析,但你还是需要分析,只是它的故事和基于数据的推荐真的很重要。

复杂的分析造成的混乱将导致你获得完全相反的结果。如果你的分析是不清晰的,工程师就不能快速通过你的分析获得知识,那么你的分析就会失去价值。

关于数据分析的影响力的最终测试是根据工程和投资行为的改变程度。所以更应该令数据分析变得容易,方便人们使用,得以实现改变。

2.和数据比较,更加重视数据的来源

在一定时间里看更多的数据可以给你在分析上更多的信心。然而,遥测或日志作为单一的传递途径会被捕捉到的特性所限制。一般来说,一个单一的途径只讲述产品的一部分。

                                                     相同分析+相同原理=相同故事

你需要的是其他数据源。可以是所有被登记在某处的SQL操作记录,或者是你有工具可以从你的用户那里获得日志样本。更多的数据源也会让你确定你的故事是否一致。更多的数据不能给你更多得洞察力。但是更多的数据源可以。

3.和最新亮眼的工具比较,更加重视熟悉的工具

亮眼的最新工具使用起来很有趣,有时候也很管用。但是,你还记的你的数据分析的影响力的最终测试吗?

你希望工具变的容易,能够被人们所使用并得到自己想要的改变,但是改变不是这么容易的。从文章《你的大脑在工作》即《Your Brain at Work》学到3点,希望大家能牢牢记住

  • 对于你的工程师而言,工具安全特别重要,它们可以被使用和促进改变。通过使用你熟悉的工具,讲述那些快速吸引大家注意力的故事。远离最近,最酷的可视化技术除非它们在你的故事中必不可少。
  • 深入分析核心信息
  • 重复核心信息,不断的重复

除非你正在推荐一个新工具的使用,重点不是在工具,而是你故事的核心信息

4.和指标比较,更加重视洞察力和投资

指标是指你的关键性能指标(KPI)。它们可能以图表,坐标或表的形式表现。你的分析不能就此止步。指标只是数据驱动工程‘3I’里面的第一个‘I’,告诉别人一个围绕数据的充满洞察力的故事,然后建议他们投资。你是改变的代理人,你的分析必须充满你的见解和对投资的建议。

5.相比信任,更加重视CUSS

数据永远都是不干净的,我很少相信里面的数据以及它们的格式是正确的。我总是从使用‘R语言的可能性和统计的介绍’中应用Kern’s CUSS,为了能够更好理解数据中心,数据的异常特征,数据的传播和数据的形状。

中心:数据的总体趋势所在

异常特征:有缺失的数据点?离群值?集群?

传播:数据产生哪些变化?

形状:如果你来绘制数据,数据的形状是什么?

了解数据如何生成和数据的CUSS可以让你输出更好且合理的见解和投资。

6.相比确定性,更重视方向

数据收集的成本经常是解决业务和工程问题的最终答案的一大障碍。你几乎总是能得到不完整的答案。

《如何测试任何事》(How To Measure Anything)的作者推荐我们可以问这个问题:

“是否存在一个测试的方法可以减少不确定性,足够来确定测试的成本?”

即使你没有相应的工具来明确回答特定的组件是否有这个问题。你也可以消除一些组件,通过廉价的方式来减少不确定性。也许你可以凝聚几个不同来源的数据,得到一些非常粗略的结果,让事情朝着正确的方向前进。

7.相比你在“思考”软件是如何工作的,软件的实际工作更重要

产品数据分析的优点是看到实际用户使用你的软件产品的足迹。有时你会得到一个很好的的足迹。但也有可能,你得到的部分足迹让你的调查更加困难。无论如何,遥测和日志的足迹都是现实的反映。

架构知识是伟大的资产。但是,遥测和日志通过确凿的证据告诉我们实际发生了什么,结果并不是我们希望看到的。作为一名数据科学家,如果你对数据有着独特的看法。那么你看到的软件,就是软件的真实情况。

这是很强大的,因为你不仅有足够的证据显示软件是如何工作的,也可以对广泛的用户有针对性的洞察。你可以声称:“77%的用户沿着的这条编程路径是和软件设计矛盾的。”相信你的用户留下的足迹,但是要重复检查。

 数据分析工作常见的七种错误及规避技巧

企业要想保持核心竞争力,它必须比大数据分析做的更多。当发生数据科学错误时——一次是可以接受的——考虑到有一个学习曲线,但是如果这些错误发生在两次以上,这会增加企业成本。

在Python中学习数据科学,成为企业数据科学家。

避免常见的数据科学错误:

1、相关关系和因果关系之间的混乱

对于每个数据科学家来说,相关性和因果关系的错误会导致成本事件,最好的例子是《魔鬼经济学》的分析,关于因果关系的相关性错误,导致伊利诺斯州给本州的学生发书,因为根据分析显示家里有书的学生在学校能直接考的更高分。进一步分析显示,在家里有几本书的学生在学业上能表现的更好,即使他们从来没有读过这些书。

这改变了之前的假设和洞察:父母通常买书的家庭,能营造愉快的学习环境。

大部分的数据科学家在处理大数据时假设相关关系直接影响因果关系。使用大数据来理解两个变量之间的相关性通常是一个很好的实践方法,但是,总是使用“因果”类比可能导致虚假的预测和无效的决定。要想实现利用大数据的最好效果,数据科学家必须理解相关关系和根源的区别。关联往往是指同时观察X和Y的变化,而因果关系意味着X导致Y。在数据科学,这是两个完全不同的事情,但是许多数据科学家往往忽视了它们的区别。基于相关性的决定可能足以采取行动,我们不需要知道原因,但这还是完全依赖于数据的类型和要解决的问题。

每位数据科学家都应该懂得——“数据科学中相关关系不是因果关系”。如果两个关系出现彼此相关的情况,也不意味着是一个导致了另一个的产生。

2、没有选择合适的可视化工具

大部分的数据科学家专心学习数据分析的方面的技术。如果数据科学家不能选择合适的可视化发展模型,监控探索性数据分析和表示结果,那么即使是最好的机器学习模型,它的价值也会被稀释。事实上,许多数据科学家根据他们的审美选择图表类型,而不是考虑数据集的特征。这个可以通过定义可视化的目标避免。

即使数据科学家开发了一个最优秀和最好的机器学习模型,它也不会大叫说“尤里卡”——所有这些所需要的是结果的有效可视化,可以理解数据模式的不同,和意识到它的存在可以被利用来获得商业成果。常言道“一张图片胜过1000个单词。”——数据科学家不仅要熟悉自己常用的数据可视化工具,也要理解数据有效可视化的原理,用令人信服的方式获得结果。

解决任何数据科学问题的至关重要一步,就是要获得该数据是关于什么的洞察力,通过丰富的可视化表达,可以形成分析基础和建立相应模型。

3、没有选择适当的模型-验证周期

科学家认为,建立了一个成功的机器学习模型,就是获得了最大程度的成功。但是,这只是成功了一半,它必须要确保模型的预测发挥作用。许多数据科学家经常忘记或者倾向性的忽视这样的事实,就是他们的数据必须在指定的时间间隔进行反复验证。一些数据科学家经常犯的一个普遍性错误:如果和观察到的数据吻合,就认为预测模型是理想的。已建立的模型的预测效果可以因为模型的关系在不断变化而瞬间消失。为了避免这种情况,数据科学家最好的解决方式就是每个小时都对含有新数据的数据模型进行评分,或者基于模型的关系变化快慢逐日逐月评分。

由于几个因素,模型的预测能力往往会变弱,因此数据科学家需要确定一个常数,用以确保模型的预测能力不能低于可接受的水平。有实例即数据科学家可以重建数据模型。能建立几个模型和解释变量的分布总是更好的,而不是考虑单个模型是最好的。

为了保留已建模型的预测效果和有效性,选择迭代周期是非常重要的,如果做不到,可能会导致错误的结果。

4、无问题/计划的分析

数据科学协会主席Michael Walker说: “数据科学的最高级用途就是设计实验,提出正确的问题和收集正确的数据集,一切工作都要根据科学的标准。然后你将获得结果,并解释它。”

数据科学是一个结构化的过程,以明确的目标开始,随后出现一些假设,最终实现目标。数据科学家往往站在数据之上而不考虑那些需要分析回答的问题。数据科学项目必须要有项目目标和完美的建模目标。数据科学家们如果不知道他们想要什么——最终得到的分析结果将会是他们不想要的。

大多数数据科学项目最终是回答“是什么”的问题,这是因为数据科学家通过手头的问题作分析而不遵循做分析的理想路径。数据科学是使用大数据回答所有关于“为什么”的问题。数据科学家应该通过整合以前未被整合的数据集,主动分析给与的数据集,回答以前没人解答的问题。

为了避免这种情况,数据科学家应该集中精力获得正确的分析结果,通过明确实验,变量和数据准确性和清晰明白他们想要从数据中获得什么。这将简化以往通过满足假设的统计方法来回答商业问题的过程。

5、仅关心数据

数据科学家常常因为得到来自多个数据源的数据而兴奋,并开始创建图表和可视化来做分析报告,忽视发展所需的商业智慧。这对任何组织来说都是危险的事情。数据科学家经常给与数据太多决策制定的权力。他们不够重视发展自身商业智慧,不明白分析如何令企业获益。数据科学家应该不仅仅让数据说话,而且善于运用自身的智慧。数据应该是影响决策的因素而不是数据科学项目决策制定的最终声音。企业雇佣的数据科学家应该是可以将领域知识和技术特长结合起来的,这是避免错误的理想情况。

6、忽视可能性

数据科学家经常倾向性忘记方案的可能性,这将导致作出更多的错误决策。数据科学家经常犯错,因为他们经常说,如果企业采取了X操作一定会实现Y目标。对于特定的问题这没有唯一的答案,因此要确认数据科学家从不同可能性中所做的选择。对指定问题存在不止一个可能性,它们在某种程度是不确定的。情景规划和可能性理论是数据科学的两个基本核心,不应该被忽视,应该用以确认决策制定的准确性频率。

7、建立一个错误人口数量的模型

如果一个数据项目的目的是建立一个客户影响力模式的模型,但是他们仅仅考虑那些具有高度影响力的客户的行为数据,这不是对的做法。建立该模型不仅要考虑那些具有高度影响力的客户的行为数据,也要考虑那些不怎么有影响力但是具有潜在影响力的客户的行为数据。低估任何一边人口的预测力量都可能导致模型的倾斜或者一些重要变量的重要性下降。

这些都是数据科学家在做数据科学时常见的错误。如果你能想到的任何其他常见的数据科学错误,我们很乐意在下面的评论听到你的想法。

原文由36大数据翻译,原文链接http://www.36dsj.com/archives/43811

 

via 36大数据