人人都应该掌握的9种数据分析方法

作者：钱塘数据 公众号：钱塘大数据（qtbigdata）

说到数据分析，啤酒和尿布的例子大家应该都听腻了。再具体、深入一些的内容，往往因为数学就令很多人望而却步了。给大家分享9个不带数学推导的数据分析思路，希望大家能喜欢~

1. 分类

分类分析的目标是：给一批人（或者物）分成几个类别，或者预测他们属于每个类别的概率大小。

举个栗子：“京东的用户中，有哪些会在618中下单？”这就是个典型的二分类问题：买or不买。

分类分析（根据历史信息）会产出一个模型，来预测一个新的人（或物）会属于哪个类别，或者属于某个类别的概率。结果会有两种形式：

形式1：京东的所有用户中分为两类，要么会买，要么不会买。

形式2：每个用户有一个“会买”，或者“不会买”的概率（显然这两个是等效的）。“会买”的概率越大，我们认为这个用户越有可能下单。

如果为形式2画一道线， 比如0.5，大于0.5是买，小于0.5是不买，形式2就转变成形式1了。

2. 回归

回归任务的目标是：给每个人（或物）根据一些属性变量来产出一个数字（来衡量他的好坏）。

举个栗子：每个用户在618会为京东下单多少钱的？

注意回归和分类的区别在：分类产出的结果是固定的几个选项之一，而回归的结果是连续的数字，可能的取值是无限多的。

3. 聚类

聚类任务的目标是：给定一批人（或物），在不指定目标的前提下，看看哪些人（或物）之间更接近。

注意聚类和上面的分类和回归的本质区别：分类和回归都会有一个给定的目标（是否下单，贷款是否违约，房屋价格等等），聚类是没有给定目标的。

举个栗子：给定一批用户的购买记录，有没有可能分成几种类型？（零食狂魔，电子爱好者，美妆达人……）

4. 相似匹配

相似匹配任务的目标是：根据已知数据，判断哪些人（或物）跟特定的一个（一批）人（或物）更相似。

举个栗子：已知一批在去年双十一下单超过10000元的用户，哪些用户跟他们比较相似？

5. 频繁集发现

频繁集发现的目标是：找出经常共同出现的人（或物）。这就是大名鼎鼎的“啤酒和尿布”的例子了。这个例子太容易扩展，就不再举栗子啦。

6. 统计（属性、行为、状态）描述

统计描述任务的目标是最好理解的：具有哪些属性的人（或物）在什么状态下做什么什么事情。

举个栗子：5月份一个月内每个用户在京东7天内无条件退货的次数

统计描述常常用户欺诈检测，试想一个用户一个月退货100+次，这会是一种什么情况？

7. 连接预测

连接预测的目标是：预测本应该有联系（暂时还没有）的人（或物）。

举个栗子：你可能认识xxx？你可能想看xxx？

8. 数据压缩

数据压缩的目的是：减少数据集规模，增加信息密度。

举个栗子：豆瓣想分析用户关于国外电影的喜好，讲国内电影的评分数据都排除掉

大数据，也不是数据越多越好，数据多带来的信息多，但是噪声也会变多。

9. 因果分析

顾名思义，因果分析的目标是：找出事物间相互影响的关系。

举个栗子：广告的效果提升的原因是广告内容好？还是投放到了更精准的用户？

这里最常见的手段就是A/B test啦

数据分析是非常强大的，不过当然还是要在具体的情景下，严格的选择假设，采用科学的分析方法才能产出有价值的结果。数据会说谎的经典案例就是“安慰剂效应”了。