这里是三篇文章的集结，可以一篇一篇的看。

《一、主成分分析》

大家好，我是媛子。

那写下多元剑法第一招的灵感来自于下面这些我们第二期熊学院的熊孩子微信群里面的对话：

雷锋网 AI 科技评论按：近期，澳大利亚迪肯大学图像识别和数据分析中心发表了一篇新的论文，由Tu Dinh Nguyen, Trung Le, Hung Vu, Dinh Phung编写，该论文就生成对抗网络（GAN）的模式崩溃问题进行了讨论并给出了一种新的有效的解决方案 D2GAN，论文译稿由雷锋网 AI 科技评论编辑，原文链接请点击。

这篇文章介绍了一种解决生成对抗网络（GAN）模式崩溃问题的方法。这种方法很直观但是证实有效，特别是当对GAN预先设置一些限制时。在本质上，它结合了Kullback-Leibler（KL）和反向KL散度的差异，生成一个目标函数，从而利用这些分支的互补统计特性捕捉多模式下分散预估密度。这种方法称为双鉴别器生成对抗网络（Dual discriminator generative adversarial nets, D2GAN），顾名思义，与GAN不同的是，D2GAN有两个鉴别器。这两个鉴别器仍然与一个生成器一起进行极大极小的博弈，一个鉴别器会给符合分布的数据样本给与高奖励，而另外一个鉴别器却更喜欢生成器生成的数据。生成器就要尝试同时欺骗两个鉴别器。理论分析表明，假设使用最强的鉴别器，优化D2GAN的生成器可以让原始数据库和生成器产生的数据间的KL和反向KL散度最小化，从而有效地避免模式崩溃的问题。作者进行了大量的合成和真实数据库的实验（MNIST，CIFAR-10，STL-10，ImageNet），对比D2GAN和最新的GAN变种的方法，并进行定性定量评估。实验结果有效地验证了D2GAN的竞争力和优越的性能，D2GAN生成样本的质量和多样性要比基准模型高得多，并可扩展到ImageNet数据库。

简介

生成式模型是研究领域的一大分支并且在最近几年得到了飞速的成长，成功地部署到很多现代的应用中。一般的方法是通过解决密度预测问题，即学习模型分布Pmodel来预测置信度，在数据分布Pdata未知的情况下。这种方法的实现需要解决两个基本问题。

首先，生成模型的学习表现基于训练这些模型的目标函数的选择。最为广泛使用的目标，即事实标准目标，是遵循遵循最大似然估计原理，寻求模型参数以最大限度地提高训练数据的似然性。这与最小化KL散度数据分布和模型分布上的差异的方法相似

。这种最小化会导致Pmodel覆盖Pdata的多种模式，但是可能会引起一些完全看不到的和潜在的不希望的样本。相反地，另外一种方法通过交换参数，最小化：

，一般称其为反KL散度。观察发现，对反KL散度准则优化模拟了模式搜索的过程，Pmodel集中在Pdata的单一模式，而忽略了其他模式，称这种问题为模式崩溃。

第二个问题是密度函数Pmodel公式的选择问题。一种方法是定义一个明确的密度函数，然后直接的根据最大似然框架进行参数估计。另外一种方法是使用一个不明确的密度函数记性数据分布估计，不需要使用Pmodel的解析形式。还有一些想法是借用最小包围球的原理来训练生成器，训练和生成的数据，在被映射到特征空间后，被封闭在同一个球体中。这种方法最为著名的先驱应用是生成对抗网络（GAN），它是一种表达生成模型，具备生成自然场景的尖锐和真实图像的能力。与大多数生成模型不同的是，GAN使用了一种激进的方法，模拟了游戏中两个玩家对抗的方法：一个生成器G通过从噪声空间映射输入空间来生成数据；鉴别器D则表现得像一个分类器，区分真实的样本和生成器生成的伪图像。生成器G和鉴别器D都是通过神经网络参数化得来的，因此，这种方法可以归类为深度生成模型或者生成神经模型。

GAN的优化实际上是一个极大极小问题，即给定一个最优的D，学习的目标变成寻找可以最小化Jensen-Shannon散度（JSD）的G：

。JSD最小化的行为已经被实践证实相较于KL散度更近似于反KL散度。这，另一方面，也导致了之前提到的模式崩溃问题，在GAN的应用领域臭名昭著，即生成器只能生成相似的图片，低熵分布，样本种类匮乏。

近期的研究通过改进GAN的训练方式来解决模式崩溃的问题。一个方法是使用mini-batch分辨法巧妙地让鉴别器分辨与其他生成样本非正常相似的图片。尽管这种启发方式可以帮助快速生成具有视觉吸引力的样本，但是它的计算代价很高，因此，通常应用于鉴别器的最后一个隐藏层。另外一个方法是把鉴别器的优化通过几个步骤展开，在训练中产生一个代理目标来进行生成器的更新。第三种方法是训练多个生成器，发现不同的数据模式。同期的，还有一些其他的方法，运用autoencoders进行正则化或者辅助损失来补偿丢失的模式等。这些方法都可以在一定程度上改善模式崩溃的问题，但是由此带来了更高的计算复杂度，从而无法扩展到ImageNet这种大规模的和具有挑战性的视觉数据库上。

应对这些挑战，作者们在这篇论文中提出了一种新的方法，既可以高效地避免模式崩溃问题又可以扩展到庞大的数据库（比如：ImageNet等）。通过结合KL和反KL散度生成一个统一的目标函数，从而利用了两种散度的互补统计特性，有效地在多模式下分散预估密度。使用GAN的框架，量化这种思路，便形成了一种新颖的生成对抗架构：鉴别器D1（通过鉴别数据来自于Pdata而不在生成分布PG中获取高分），鉴别器D2（相反地，来自于PG而不在Pdata中）和生成器G（尝试欺骗D1、D2两个鉴别器）。作者将这种方法命名为双鉴别器生成对抗网络（D2GAN）。

实验证明，训练D2GAN与训练GAN会遇到同样的极大极小问题，通过交替更新生成器和鉴别器可以得到解决。理论分析表明，如果G、D1和D2具有足够的容量，如非参数的限制下，在最佳点，对KL和反KL散度而言，训练标准确实导致了数据和模型分布之间的最小距离。这有助于模型在各种数据分布模式下进行公平的概率分布，使得生成器可一次完成数据分布恢复和生成多样样本。另外，作者还引入了超参数实现稳定地学习和各种散度影响的控制。

作者进行了大量的实验，包括一个合成数据库和具备不同特征的四个真实大规模数据库（MNIST、CIFAR10、STL-10、ImageNet）。众所周知，评估生成模型是非常困难的，作者花费了很多时间，使用了各种评估办法，定量的对比D2GAN和最新的基线方法。实验结果表明，D2GAN可以在保持生成样本质量的同时提高样本的多样性。更重要的是，这种方法可以扩展到更大规模的数据库（ImageNet），并保持具有竞争力的多样性结果和生成合理的高品质样本图片。

简而言之，这种方法具有三个重要的贡献：（i）一种新颖的生成对抗模型，提高生成样本的多样性；（ii）理论分析证实这种方法的目标是优化KL和反KL散度的最小差异，并在PG=Pdata时，实现全局最优；（iii）使用大量的定量标准和大规模数据库对这种方法进行综合评估。

作者们的实现方法如下：

生成对抗网络

首先介绍一下生成对抗网络（GAN），具有两个玩家：鉴别器D和生成器G。鉴别器D(x)，在数据空间中取一个点x，然后计算x在数据分布Pdata中而不是生成器G生成的概率。同时，生成器先向数据空间映射一个取自先导P（z）的噪声向量z，获取一个类似于训练数据的样本G(z)，然后使用这个样本来欺骗鉴别器。G(z)形成了一个在数据域的生成分布PG，和概率密度函数PG（x）。G和D都由神经网络构成（见图1a），并通过如下的极大极小优化得以学习：

学习遵循一个迭代的过程，其中鉴别器和生成器交替地更新。假设固定G，最大化D可以获得最优鉴别器

，同时，固定最优D*，最小化G可以实现最小化Jensen-Shannon（JS）散度（数据和模型分布：

）。在博弈的纳什均衡下，模型分布完全恢复了数据分布：PG=Pdata，从而鉴别器现在无法分辨真假数据：

。

由于JS散度通过大量的实验数据证实与反KL散度的特性相同，GAN也会有模式崩溃的问题，因此，其生成的数据样本多样性很低。

双鉴别器生成对抗网络

为了解决GAN的模式崩溃问题，下方介绍了一种框架，寻求近似分布来有效地涵盖多模式下的多模态数据。这种方法也是基于GAN，但是有三个组成部分，包括两个不同的鉴别器D1、D2和一个生成器G。假定一个数据空间中的样本x，如果x是数据分布Pdata中的，D1(x)获得高分，如果是模式分布PG中的，则获得低分。相反地，如果x是模式分布PG中的，D2(x)获得高分，如果是数据分布Pdata中的，D2(x)获得低分。与GAN不同的是，得分的表现形式为R+而不是[0,1]中的概率。生成器G的角色与GAN中的相似，即从噪声空间中映射数据与真实数据进行合成后欺骗D1和D2两个鉴别器。这三个部分都由神经网络参数化而成，其中D1和D2不分享它们的参数。这种方法被称为双鉴别器生成对抗网络（D2GAN），见上图1b。D1、D2和G遵循如下的极大极小公式：

其中超参数

为了实现两个目的。第一个是为了稳定化模型的学习过程。两个鉴别器的输出结果都是正的，D1(G(z))和D2(x)可能会变得很大并比LogD1(x)和LogD2(x)有指数性的影响，最终会导致学习的不稳定。为了克服这个问题，降低α和β的值。第二个目的是控制KL和反KL散度对优化的影响。后面介绍过优化方法后再对这个部分进行讨论。

与GAN相似的是，通过交替更新D1、D2和G可以训练D2GAN。

理论分析

通过理论分析发现，假设G、D1和D2具备足够的容量，如非参数的限制下，在最佳点，G可以通过最小化模型和数据分布的KL和反KL散度恢复数据分布。首先，假设生成器是固定的，通过（w.r.t）鉴别器进行优化分析：

证明：根据诱导测度定理，两个期望相等：

当

时，

。目标函数可以推演如下：

考虑到里面的函数积分，给定x，通过两个变量D1、D2最大化函数，得到D1*（x）和D2*（x）。将D1和D2设置为0，可以得到：

是非正数，则证明成立并得到了最大值。

接下来，

，计算生成器G的最优方案G*。

证明：将D1*和D2*代入极大极小方程，得到：

分别是KL和反KL散度。这些散度通常是非负的，并且只在PG*=Pdata时等于0。换言之，生成器生成的分布PG*与数据分布完全等同，这就意味着由于两个分布的返回值都是1，两个鉴别器在这种情况下就不能分辨真假样本了。

如上公式中生成器的误差表明提高α可以促进最小化KL散度（

）的优化，提高β可促进最小化反KL散度（

）的优化。通过调整α和β这两个超参数，可以平衡KL散度和反KL散度的影响，从而有效地避免模式崩溃的问题。

实验

在这个部分，作者进行了广泛的实验来验证的提高模式覆盖率和提出的方法应用在大规模数据库上的能力。使用一个合成的2D数据库进行视觉和数值验证，并使用四个真实的数据库（具有多样性和大规模）进行数值验证。同时，将D2GAN和最新的GAN的应用进行对比。

从大量的实验得出结论：（i）鉴别器的输出具有softplus activations：

，如正ReLU；（ii）Adam优化器，学习速率0.0002，一阶动量0.5；（iii）64个样本作为训练生成器和鉴别器的minibatch训练单元；（iv）0.2斜率的Leaky ReLU；（v）权重从各项同性的高斯（Gaussian）分布：

进行初始化，0偏差。实现的过程使用了TensorFlow，并且在文章发表后发布出来。下文将介绍实验过程，首先是合成数据库，然后是4个真实数据库。

合成数据库

在第一个实验中，使用已经设计好的实验方案对D2GAN处理多模态数据的能力进行评估。特别的是，从2D混合8个高斯分布和协方差矩阵0.02I获取训练数据，同时中位数分布在半径2.0零质心的圆中。使用一个简单的架构，包含一个生成器（两个全连接隐藏层）和两个鉴别器（一个ReLU激发层）。这个设定是相同的，因此保证了公平的对比。图2c显示了512个由D2GAN和基线生成的样本。可以看出，常规的GAN产生的数据在数据分布的有效模式附近的一个单一模式上奔溃了。而unrolledGAN和D2GAN可以在8个混合部分分布数据，这就印证了能够成功地学习多模态数据的能力。最后，D2GAN所截取的数据比unrolledGAN更精确，在各种模式下，unrolledGAN只能集中在模式质心附近的几个点，而D2GAN产生的样本全分布在所有模式附近，这就意味着D2GAN产生的样本比unrolledGAN多得多。

下一步，定量的进行生成数据质量的对比。因为已知真实的分布Pdata，只需进行两步测量，即对称KL散度和Wasserstein距离。这些测量分别是对由D2GAN、unrolledGAN和GAN的10000个点归一化直方与真实的Pdata之间的距离计算。图2a/b再次清楚了表明了D2GAN相对于unrolled和GAN的优势（距离越小越好）；特别是Wasserstein度量，D2GAN离真实分布的距离基本上减小到0了。这些图片也表达了D2GAN相对于GAN（绿色曲线）和unrolledGAN（蓝色曲线）在训练时的稳定性。

真实数据库

下面，使用真实数据库对D2GAN进行评估。在真实数据库条件下，数据拥有更高的多样性和更大的规模。对含有卷积层的网络，根据DCGAN进行设计分析。鉴别器使用带步长的卷积，生成器使用分步带步长的卷积。每个层都进行批处理标准化，除了生成器输出层和鉴别器的输入层。鉴别器还使用Leaky ReLU 激发层，生成器使用ReLU层，除非其输出是tanh，原因是各像素的强度值在反馈到D2GAN模型前已经变换到［-1,1］的区间内。唯一的区别是，在D2GAN下，当从N（0，0.01）初始化权重时，其表现比从N（0，0.02）初始化权重的效果好。架构的细节请看论文附件。

评估方式

评估生�...

文/张佳

2016年上线的抖音，从出生到现在，几乎时刻都在舆论的风口浪尖，赚足了话题和热度。抖音看似一直红红火火，其实它的瓶颈期已经到来。今天的数据侠喜哥就用26万条抖音数据带你看看抖音的另一面。

本文转自公众号喜新（ID：noyanjiu）

这次是26W条数据，应该可以说明更多问题。和往常一样，先给出分析结论，希望你能引起你的兴趣：

1.首次推荐分水岭应该在5000人，点赞不过百基本凉了；2.抖音红利似乎在消失，用户越来越不喜欢点赞了；3.15s不一定是最好的，可以试试10s；4.男女比例严重失调，小哥哥的视频更受喜爱；5.“生活化”是抖音内容的主体，年轻人乐于表达爱和喜欢；6。90后是抖音的主力军，94年小哥哥小姐姐最多；7.一些小技巧，比如把抖音视频分享到微信和朋友圈；8.一个很棒的广告

下面是正文。

数据介绍

数据区间是2018年2月1日—5月10日，历时两个月，累计260968条。采集过程中，对作者做了去重处理，也就是说每个作者只取了TA的一条视频数据。这也代表着我们拥有26W个作者的数据。

数据包含视频描述、发布时间、播放数、点赞数、评论数、转发数、尺寸、清晰度、时长、是否包含商品广告、是否包含水印，以及视频作者的昵称、性别、生日、账号创建时间、是否认证、认证类型等数据。

另外，数据均为前端可见数据，未使用任何违规操作。

首次推荐分水岭是5000，请把赞刷到100+

做过今日头条自媒体账号的人应该了解，头条的推荐算法是先把文章做小范围推荐，查看文章在该部分人中的阅读数据，如果阅读数据良好，则会扩大文章的推荐范围。数据越好，推荐范围则越大。

既然抖音是头条系产品，那肯定采用了同样的推荐逻辑。从用户的方便程度来看，点赞>评论>转发，那么点赞作为推荐算法的指标权重应该会大于其他两个。从头条的推荐算法推测，视频应该会先被推荐给一部分用户，如果点赞数达到某个水平，则会将视频推荐给更多的人；如果没有，那么视频大概率会凉了。

经过不断分段统计视频各播放量与点赞之间的关系，得到了下面这张表格：

由于采集机制的原因，我们很难采集到没有被推荐的视频，但就现有的1907条播放量在5000以下的视频我们可以清晰地看到，这些视频的点赞量100以下的占到了94%。那么反过来可以推断，想要你的视频被更多的人看到（也就是进入系统推荐的二阶段），那么你视频的点赞量至少应该增加到100以上。

我做了几个视频进行了测试，发布后分享出去让好友帮忙点赞（下文会给出方法），那些在1小时内点赞量突破一百的，播放量在几小时内很快破万；而那些点赞量低的，则不再被人问津。

即便这个结果在测试中得到了验证，但是我却不能给出实锤结论。

首先，目前采集到的低于5000播放量的数据，大都在5月以后发布，传播时间不够长，或许这恰好是点赞量低的原因；其次，与整体的样本量相比，这部分数据只占不到1%，没有达到统计分析的样本数要求。

无论如何，视频的点赞量肯定会作为推荐权重的依据，点赞越高自然是越好的。

看似红红火火，但瓶颈似乎已经到来

作者数据包含了账号的注册时间，我把作者的注册时间按照月份统计，发现抖音用户的增长似乎在放缓：

从上面的用户注册时间分布来看，抖音用户在2018年1月份达到顶峰，随后开始逐月递减，4月份已经只有3月份的一半！

实际上，这个数据仍然存在一些漏洞。毕竟存在一种可能，就是新注册的用户不喜欢发布视频，而是在注册一段时间后才开始发布。或者，新注册用户的视频因为还未得到系统的推荐，被我们采集到的概率也随之降低。

如果账号的创建时间不能说明问题，我们来看另一组数据。

把视频的发布时间与其相对应的播放量和点赞量结合，我得到了各月发布视频的平均点赞量。为了去除数据传播时长的影响，我去掉了5月以后发布的视频，得到各月平均点赞量分布图：

数据显示，各月视频的平均点赞数在逐月降低，4月份食品平均点赞量甚至不足3月份的一半。或许是因为视频越来越堵，用户已经麻木，但无论如何，早期的红利在逐渐降低，想上车的要赶紧了。

拍满15s不是最好的，10s更受用户欢迎

目前抖音未公布获得视频超过15s时长权限的机制，但至少我们知道“优质”是选拔的重要条件，所以在分析视频时长时，我去掉了时长超过15s的视频。对15s以内视频的平均点赞情况作了分析，得到以下分布图：

数据并不支持我们把视频拍满15s，10s是最好的，13s也不错，甚至11s都优于15s。

由于超过15s的视频数量仅6866条，在样本中占比太少，我就不再给出分析。在相同数量级下（均少于100条），39s、42s、50s和58s看上去效果不错。

男女比例严重失调，小哥哥的视频更受欢迎

统计26W个作者的性别，我发现抖音用户中女性用户数量接近男性的3倍！显然是严重失调。

（图片说明：“无”代表用户没有填写性别信息）

从用户组成来看，就很容易理解为什么抖音的带货能力这么强了。从购物能力来看，女性购买力更强，毕竟大部分钱都掌握在女性的手里。

把作者性别和其发布视频的平均点赞量结合，我神奇的发现，小哥哥们的视频竟然更受欢迎！

难不成是因为女性用户多于男性，异性相吸？

DT君注：没有性别信息的用户有多个视频点赞量超过百万（比如用户@安德罗妮、的一个视频点赞量高达600W），造成了该类别用户的平均点赞量过高，不排除这部分用户均为女性的可能性。

生活化的内容是抖音的主流，年轻人愿意表达爱与喜欢

使用新浪微舆情（wyq.sina）的文本分析功能，把视频的描述文字做了词性和情感方面的分析，发现生活化的内容是抖音的主体。

对视频描述文本的词性分析，动词方面除了“喜欢”和“爱”以外，生活化的“想”、“拍”、“吃”是出现频率最高的词；形容词方面“快乐”、“开心”、“好看”和“可爱”是抖音用户最喜欢表达的感情；名词上“小哥哥”和“小姐姐”显然已经成为发抖音的固定搭配。

整体词频方面，除了“小哥哥”、“小姐姐”以及“抖音小助手”以外，具备强烈生活色彩的“爸爸”、“我妈”、“弟弟”、“老公”、“我家”这些词同样被高频率使用。

抖音是90后的天下，94年是主力军

对作者的出生年龄进行统计，排除掉建国以前出生和至今未出生的用户，得到如下年龄人数分布图像：

（图片说明：点击图片放大查看）

图像已经很清楚的告诉我们，抖音的已经是90后的天下，94年是这其中的核心。不过算算也对，94年出生的人现在已经24岁了（我还以为14），正是最青春、最喜欢新鲜事物的年华。

所以，主打年轻人的品牌可以入驻或者把广告投放搞起来了。

(DT君注：更正一个数据偏差：抖音注册默认年龄为1994年12月，所以文章中“94年是中坚力量”的结论不准确。)

福利：一些抖音小技巧

1.把视频分享到微信，不被屏蔽甚至可以直接跳转到抖音

由于“互联网短视频整治期间，平台将统一暂停直接播放”，我们分享到抖音的视频会变成一长串链接，这大大降低了我们视频的曝光度。但这些阻挡不了聪明的互联网人（也就是我了）致力于传播的热情，我使用一些黑科技手段为大家开发了一个小工具，可以帮助你们把抖音视频分享到微信，点击后直接跳转到抖音APP播放，像下图这样：

生成链接打开后的应用宝页面也是可以分享出去的，点击后同样可以直达你的抖音视频。这是一个工具箱，具体制作方法我就不透露了，长按识别下面的二维码即可享用。(后台回复“抖音链接”即可获取该工具箱。)

2.精细化运营，一些小细节很重要

我们来看下面两个视频截图，你发现什么差别了么？

如果两个视频都需要视频描述来完善视频的内容，那么后一个视频的效果会更好，因为相比于白色视频背景，纯黑色可以非常清晰的把底部的视频描述凸显出来。

除此以外，视频内容和质量相似的情况下，竖向的视频比横向的视频更容易被点赞，不信你横过手机点赞一下试试……

3.能不能绕过机器筛选直接被推荐到更大的流量池？

随着监管制度的完善，纯机器算法筛选和推荐已经不能满足用户对高质量内容的需求，于是今日头条引入了大量人工审核团队。这些人工除了审核内容是否违规外，还承担发现优质内容、使其提前进入推荐队列的职责（我猜的）。如果我猜对了，那么，如果视频能跨过机器的迭代推荐，直达人工，岂不是会更快速的火起来？

我有一个冒风险的办法，并且测试成功了一次（只测试了一次，200粉丝半小时飙升到1W2播放量），你们如果胆大也可以试一试：在视频描述里加入一些机器识别不准确的敏感词，像这样：

注：内容仅为作者观点，不代表DT财经立场。

题图 | 酷勤

期待更多数据侠干货分享、话题讨论、福利发放？在公众号DT数据侠（ID：DTdatahero）后台回复“数据社群”，可申请加入DT数据社群。

数据侠门派

本文数据侠张佳，喜新公众号作者，前沿、新鲜技术的普及和传播者。

本文转载自：执惠 ID：tripvivid2

大数据分析与监测技术的进步，使得旅游企业有机会对消费人群进行画像，对消费习惯和偏好进行精准的分析研究，从而做出更科学的决策。特色旅游小镇建设发展如火如荼，特色小镇项目在规划设计中，要设计出符合大众游客的个性化产品，改善经营水平，进而提升游客流量、游客重游率则离不开大数据分析的支撑。

移动应用数据内容解决方案提供商Trustdata发布了《2017特色小镇行业研究报告》，利用TrustTravel景区大数据分析系统，报告揭示了特色小镇的客流特点、游客画像及行业发展趋势。

特色旅游小镇规划方面，项目选址应依托政府相关政策，找准交通黄金半径和消费人群的黄金半径是打造成功特色小镇的关键。

在运营及资本运作中，旅游特色小镇规划要考虑运营团队培养以及后续运作的资本力量。旅游产业转型与消费升级是特色小镇主要的推动力，目前周边游、亲子游、康养、体育赛事等跨界、跨产业的旅游方式正成为拉动消费升级的重要力量。

特色小镇的旅游业态、产品设计是小镇旅游成功的核心，游客更加注重体验性项目建设，旅游体验与人文生活的结合更能增加客户粘性。

1、华东地区特色小镇最多，超过华北地区2.35倍

目前住建部已经公布的两批特色小镇名单中共计包括403个特色小镇，特色小镇在国内的分布形成了四大聚集地，分别是以上海、江苏、浙江为中心的东部聚集区、以北京、天津为中心的华北区、以广州、深圳为中心的华南区、以成都为中心的川渝区。

特色小镇分布与当地经济发展、居民收入水平相关度高，反映了特色小镇发展需要较强的经济产业基础支撑。从全国来看，南方特色小镇分布远高于北方。

2、旅游特色小镇占据半壁江山

第一批特色小镇中，旅游发展型特色小镇占比50.4%，历史文化型小镇占比18.1%，工业发展型只有15%。总体来看，旅游、文化型特色小镇占比高达近六成。

3、特色小镇旅游的游客复合增长率达到8%

随着休闲旅游消费增加和旅游特色小镇建设的逐步完善，特色小镇游客量稳定增长，从今年5月下旬开始，增速超过总体客流量速度。

4、特色小镇“特”是关键

5、横店镇客流量位居首位

2017年1月-8月期间，64个旅游特色小镇中横店镇游客量稳居第一，外地游客数量中，横店镇依然排名第一，而车墩镇、小汤山镇游客总量中，外地游客占比少，在旅游特色小镇外地游客排名中，则跌出了前三名。

6、旅游特色小镇游客民宿预订应用偏好使用途家、蚂蚁短租、Airbnb

7、特色小镇游客普遍是有车一族

8、特色小镇游客超过六成已婚有孩子，过夜率近三成

9、浙江、北京、上海成特色小镇游客主要输出地

从全国来看，特色小镇游客主要来自浙江、北京、上海、江苏四个地方，可以作为全国特色小镇重要客源地，企业应该加强在这些地方的营销力度。沿海地区作为国内经济发达区，人均收入高，这为人们的旅游消费提供了坚实基础。

备注信息：

本报告定义的旅游特色小镇是指住建部公布的第一批127个特色小镇中的64个旅游发展型特色小镇；本地游客：指旅游特色小镇所在地级市以内的游客；外地游客指旅游特色小镇所在地级市以外的游客；

数据来源说明：基于Trustdata自建的日活跃用户超过5000万的安卓用户样本集，并根据中国移动网民人口结构、地域分布、各移动应用iOS与安卓比例关系等多方面因素搭建模型计算所得。

采集方法：只在亮屏情况下进行数据采集，确保数据的真实性和有效性。

采集频次方面：不带支付功能的APP为每次10秒，带有支付功能的APP为每次1秒。

统计周期：2016年1月至2017年8月

极光大数据（NASDAQ：JG）发布《2018年年秒拍用户研究报告》，从短视频行业概况、秒拍的发展与特点、秒拍用户画像等维度介绍全新升级之后归来的秒拍。

核心观点：

短视频行业在过去一年快速增长，11月渗透率达67.7%，用户规模7.44亿

作为新浪系的一员，秒拍自上线以来依托新浪微博的流量迅速发展，其母公司一下科技多轮融资均获新浪支持，秒拍已成为短视频行业的主要玩家之一

秒拍打造短视频社区，2018年进行品牌升级和产品升级，并积极上线各类正能量短视频活动和公益活动

秒拍用户较为年轻，25岁或以下的用户占比近5成，社交风格更偏向于流行时尚、二次元等年轻化风格，休闲娱乐等爱好也更为广泛

短视频行业用户往往集中在三四线城市，但秒拍用户分布恰恰相反，以一二线城市居多，而且其用户消费力也较高

一、短视频行业概况

短视频行业是以时长不超过5分钟的短视频为载体，在互联网上供用户观看、参与、娱乐及社交的行业。与传统的网络视频行业不同，短视频不仅视频时长更短，而且用户不再是被动接受和观看视频，还可以很容易地制作视频并传播，满足用户参与和社交的需要。

为迎合移动互联网用户的短平快需求和碎片化使用时间，短视频在制作和消费两端都致力于降低门槛，同时，短视频还具有较强的社交属性，不仅是用户被动接受信息的载体，更是用户分享交流的媒介。

短视频平台显著降低用户制作视频的门槛，满足用户表达和分享的需要，受众中分流一部分用户形成新的内容制作者，行业链形成闭环。短视频用户既是受众，也是制作者。PGC、UGC、PUGC等内容制作者制作视频，在短视频平台发布，也在其它如在线视频、媒体资讯、社交网络等平台分发，最终触达用户。

根据极光大数据的统计结果，短视频行业在过去一年快速增长，其渗透率从49.8%增长到目前的67.7%，用户规模从4.88亿增长到7.44亿，增幅达52%。

二、秒拍的发展与特点

秒拍是由炫一下（北京）科技有限公司特推出的短视频产品，兼具短视频观看和制作功能，同时也打造成短视频社区，供用户通过短视频为载体进行交流分享互动。

作为新浪系的一员，新浪微博的流量是秒拍的重要优势。秒拍凭借新浪微博的流量以及“冰桶挑战”等活动运营，在上线初期即获得迅速发展。今年下半年，秒拍全新升级，上线正能量传播活动，打造正能量品牌形象。

新浪于2013年投资一下科技，秒拍上线即成为新浪微博内置应用，其后的多轮融资新浪均参与，2016年的E轮融资金额达5亿美元。

秒拍的定位是优质短视频综合平台，从“看”“玩”“发”“创”四个方面覆盖短视频行业的各环节，汇集优质短视频资源、打造社区、提供高效视频制作工具、扶持创作内容等，以满足用户娱乐、社交、表达、创作等各方面的需求。

与其它行业的融合，是秒拍的发展趋势之一。短视频与其它行业的融合，可以打通用户的消费娱乐渠道，提高用户粘性，有利于跨行业用户转化和变现。

2018年下半年，秒拍打造品牌升级计划，提出新口号，并协同众多明星打造新品牌形象。

2018年下半年，秒拍产品全新升级，从资源、功能、内容、互动、运营等五大方面进行全面升级，以更好地满足用户需求。

2018年，秒拍在运营上更加关注正能量活动和社会公益活动，举办或协办各类社会正能量活动，传播社会主旋律，打造正能量平台。

三、秒拍的用户画像

无论是秒拍用户还是短视频用户，其男女分布都比较平衡，其中男性用户占比略多一点点。

秒拍用户中25岁或以下的用户占比近5成，35岁或以下的用户占比近9成，用户群体较为年轻。

根据极光大数据的统计结果，秒拍用户在二次元、流行时尚、动漫、知识青年等各类社交风格的占比和TGI均明显高于短视频用户，反映秒拍用户更为年轻化。

根据极光大数据的统计结果，相对短视频行业用户整体来说，秒拍用户在一二线城市的占比更高，占比达55.3%，特别是在一线城市。

根据极光大数据的统计结果，省份方面，秒拍的广东用户占比最高，其次为江苏和浙江；城市方面，一线城市北上广深包揽秒拍用户前四，其中北京、上海占比均为5%左右。

根据极光大数据的统计结果，短视频用户消费力整体较高，高消费力群体占比达6成，其中秒拍用户的消费力相对行业整体还要更高，其高消费力群体占比超7成。

根据极光大数据的统计结果，秒拍用户在美食、直播聊天、吃喝玩乐、旅游等方面的占比均高于短视频用户，其TGI也明显较高。秒拍用户在休闲娱乐方面爱好广泛，其中音乐占比最高，接近9成，其次是美食，超过7成。

根据极光大数据的统计结果，在休闲相关的各类app使用上，秒拍用户也高于短视频用户，特别是在在线视频类app和网络直播类app，其安装率和平均安装个数均高于短视频用户。

根据极光大数据的统计结果，秒拍用户和短视频用户在教育类app的安装率和安装个数均十分接近，近半数用户有安装教育类app，且平均安装个数接近3个，可能源于用户中年轻学生的比例较高。

根据极光大数据的统计结果，秒拍用户的金融行为占比与短视频用户类似，TGI略高。App偏好方面，最偏好的手机银行类app是网商银行，其次是招商银行，最偏好的投资理财类app是京东金融，其次是蚂蚁财富。

根据极光大数据的统计结果，秒拍用户和短视频用户的数字音乐app安装率均超过8成，人均安装2个左右，侧面反映用户对音乐的爱好。秒拍用户最偏好的数字音乐app是喜马拉雅，其次是酷我音乐。

根据极光大数据的统计结果，秒拍用户安装在线旅游app的用户比例明显高于短视频用户，侧面反映秒拍用户更喜欢旅游。秒拍用户对在线旅游app的偏好度差异明显，对去哪儿旅行和携程旅行的偏好度较高，其它app的偏好度相对较低。

根据极光大数据的统计结果，秒拍用户对新闻资讯的爱好明显高于短视频用户整体，其安装率近9成，平均安装个数2.75个，均明显高于短视频用户整体。秒拍用户对一点资讯的偏好度最高，达70.6，其次是网易新闻、今日头条和天天快报。

报告说明

1.数据来源

极光大数据，源于极光云服务平台的行业数据采集及极光iAPP平台针对各类移动应用的长期监测，并结合大样本算法开展的数据挖掘和统计分析

2.数据周期

报告整体时间段：2017.11-2018.11

3.数据指标说明

具体数据指标请参考各页标注

4.法律声明

极光大数据所提供的数据信息系依据大样本数据抽样采集、小样本调研、数据模型预测及其他研究方法估算、分析得出，由于方法本身存在局限性，极光大数据依据上述方法所估算、分析得出的数据信息仅供参考，极光大数据不对上述数据信息的精确性、完整性、适用性和非侵权性做任何保证。任何机构或个人援引或基于上述数据信息所采取的任何行动所造成的法律后果均与极光大数据无关，由此引发的相关争议或法律责任皆由行为人承担

5.报告其他说明

极光数据研究院后续将利用自身的大数据能力，对各领域进行更详尽的分析解读和商业洞察，敬请期待

25个地方+150个朋友你的社交圈比想象小

你可能觉得不相信，同学聚餐、社交派对、球友小赛……随便哪个聚会都能碰到少则十几、多则几十人，社交圈子怎么可能只有150个朋友呢，微信联系人随便划拉划拉也有成百上千号人了吧。但是据英国《卫报》(The Guardian)报道，我们的社交行为有特点可循，社交对象有一定限额，而且活动范围也有限定数量——不管在人生的哪个阶段，你经常去的地方加起来也只有25个，能够维持稳定关系的朋友也就150人。这不仅说明你的社交圈比你想象中要小，还表明了人类在进化过程中也逐渐形成了社交规律。

25个老地方

实验：分析40000人日常行为

伦敦城市大学的这项研究揭示了人类社交行为特点的一个新的方面，那就是人真的是一种习惯性动物。不管在人生的哪个阶段，你经常去的地方加起来也只有25个。虽然这25个地方也会随着年龄和经历变化有所变动，但25可能是你最常光顾的社交场所的上限了。

这篇题为《人类行动范围的守恒量》的研究发表在《自然-人类行为》期刊(Nature Human Behaviour)上，研究人员分析了来自4个不同数据库的40000人的日常行为特点，得出了此结论。

研究首先针对1000名学生的出行特点分析，来自城市大学数学系的安德烈亚·巴龙凯利博士和丹麦科技大学的莱曼教授，以及索尼移动通讯的研究小组共同主导了这部分实验，数据分析发现，这些学生不管生活在哪里，所有的生活圈子就限定在不超过25个地方的范围内，虽然随着时间推移，这25个地方也会有所变化，但总体的数字是恒定的。

印证：新的地方会顶替老地方

“开始我们以为是学生的身份限制了他们的活动范围，所以希望将调查扩展到更为广泛的人群中，然而当40000人的样本都摆在面前时，不同身份、不同性别、不同生活习惯的人们，结果都是一样的，25个地方的恒量一直存在。说实话，这个结果并非我们预想中的，有点出人意料！”巴龙凯利博士对此也表示不可思议。

研究人员发现，虽然人们也在不断探索新的活动范围，比如搬了新家，发现了一家更喜欢的餐馆，寻觅到一处更有特色的酒吧，或者想换一家健身房……然而，这些改变并没有撼动我们最常光顾的地方还是25个。

也就是说，如果你在活动范围列表上新加了一个地方，那潜意识里也会自动删掉一个老地方。

研究人员也根据人们光顾的频率、待在那里的时长等因素对这些活动范围按照类别进行了划分，结果还是一样的。

分析：平衡好奇和懒惰的关系

对于这一社交行为特征，巴龙凯利博士解释道，“人们日常活动其实一直在平衡好奇心和懒惰之间的关系，我们希望探索更多新奇好玩的地方，但同时也会因为懒得去冒险，就安之若素地待在比较熟悉的老地方。”

“我们是不是也在不断适应新的抛弃老的地方，这就让我们在变动中达到了一个稳定的结果，总的活动范围数量不变，当然，这并不是因为我们没时间去探索新地方，而是社交行为的容量封顶了而已。”

同时，研究也发现，在固定上限是25个地方范围内，常去的场所越多，这样的人往往也会拥有更多的朋友，这也将人类的行动力和社交认知力第一次正式地联系到了一起。

150个老朋友

实验：大脑认知决定交友上限

巴龙凯利博士也认为，这项发现可能跟我们生活中其他的社交行为特点相关，比如说我们不仅在活动范围上会限定数量，在社交对象上也有一定的限额。这就牵出了另一项发现——著名的“邓巴数字”学说，我们能够稳定地维持人际关系的人数，大概也就是150人左右。这一学说是由牛津大学的人类学家罗宾·邓巴提出来的。邓巴指出，人的大脑认知能力有限，负担不了那么广泛、频繁的社交活动，一个人能维持的稳定的社会关系，比如说至少每年联系一次的亲朋好友，大约为150人。

邓巴通过分析灵长类动物的大脑进化特点发现，负责处理复杂与抽象思维的新大脑皮质在整个大脑中所占的比例越大，个体能处理的“稳定人际关系”就越多，于是平均种群就越庞大。邓巴一共收集了38种灵长类的数据，狒狒的平均种群大小不过50上下，这意味着狒狒的新大脑皮质只能让它维持50个互动频繁的“猴友”。而人类的种群大小，在邓巴的实验中结论是148个。

影响：现代社交习惯仍然不变

也就是说，当我们人类还是古猿的时候，能够维持的群体数量大约为50人左右，等到我们学会了用火、能制造工具、家庭关系更密切并且发明了语言，人类的群体数量会达到150人左右。尽管我们现在已经进入了现代社会，但数十万年来的进化习惯仍然制约着我们的社交圈子。

也就是说，人的好友圈子不会超过150人，对于超过这个数量的人，人们顶多能记住一些相貌和名字，但对对方的了解却极为有限，也无法通过自身努力来促进双方关系。当然这150人关系不一定都那么密切，但他们是跟你联系更紧密的人，他们跟你的联系，足以影响到你的很多行为。

延伸：网络平台交友也有上限

网络平台的兴起，也会再次考验这个理论。美国“脸书”(facebook)内部社会学家卡梅伦·马龙表示，“脸书”社区用户的平均好友人数是120人。不同用户好友的人数差距很大，一些“脸书”用户拥有超过500位好友，但与邓巴理论不谋而合的是，其中很多都是“僵尸友”，也就是加过好友之后基本就再没有一对一联系过。不管个人好友名单能拉到多长，人们经常联系的好友仍然停留在相对稳定的120个。

另外，马龙还发现，平均拥有120个好友的男性，一般只会对其中7位好友的留言进行回应，相对应的，女性用户则明显更善于交际，她们通常会给10位好友留言。这也与邓巴理论不谋而合，也就是女性在社交方面要比男性更加积极和活跃。

链接

还有哪些社交数字

6个人联成一个圈

一个股票专家曾做过一个实验，将一封有关股票信息的电子邮件发送给一个陌生人，并要求这个陌生人把这封电子邮件转发给一个热爱炒股的人，当这封邮件第六次转发的时候，竟然转发回了股票专家手中，经过无数次的实验，从发出到收回平均经过6次转发，所以得出了一个初步结论——任何两个人之间的关系带，基本确定在6个人左右；两个陌生人之间，可以通过6个人来建立联系。

5个人性格平均值

美国的商业哲学家、成功学的创始人吉米·罗恩曾说过一句很著名的话：“你是与你相处时间最多的5个人的平均值。”具体来说就是，你的性格、爱好、价值观会和这5个朋友有重叠的地方。

本版编译 陈佳莉

来源：北京晨报

前言

1.“回归”一词的由来

我们不必在“回归”一词上费太多脑筋。英国著名统计学家弗朗西斯·高尔顿（Francis Galton,1822—1911）是最先应用统计方法研究两个变量之间关系问题的人。“回归”一词就是由他引入的。他对父母身高与儿女身高之间的关系很感兴趣，并致力于此方面的研究。高尔顿发现，虽然有一个趋势：父母高，儿女也高；父母矮，儿女也矮，但从平均意义上说，给定父母的身高，儿女的身高却趋同于或者说回归于总人口的平均身高。换句话说，尽管父母双亲都异常高或异常矮，儿女身高并非也普遍地异常高或异常矮，而是具有回归于人口总平均高的趋势。更直观地解释，父辈高的群体，儿辈的平均身高低于父辈的身高；父辈矮的群体，儿辈的平均身高高于其父辈的身高。用高尔顿的话说，儿辈身高的“回归”到中等身高。这就是回归一词的最初由来。

回归一词的现代解释是非常简洁的：回归时研究因变量对自变量的依赖关系的一种统计分析方法，目的是通过自变量的给定值来估计或预测因变量的均值。它可用于预测、时间序列建模以及发现各种变量之间的因果关系。

使用回归分析的益处良多，具体如下：

1) 指示自变量和因变量之间的显著关系；

2) 指示多个自变量对一个因变量的影响强度。

回归分析还可以用于比较那些通过不同计量测得的变量之间的相互影响，如价格变动与促销活动数量之间的联系。这些益处有利于市场研究人员，数据分析人员以及数据科学家排除和衡量出一组最佳的变量，用以构建预测模型。

2.为什么使用回归分析

1）更好地了解

对某一现象建模，以更好地了解该现象并有可能基于对该现象的了解来影响政策的制定以及决定采取何种相应措施。基本目标是测量一个或多个变量的变化对另一变量变化的影响程度。示例：了解某些特定濒危鸟类的主要栖息地特征（例如：降水、食物源、植被、天敌），以协助通过立法来保护该物种。

2）建模预测

对某种现象建模以预测其他地点或其他时间的数值。基本目标是构建一个持续、准确的预测模型。示例：如果已知人口增长情况和典型的天气状况，那么明年的用电量将会是多少？

3）探索检验假设

还可以使用回归分析来深入探索某些假设情况。假设您正在对住宅区的犯罪活动进行建模，以更好地了解犯罪活动并希望实施可能阻止犯罪活动的策略。开始分析时，您很可能有很多问题或想要检验的假设情况。

回归分析的作用主要有以下几点：

1）挑选与因变量相关的自变量；

2）描述因变量与自变量之间的关系强度；

3）生成模型，通过自变量来预测因变量；

4）根据模型，通过因变量，来控制自变量。

回归分析方法

现在有各种各样的回归技术可用于预测，这些技术主要包含三个度量：自变量的个数、因变量的类型以及回归线的形状。

1.回归分析方法

1）线性回归

线性回归它是最为人熟知的建模技术之一。线性回归通常是人们在学习预测模型时首选的少数几种技术之一。在该技术中，因变量是连续的，自变量（单个或多个）可以是连续的也可以是离散的，回归线的性质是线性的。线性回归使用最佳的拟合直线（也就是回归线）建立因变量 (Y) 和一个或多个自变量 (X) 之间的联系。用一个等式来表示它，即：

Y=a+b*X + e

其中a 表示截距，b 表示直线的倾斜率，e 是误差项。这个等式可以根据给定的单个或多个预测变量来预测目标变量的值。

一元线性回归和多元线性回归的区别在于，多元线性回归有一个以上的自变量，而一元线性回归通常只有一个自变量。

线性回归要点：

1）自变量与因变量之间必须有线性关系；

2）多元回归存在多重共线性，自相关性和异方差性；

3）线性回归对异常值非常敏感。它会严重影响回归线，最终影响预测值；

4）多重共线性会增加系数估计值的方差，使得估计值对于模型的轻微变化异常敏感，结果就是系数估计值不稳定；

5）在存在多个自变量的情况下，我们可以使用向前选择法，向后剔除法和逐步筛选法来选择最重要的自变量。

2）Logistic回归

Logistic回归可用于发现 “事件=成功”和“事件=失败”的概率。当因变量的类型属于二元（1 / 0、真/假、是/否）变量时，我们就应该使用逻辑回归。这里，Y 的取值范围是从 0 到 1，它可以用下面的等式表示：

odds= p/ (1-p) = 某事件发生的概率/ 某事件不发生的概率

ln(odds) = ln(p/(1-p))

logit(p) = ln(p/(1-p)) =b0+b1X1+b2X2+b3X3....+bkXk

如上，p表述具有某个特征的概率。在这里我们使用的是的二项分布（因变量），我们需要选择一个最适用于这种分布的连结函数。它就是Logit 函数。在上述等式中，通过观测样本的极大似然估计值来选择参数，而不是最小化平方和误差（如在普通回归使用的）。

Logistic要点：

1）Logistic回归广泛用于分类问题；

2）Logistic回归不要求自变量和因变量存在线性关系。它可以处理多种类型的关系，因为它对预测的相对风险指数使用了一个非线性的 log 转换；

3）为了避免过拟合和欠拟合，我们应该包括所有重要的变量。有一个很好的方法来确保这种情况，就是使用逐步筛选方法来估计Logistic回归；

4）Logistic回归需要较大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差；

5）自变量之间应该互不相关，即不存在多重共线性。然而，在分析和建模中，我们可以选择包含分类变量相互作用的影响；

6）如果因变量的值是定序变量，则称它为序Logistic回归；

7）如果因变量是多类的话，则称它为多元Logistic回归。

3）Cox回归

Cox回归的因变量就有些特殊，它不经考虑结果而且考虑结果出现时间的回归模型。它用一个或多个自变量预测一个事件（死亡、失败或旧病复发）发生的时间。Cox回归的主要作用发现风险因素并用于探讨风险因素的强弱。但它的因变量必须同时有2个，一个代表状态，必须是分类变量，一个代表时间，应该是连续变量。只有同时具有这两个变量，才能用Cox回归分析。Cox回归主要用于生存资料的分析，生存资料至少有两个结局变量，一是死亡状态，是活着还是死亡；二是死亡时间，如果死亡，什么时间死亡？如果活着，从开始观察到结束时有多久了？所以有了这两个变量，就可以考虑用Cox回归分析。

4）poisson回归

通常，如果能用Logistic回归，通常也可以用poission回归，poisson回归的因变量是个数，也就是观察一段时间后，发病了多少人或是死亡了多少人等等。其实跟Logistic回归差不多，因为logistic回归的结局是是否发病，是否死亡，也需要用到发病例数、死亡例数。

5）Probit回归

Probit回归意思是“概率回归”。用于因变量为分类变量数据的统计分析，与Logistic回归近似。也存在因变量为二分、多分与有序的情况。目前最常用的为二分。医学研究中常见的半数致死剂量、半数有效浓度等剂量反应关系的统计指标，现在标准做法就是调用Pribit过程进行统计分析。

6）负二项回归

所谓负二项指的是一种分布，其实跟poission回归、logistic回归有点类似，poission回归用于服从poission分布的资料，logistic回归用于服从二项分布的资料，负二项回归用于服从负二项分布的资料。如果简单点理解，二项分布可以认为就是二分类数据，poission分布就可以认为是计数资料，也就是个数，而不是像身高等可能有小数点，个数是不可能有小数点的。负二项分布，也是个数，只不过比poission分布更苛刻，如果结局是个数，而且结局可能具有聚集性，那可能就是负二项分布。简单举例，如果调查流感的影响因素，结局当然是流感的例数，如果调查的人有的在同一个家庭里，由于流感具有传染性，那么同一个家里如果一个人得流感，那其他人可能也被传染，因此也得了流感，那这就是具有聚集性，这样的数据尽管结果是个数，但由于具有聚集性，因此用poission回归不一定合适，就可以考虑用负二项回归。

7）weibull回归

中文有时音译为威布尔回归。关于生存资料的分析常用的是cox回归，这种回归几乎统治了整个生存分析。但其实夹缝中还有几个方法在顽强生存着，而且其实很有生命力。weibull回归就是其中之一。cox回归受欢迎的原因是它简单，用的时候不用考虑条件（除了等比例条件之外），大多数生存数据都可以用。而weibull回归则有条件限制，用的时候数据必须符合weibull分布。如果数据符合weibull分布，那么直接套用weibull回归自然是最理想的选择，它可以给出最合理的估计。如果数据不符合weibull分布，那如果还用weibull回归，那就套用错误，结果也就会缺乏可信度。weibull回归就像是量体裁衣，把体形看做数据，衣服看做模型，weibull回归就是根据某人实际的体形做衣服，做出来的也就合身，对其他人就不一定合身了。cox回归，就像是到商场去买衣服，衣服对很多人都合适，但是对每个人都不是正合适，只能说是大致合适。至于到底是选择麻烦的方式量体裁衣，还是选择简单到商场直接去买现成的，那就根据个人倾向，也根据具体对自己体形的了解程度，如果非常熟悉，自然选择量体裁衣更合适。如果不大了解，那就直接去商场买大众化衣服相对更方便些。

8）主成分回归

主成分回归是一种合成的方法，相当于主成分分析与线性回归的合成。主要用于解决自变量之间存在高度相关的情况。这在现实中不算少见。比如要分析的自变量中同时有血压值和血糖值，这两个指标可能有一定的相关性，如果同时放入模型，会影响模型的稳定，有时也会造成严重后果，比如结果跟实际严重不符。当然解决方法很多，最简单的就是剔除掉其中一个，但如果实在舍不得，觉得删了太可惜，那就可以考虑用主成分回归，相当于把这两个变量所包含的信息用一个变量来表示，这个变量我们称它叫主成分，所以就叫主成分回归。当然，用一个变量代替两个变量，肯定不可能完全包含他们的信息，能包含80%或90%就不错了。但有时候我们必须做出抉择，你是要100%的信息，但是变量非常多的模型？还是要90%的信息，但是只有1个或2个变量的模型？打个比方，你要诊断感冒，是不是必须把所有跟感冒有关的症状以及检查结果都做完？还是简单根据几个症状就大致判断呢？我想根据几个症状大致能确定90%是感冒了，不用非得100%的信息不是吗？模型也是一样，模型是用于实际的，不是空中楼阁。既然要用于实际，那就要做到简单。对于一种疾病，如果30个指标能够100%确诊，而3个指标可以诊断80%，我想大家会选择3个指标的模型。这就是主成分回归存在的基础，用几个简单的变量把多个指标的信息综合一下，这样几个简单的主成分可能就包含了原来很多自变量的大部分信息。这就是主成分回归的原理。

9）岭回归

当数据之间存在多重共线性（自变量高度相关）时，就需要使用岭回归分析。在存在多重共线性时，尽管最小二乘法（OLS）测得的估计值不存在偏差，它们的方差也会很大，从而使得观测值与真实值相差甚远。岭回归通过给回归估计值添加一个偏差值，来降低标准误差。

上面，我们看到了线性回归等式：

y=a+ b*x

这个等式也有一个误差项。完整的等式是：

y=a+b*x+e (误差项), [误差项是用以纠正观测值与预测值之间预测误差的值]

=> y=a+y= a+ b1x1+ b2x2+....+e, 针对包含多个自变量的情形。

在线性等式中，预测误差可以划分为 2 个分量，一个是偏差造成的，一个是方差造成的。预测误差可能会由这两者或两者中的任何一个造成。在这里，我们将讨论由方差所造成的误差。岭回归通过收缩参数 λ（lambda）解决多重共线性问题。请看下面的等式：

在这个等式中，有两个组成部分。第一个是最小二乘项，另一个是 β2（β-平方）和的 λ 倍，其中 β 是相关系数。λ 被添加到最小二乘项中用以缩小参数值，从而降低方差值。

岭回归要点：

1）除常数项以外，岭回归的假设与最小二乘回归相同；

2）它收缩了相关系数的值，但没有达到零，这表明它不具有特征选择功能；

3）这是一个正则化方法，并且使用的是 L2 正则化。

10）偏最小二乘回归

偏最小二乘回归也可以用于解决自变量之间高度相关的问题。但比主成分回归和岭回归更好的一个优点是，偏最小二乘回归可以用于例数很少的情形，甚至例数比自变量个数还少的情形。所以，如果自变量之间高度相关、例数又特别少、而自变量又很多，那就用偏最小二乘回归就可以了。它的原理其实跟主成分回归有点像，也是提取自变量的部分信息，损失一定的精度，但保证模型更符合实际。因此这种方法不是直接用因变量和自变量分析，而是用反映因变量和自变量部分信息的新的综合变量来分析，所以它不需要例数一定比自变量多。偏最小二乘回归还有一个很大的优点，那就是可以用于多个因变量的情形，普通的线性回归都是只有一个因变量，而偏最小二乘回归可用于多个因...

“大数据”全在于发现和理解信息内容及信息与信息之间的关系，然而直到最近，我们对此似乎还是难以把握。ibm的资深“大数据”专家杰夫·乔纳斯（jeff jonas）提出要让数据“说话”。从某种层面上来说，这听起来很平常。人们使用数据已经有相当长一段时间了，无论是日常进行的大量非正式观察，还是过去几个世纪里在专业层面上用高级算法进行的量化研究，都与数据有关。

在数字化时代，数据处理变得更加容易、更加快速，人们能够在瞬间处理成千上万的数据。但当我们谈论能“说话”的数据时，我们指的远远不止这些。

实际上，大数据与三个重大的思维转变有关，这三个转变是相互联系和相互作用的。

首先，要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。

其次，我们乐于接受数据的纷繁复杂，而不再追求精确『性』。

最后，我们的思想发生了转变，不再探求难以捉『摸』的因果关系，转而关注事物的相关关系。

本章就将介绍第一个转变：利用所有的数据，而不再仅仅依靠一小部分数据。

很长一段时间以来，准确分析大量数据对我们而言都是一种挑战。过去，因为记录、储存和分析数据的工具不够好，我们只能收集少量数据进行分析，这让我们一度很苦恼。为了让分析变得简单，我们会把数据量缩减到最少。这是一种无意识的自省：我们把与数据交流的困难看成是自然的，而没有意识到这只是当时技术条件下的一种人为的限制。如今，技术条件已经有了非常大的提高，虽然人类可以处理的数据依然是有限的，也永远是有限的，但是我们可以处理的数据量已经大大地增加，而且未来会越来越多。

在某些方面，我们依然没有完全意识到自己拥有了能够收集和处理更大规模数据的能力。我们还是在信息匮乏的假设下做很多事情，建立很多机构组织。我们假定自己只能收集到少量信息，结果就真的如此了。这是一个自我实现的过程。我们甚至发展了一些使用尽可能少的信息的技术。别忘了，统计学的一个目的就是用尽可能少的数据来证实尽可能重大的发现。事实上，我们形成了一种习惯，那就是在我们的制度、处理过程和激励机制中尽可能地减少数据的使用。为了理解大数据时代的转变意味着什么，我们需要首先回顾一下过去。

小数据时代的随机采样，最少的数据获得最多的信息

直到最近，私人企业和个人才拥有了大规模收集和分类数据的能力。在过去，这是只有教会或者『政府』才能做到的。当然，在很多国家，教会和『政府』是等同的。有记载的、最早的计数发生在公元前8000年，当时苏美尔的商人用黏土珠来记录出售的商品。大规模的计数则是『政府』的事情。数千年来，『政府』都试图通过收集信息来管理国民。

以人口普查为例。据说古代埃及曾进行过人口普查，《旧约》和《新约》中对此都有所提及。那次由奥古斯都凯撒主导实施的人口普查，提出了“每个人都必须纳税”，这使得约瑟夫和玛丽搬到了耶稣的出生地伯利恒。1086年的《末日审判书》（the doomsday book）对当时英国的人口、土地和财产做了一个前所未有的全面记载。皇家委员穿越整个国家对每个人、每件事都做了记载，后来这本书用《圣经》中的《末日审判书》命名，因为每个人的生活都被赤『裸』『裸』地记载下来的过程就像接受“最后的审判”一样。

然而，人口普查是一项耗资且费时的事情。国王威廉一世（king william i）在他发起的《末日审判书》完成之前就去世了。但是，除非放弃收集信息，否则在当时没有其他办法。尽管如此，当时收集的信息也只是一个大概情况，实施人口普查的人也知道他们不可能准确记录下每个人的信息。实际上，“人口普查”这个词来源于拉丁语的“censere”，意思就是推测、估算。

三百多年前，一个名叫约翰·格朗特（john graunt）的英国缝纫用品商提出了一个很有新意的方法。他采用了一个新方法推算出鼠疫时期伦敦的人口数，这种方法就是后来的统计学。这个方法不需要一个人一个人地计算。虽然这个方法比较粗糙，但采用这个方法，人们可以利用少量有用的样本信息来获取人口的整体情况。

虽然后来证实他能够得出正确的数据仅仅是因为运气好，但在当时他的方法大受欢迎。样本分析法一直都有较大的漏洞，因此无论是进行人口普查还是其他大数据类的任务，人们还是一直使用具体计数这种“野蛮”的方法。

考虑到人口普查的复杂『性』以及耗时耗费的特点，『政府』极少进行普查。古罗马人在人口以万计数的时候每5年普查一次。美国宪法规定每10年进行一次人口普查，因为随着国家人口越来越多，只能以百万计数了。但是到19世纪为止，即使这样不频繁的人口普查依然很困难，因为数据变化的速度超过了人口普查局统计分析的能力。

穿孔卡片的美国人口普查

美国在1880年进行的人口普查，耗时8年才完成数据汇总。因此，他们获得的很多数据都是过时的。1890年进行的人口普查，预计要花费13年的时间来汇总数据。即使不考虑这种情况违反了宪法规定，它也是很荒谬的。然而，因为税收分摊和国会代表人数确定都是建立在人口的基础上的，所以必须要得到正确的数据，而且必须是及时的数据。

美国人口普查局面临的问题与当代商人和科学家遇到的问题很相似。很明显，当他们被数据淹没的时候，已有的数据处理工具已经难以应付了，所以就需要有更多的新技术。

后来，美国人口普查局就和当时的美国发明家赫尔曼·霍尔瑞斯（herman hollerith)签订了一个协议，用他的穿孔卡片制表机来完成1890年的人口普查。

经过大量的努力，霍尔瑞斯成功地在1年时间内完成了人口普查的数据汇总工作。这简直就是一个奇迹，它标志着自动处理数据的开端，也为后来ibm公司的成立奠定了基础。但是，将其作为收集处理大数据的方法依然过于昂贵。毕竟，每个美国人都必须填一张可制成穿孔卡片的表格，然后再进行统计。这么麻烦的情况下，很难想象如果不足十年就要进行一次人口普查应该怎么办。但是，对于一个跨越式发展的国家而言，十年一次的人口普查的滞后『性』已经让普查失去了大部分意义。

这就是问题所在，是利用所有的数据还是仅仅采用一部分呢？最明智的自然是得到有关被分析事物的所有数据，但是当数量无比庞大时，这又不太现实。那如何选择样本呢？有人提出有目的地选择最具代表『性』的样本是最恰当的方法。1934年，波兰统计学家耶日·奈曼（jerzy neyman）指出，这只会导致更多更大的漏洞。事实证明，问题的关键是选择样本时的随机『性』。

统计学家们证明：采样分析的精确『性』随着采样随机『性』的增加而大幅提高，但与样本数量的增加关系不大。虽然听起来很不可思议，但事实上，一个对1100人进行的关于“是否”问题的抽样调查有着很高的精确『性』，精确度甚至超过了对所有人进行调查时的97%。这是真的，不管是调查10万人还是1亿人，20次调查里有19都是这样。为什么会这样？原因很复杂，但是有一个比较简单的解释就是，当样本数量达到了某个值之后，我们从新个体身上得到的信息会越来越少，就如同经济学中的边际效应递减一样。

认为样本选择的随机『性』比样本数量更重要，这种观点是非常有见地的。这种观点为我们开辟了一条收集信息的新道路。通过收集随机样本，我们可以用较少的花费做出高精准度的推断。因此，『政府』每年都可以用随机采样的方法进行小规模的人口普查，而不是只能每十年进行一次。事实上，『政府』也这样做了。例如，除了十年一次的人口大普查，美国人口普查局每年都会用随机采样的方法对经济和人口进行200多次小规模的调查。当收集和分析数据都不容易时，随机采样就成为应对信息过量的办法。

很快，随机采样就不仅应用于公共部门和人口普查了。在商业领域，随机采样被用来监管商品质量。这使得监管商品质量和提升商品品质变得更容易，花费也更少。以前，全面的质量监管要求对生产出来的每个产品进行检查，而现在只需从一批商品中随机抽取部分样品进行检查就可以了。本质上来说，随机采样让大数据问题变得更加切实可行。同理，它将客户调查引进了零售行业，将焦点讨论引进了政治界，也将许多人文问题变成了社会科学问题。

随机采样取得了巨大的成功，成为现代社会、现代测量领域的主心骨。但这只是一条捷径，是在不可收集和分析全部数据的情况下的选择，它本身存在许多固有的缺陷。它的成功依赖于采样的绝对随机『性』，但是实现采样的随机『性』非常困难。一旦采样过程中存在任何偏见，分析结果就会相去甚远。

最近，以固定电话用户为基础进行投票民调就面临了这样的问题，采样缺乏随机『性』，因为没有考虑到只使用移动电话的用户——这些用户一般更年轻和更热爱自由。没有考虑到这些用户，自然就得不到正确的预测。2008年在奥巴马与麦凯恩之间进行的美国总统大选中，盖洛普咨询公司、皮尤研究中心（pew）、美国广播公司和《华盛顿邮报》这些主要的民调组织都发现，如果他们不把移动用户考虑进来，民意测试结果就会出现三个点的偏差，而一旦考虑进来，偏差就只有一个点。鉴于这次大选的票数差距极其微弱，这已经是非常大的偏差了。

更糟糕的是，随机采样不适合考察子类别的情况。因为一旦继续细分，随机采样结果的错误率会大大增加。这很容易理解。倘若你有一份随机采样的调查结果，是关于1000个人在下一次竞选中的投票意向。如果采样时足够随机，这份调查的结果就有可能在3%的误差范围内显示全民的意向。但是如果这个3%左右的误差本来就是不确定的，却又把这个调查结果根据『性』别、地域和收入进行细分，结果是不是越来越不准确呢？用这些细分过后的结果来表现全民的意愿，是否合适呢？

你设想一下，一个对1000个人进行的调查，如果要细分到“东北部的富裕女『性』”，调查的人数就远远少于1000人了。即使是完全随机的调查，倘若只用了几十个人来预测整个东北部富裕女『性』选民的意愿，还是不可能得到精确结果啊！而且，一旦采样过程中存在任何偏见，在细分领域所做的预测就会大错特错。

因此，当人们想了解更深层次的细分领域的情况时，随机采样的方法就不可取了。在宏观领域起作用的方法在微观领域失去了作用。随机采样就像是模拟照片打印，远看很不错，但是一旦聚焦某个点，就会变得模糊不清。

随机采样也需要严密的安排和执行。人们只能从采样数据中得出事先设计好的问题的结果——千万不要奢求采样的数据还能回答你突然意识到的问题。所以虽说随机采样是一条捷径，但它也只是一条捷径。随机采样方法并不适用于一切情况，因为这种调查结果缺乏延展『性』，即调查得出的数据不可以重新分析以实现计划之外的目的。

我们来看一下dna分析。由于技术成本大幅下跌以及在医学方面的广阔前景，个人基因排序成为了一门新兴产业。2012年，基因组解码的价格跌破1000美元，这也是非正式的行业平均水平。从2007年起，硅谷的新兴科技公司23andme就开始分析人类基因，价格仅为几百美元。这可以揭示出人类遗传密码中一些会导致其对某些疾病抵抗力差的特征，如『乳』腺癌和心脏病。23andme希望能通过整合顾客的dna和健康信息，了解到用其他方式不能获取的新信息。

公司对某人的一小部分dna进行排序，标注出几十个特定的基因缺陷。这只是此人整个基因密码的样本，还有几十亿个基因碱基对未排序。最后，23andme只能回答它们标注过的基因组表现出来的问题。发现新标注时，此人的dna必须重新排序，更准确地说，是相关的部分必须重新排列。只研究样本而不是整体，有利有弊：能更快更容易地发现问题，但不能回答事先未考虑到的问题。

大数据与乔布斯的癌症治疗

苹果公司的传奇总裁史蒂夫·乔布斯在与癌症斗争的过程中采用了不同的方式，成为世界上第一个对自身所有dna和肿瘤dna进行排序的人。为此，他支付了高达几十万美元的费用，这是23andme报价的几百倍之多。所以，他得到的不是一个只有一系列标记的样本，他得到了包括整个基因密码的数据文档。

对于一个普通的癌症患者，医生只能期望她的dna排列同试验中使用的样本足够相似。但是，史蒂夫·乔布斯的医生们能够基于乔布斯的特定基因组成，按所需效果用『药』。如果癌症病变导致『药』物失效，医生可以及时更换另一种『药』，也就是乔布斯所说的，“从一片睡莲叶跳到另一片上。”乔布斯开玩笑说：“我要么是第一个通过这种方式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人。”虽然他的愿望都没有实现，但是这种获得所有数据而不仅是样本的方法还是将他的生命延长了好几年。

全数据模式，样本=总体

在信息处理能力受限的时代，世界需要数据分析，却缺少用来分析所收集数据的工具，因此随机采样应运而生，...

文|波波夫

如果说下水道是一个城市的良心，那么厕所就是一座城市的门脸。

很多年前，人们就发现一个有意思的现象：一个城市的文明程度可以从其厕所的卫生程度得出，厕所越干净、城市越发达。但直到今天，大数据无法解释这背后的原因：究竟是城市发达了厕所自然就干净了，还是厕所干净了也会促进城市的发展。

对于这样「先有鸡还是先有蛋的问题」，还需要大数据加传统民调和小数据的结合才有肯能找到答案。

01 谷歌为何只猜对了一次？

感谢从维克托·迈尔-舍恩伯格到马云的孜孜不倦地布道，大数据现在几乎成了全球先进生产力的标志，而且几乎被赋予万能的希望。

在《大数据时代》一书中，舍恩伯格的确总结了相对传统小数据的三大特点：非随机样本，而是全体数据；非精确性，而是混杂性；非因果关系，而是相关关系。

最先证实大数据强大能力的乃是谷歌。

2009年在H1N1爆发几周前，谷歌公司的工程师们在Nature上发表了一篇论文，介绍了GFT，成功预测了H1N1在全美范围的传播，甚至具体到特定的地区和州，而且判断非常及时，令公共卫生官员们和计算机科学家们倍感震惊。

但是，在随后的几年当中，谷歌这一预测却屡屡失灵，以至于在2014年美国著名的《科学》期刊刊登的一篇题为《谷歌流感的寓言：大数据分析的陷阱》的文章称：

很大一部分与疾控中心流感发生率数据相关的搜索词，并非是得流感的人引起的，而是由影响搜索模式和流感传播的第三个因素（季节）产生的。谷歌流感趋势的开发人员发现那些特定的搜索词是随时间而发生变化的，但这些搜索显然与病毒无关。比如，有的人可能仅仅是因为看了一部电影或者文章而去搜索流感。

调查撰写这篇文章的哈佛大学、美国东北大学的几位学者认为，大数据的分析是很复杂的，但由于大数据的收集过程，很难保证有像传统小数据那样缜密，难免会出现失准的情况。最核心的问题是，大数据分析侧重相关性，导致在推导因果关系时容易出现误差。

他们建议，应该把大数据与小数据相结合，以「全数据」思维取代「大数据」思维。

02 了不起的盖洛普

前不久，清华附小六年级学生的一篇《大数据帮你进一步认识苏轼》小论文，被冠以大数据之名，这里的大数据其实是不折不扣的小数据，更确切地说只是用量化方式呈现了一个「数据化」的苏东坡。

这只是「炒作大数据」的一个缩影。

事实上，全球拥有真正意义上的大数据的公司并不多，而拥有分析大数据能力的公司更是凤毛麟角。斯坦福大学统计学教授Trevor Hastie曾比喻分析大数据的过程，就好比一大堆干草垛中，发现有意义的「针」，而困难之处恰恰在于很多干草看起来也像针。

大数据的不易得和分析的高难度，注定了其进入门槛的高耸。

但是，传统民意调查所形成的小数据有着显著的优势：样本的充分代表性、可操作、快速采集分析。

上世纪三十年代，美国数学家乔治·盖洛普通过建立与美国全体选民结构一致的5000个调查样本，成功地预测了罗斯福将赢得1936年总统选举。这位宣称「我能用统计的方法证明上帝的存在」的盖洛普先生开启了现代民意测验的商业化道路。

在大数据鱼龙混杂的浊流中，传统的问卷调查无疑是一个更靠谱的预测方式。

二胎政策出台后，如果想了解人们真实的生育意愿，按照大数据全样本的标准，特别是涉及到用户隐私，因此几乎无法操作，但是通过传统民调、却能够快速了解情况。

南京航空航天大学教授张杰在2016年初通过腾讯问卷针对10万人的调查显示，近四成人没有生育二胎的打算，已有女孩的家庭生育欲望更强，时间精力、经济状况不佳是国人不敢生二胎的主要原因。

此次二胎意愿调查之所以能回收高达10万份问卷，一则说明受访者对这个问题关注面比较广，二则体现了在线问卷更有利于保护隐私的优点，毕竟与生育相关的话题涉及个人隐私，传统线下一对一问卷调查，会让受访者不太自在。

在填写这份问卷时，腾讯问卷鼓励受访者使用QQ、微信号作为登录账号，但不提供注册功能，同时，还会对可疑问卷做红条警示提醒，对于需要用户提供如年龄、地域、收入、学历等信息的问卷，腾讯问卷支持用户自愿选择，突出对用户隐私的保护。

03 激活沉默的大多数

如果说大数据只有大机构才有能力获取，如今类似在线民调小工具则赋能普通大众获得便利的调研能力，比大数据更能体现互联网的普惠和平权特征。

中国的网民人数已经超过7亿，互联网的渗透率超过50%，但是网络舆论并不等同于网络民意，一个重要原因是，网民不能代表现实中全体公民，而且活跃网民也不能代表全体网民。

复旦大学传播与国家治理研究中心研究团队在2014年的一份研究报告称：

在结构上，网民主要分布在社会中间阶层，社会高层和底层人群较少，尤其是占中国总人口较大比例的农民或外出务工人员群体，虽然近两年有一定增长，但在网民中所占比例仍然较低，他们正是网络中沉默的大多数。

只需勾选、简单输入的在线问卷，为普罗大众理性表达意见提供一个便利渠道。

传统民调和今天的在线民调都面临一个共同问题：如此提高受访者的参与率。首先，民调拒访率逐年增高，受访率不断降低。根据皮尤中心的报告，美国民调回复率1997年为36%，2000年为28%，2006年15%，2013年9%，2015年只有7%。

04 有民调处有金山

大数据可以帮助我们推导出著名的口红效应（因经济萧条而导致口红热卖）、厕所效应（城市越发达厕所越干净）、以及著名的啤酒与尿布销售故事，但无法给出因果分析，要想从中得到具体的商业建议，还得需要提取样本进行传统调查式的分析。

如果说，大数据分析可以说是一种纵向的推断，是变量间相关关系的推断，那么问卷调查是基于样本推断总体，是一种横向的、由点到面的推断，尤其有助于商家快速了解用户偏好。

如果说大数据连接了千百万的数据点，可以准确地产生相互关系。但是，当人类按照自己的习惯行动时，大数据分析通常不会十分准确。所以挖掘用户需求时，在大数据之外，更重要的是通过对一个小群体的亲身观察和小数据常识，捕捉到这个社会群体所体现出的文化欲望。

相比大数据，人们更容易从小数据中获得更有价值的商业洞察。

腾讯新闻曾联合一家牙膏企业，通过腾讯问卷向三万多人发起了一次过敏口腔健康调查问卷，结果发现，发现口腔问题时，越年轻的受调查者越倾向于等待口腔问题自行缓解，但女性比男性更愿意尝试购买多种口腔护理用品，同时发现，漱口水是牙膏之外最受欢迎的口腔护理产品。

这份调查对于口腔护理公司来说至少提供了三点有价值的市场信息：第一、开展针对年轻消费者的口腔健康意识教育，有助于扩大用户群体；第二、加大针对女性的市场促销活动，有助于进一步刺激销售增长；第三，漱口水的市场空间广大，具备开拓价值。

在互联网时代，通过在线民调形成针对用户个人的小数据，依然是了解用户偏好的捷径。以最近几年在在线问卷市场快速崛起的腾讯问卷为例，首先，腾讯问卷采用了所见即所得的操作模式，只要通过拖、拉、连等极其简便的操作方式，一份专属于调查者的调查问卷就可以顺利成型；其次，腾讯问卷还集合了业务拓展、数据分析在内的综合性平台，利用服务器集群技术，每秒可以支持100万问卷页的同时打开，大大提升了用户的工作效率。

事实证明，互联网公司也高度重视问卷式调查。自2014年底正式上线以来，腾讯问卷累计使用用户已经超过100万，平台周PV超过千万。除了腾讯系产品微信、QQ、音乐、游戏等广泛使用腾讯问卷外，滴滴、58、链家、vivo、小米、央视315晚会、同程网等企业均使用腾讯问卷完成了大量的用户调查与研究项目。

但无论是传统的小样本民调，还是全样本的大数据分析，事实上面临着一个共同难题：即如何提升数据分析能力，如何将数据与人的心理、行为联系起来。这也正是预测的神秘和魅力所在。