从历史的角度看金融业的演变，金融业一直是先进技术的应用者与推动者。每当社会出现重大技术进步时，金融一定会以某种特定的方式与之紧密结合。未来，大数据的规模会越来越大，

大数据经济价值会驱动大数据全产业链加速形成。据统计，2015年中国金融大数据应用市场规模达到16亿元，预计这一数字在2020年将突破1300亿元，金融行业有望进入大数据的快车道时代。

大数据有助于实现金融信息的可视化

如何将大数据中结构化数据与非机构化数据并行的海量信息从纷繁复杂的数据当中提炼出有效数据，并且用合适的方式展示出来，更有效的帮助我们做研究、做经济决策是很多金融机构极为需求的。 另外，当下大部分的分析工作还是基于传统的柱状图、饼状图等最多只能从三个维度进行管理和判断的二维数据模型，完全满足不了多维度、复杂关系的数据模型需求。而且，金融的两端无法相互站在对方的角度思考问题，所以很多产品一上市就遭到失败。金融要良性循环，双方必须站在对方角度思考问题和重新定义价值模型。

大数据引导未来金融向个性化、定制化发展

智慧金融有两个核心点，“一是数据，二是技术”，无论是信用评估还是反欺诈等，核心的思想都是通过数据得出更多以前没有得到的结果，而随着数据的越来越多，维度与频度变多，技术也会发生改变。大数据融入到传统的消费金融审核当中，运用客户行为信息、申请信息、征信信息和互联网大数据进行交叉验证和数据建模，对客户进行更加精准和立体的画像，有效的锁定目标客户群体，避免潜在的欺诈和逾期风险。

利用大数据可以搜索影响金融资产变化的大量信息，通过人工智能学习进行分析，让普通投资者也可以享受到与专业机构一样的投资分析信息。基于大数据开展的增值服务是金融信息资讯平台未来的主要盈利方式，依托大数据，信息门户可以对用户搜索、消费习惯进行有效记录和智能分析，向用户智能推送其所需的金融服务，通过精准匹配降低用户搜寻成本，扩大金融产品交易规模；根据大量用户信息可以分析出客户的金融需求变化和倾向，满足金融消费者个性定制化金融需求。

大数据与物联网技术融合促进金融行业发展

物联网的发展，可实现世界数字化，实现所有物品的网络化和数字化，金融信息化的发展，也使金融服务与资金流数字化，数字化的金融与数字化的物品有机集成与整合，可以使物联网中物品的物品属性与价值属性有机融合，实现物联网金融服务。

金融服务业正在物联网大数据应用方面努力着。物联网大数据在许多行业应用中已经实践(电信，零售，制造业)，这些行业驱动了物联网的大数据需求并处于垄断地位。对于银行来说物联网大数据能够用在ATM或者移动银行业务中。例如，实时、多渠道的商业行为可以使用物联网大数据对银行零售客户在正确的时间点提供适时的报价。或许我们反过来想想，金融公司可以将自己的服务内嵌植入到用户的某种设备或者其他和客户接触的点上，不在那些交易设施上，而是在家。

生活在大数据时代，大数据与物联网的结合对金融的影响极为深远，将重塑金融行为模式和存在形态。大数据使得物联网金融更加多维度、更加动态、更加丰富。以前，数据是根据企业的财务报表分析整理的，电商数据虽然丰富但也只能是商户的平台交易数据，而与物联网技术结合后能真正深入到实体经济中，让企业的产品质量与数量、物流仓储信息、成本信息、销售信息等汇集成综合信息流。

大数据应用于高频金融交易中

高频交易是利用证券市场极短时间存在的买卖价差或者套利空间进行的大额、快速交易。高频金融交易的主要特点是实时性要求高和数据规模大，沪深两市每天4小时的交易时间内可以产生至少3亿条逐笔成交数据，随着时间的积累这些成交数据的规模将相当可观。区别于传统的日志数据，这些成交数据在金融分析与应用领域有相当高的分析价值，投资机构或其他带有投资性质的企事业单位，可以据此判断市场热点及投资人信心，为高层决策及蓝图规划提供基于数据的科学支持；金融研究机构通过对历史和实时数据进行挖掘，可以创造和改进数量化交易模型，并将之应用在基于计算机模型的实时证券交易过程中。

大数据为更多企业提供跨界做金融的机会

大数据金融通过海量的数据搜集、分析提供了对单个客户的信用信息、消费倾向、理财习惯进行系统性分析的可能，有效地减少了信息的不对称的问题，大幅度提高了金融风险定价的效率，在此基础上为很多企业提供了跨界进入金融领域的机会。未来O2O模式，即线上、线下融合的模式将成为主流。将线下的实体环境与互联网线上平台结合，实现线下体验，线上交易；线下管理、线上创新；线下风险控制、线上服务等多种组合模式。而这些都离不开大数据的支持。

　　大数据这个词已经被炒的满天飞，还有的人说它是泡沫，现在什么东西即使没用大数据技术也要加个大数据概念，要不都觉得落伍了，当然这是迎合宣传的手段，不过搞虚假宣传还是不太好的。那真正使用大数据技术的地方且比较有代表性的产品有那些：

　　·云存储：中国比较好的有百度云，国外比较好的有AWS等。正是因为有这些产品的出现，数据在云端的概念才终于变成现实了，大家都不用踹着U盘到处跑了。

　　·内容推荐：最具代表性的有今日头条，它正是运用了大数据技术来找到你喜欢的内容并且推荐给你。自从这个产品出现以后已经有很多人抛弃以前的新闻阅读方式。它让网易新闻、新浪新闻、腾讯新闻等产品上了不少火。现在大家都开始纷纷的学习它。

　　·物品推荐：电影网站、音乐网站、电商网站这些网站都会把根据你的浏览行为进行分析，根据你的兴趣推荐给你相应的物品，比如爱奇艺、QQ音乐、京东等。

　　·广告计算：应用比较好的有百度、谷歌、淘宝、腾讯，他们要根据广告主的价格和广告的效果计算广告的排序，好在流量中达到最好的变现效果，这时数据的处理速度与数据的量级直接影响了他们的收入。

　　·金融：银行正使用大数据分析用户的消费行为、购买能力以及还款能力，用来降低提供给用户的贷款风险，减少环帐率。

　　·信用：支付宝的芝麻信用加入了更多的维度，比如你的人际关系、学历、车等等元素来评估你的信用值，给信用值高的人提供更好的服务，比如信用度高住酒店就不用交押金。

　　·数据分析：这个具有代表性的产品不多，但确是大数据应用非常主要的场景，一般都是公司内部定制性的，所以一般不公开，但确实各种公司都在用，比如网站的流量分析、相关产品的用户特性分析、微博的语义分析。可以根据这些分析为自己的业务或者产品发展方向提供决策依据。

　　·智慧城市：这个现在比较有代表性的功能就是可以根据人流控制路灯的亮度，可以达到省电的效果。通过车流控制红绿灯的变化，减少道路拥堵。

　　正是有了大数据处理技术的应用才使以上这些方面有了更好的发展，如果没有大数据处理技术的出现那可能就会因为数据太多处理不过来或者根本就无法处理。那自然就会导致一些业务的发展落后或者根本无法进行的。当然未来大数据的应用场景将会越来越多，比如物联网、人工智能等等。前景十分看好。

　　如果以上这些你都不了解那我就再举个更俗的例子，就是”你一撅屁股我就知道你要拉什么屎“。这是因为你对某个人或物接触时间长了，知道了对方足够多的信息，促进了你对事物的认知，从而就能更了解这个事物并预测到它下一步动作。大数据处理技术也就是这么个过程，它的过程可以分为收集，处理，分析识别、预测这四个步骤。其实就是模拟人类对事物认知这个过程并把这个过程程序化、海量化。

　　还觉得大数据是泡沫的您还这么想吗？可别再继续无知下去了。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

大数据观点一经提出，便引起了全球广泛的反响，似乎所有的商业或组织活动都可视为大数据问题。大数据时代的到来，必然对社会经济各个方面产生重大冲击，对与大数据紧密相关的“统计”又会产生什么样的影响呢？统计学是关于数据的科学，即研究如何收集、整理和分析数据的科学。数据是依据，是灵魂，是统计方法生命力的根源所在，大数据时代的统计首先要适应三个重大的思维转变。

01 分析与事物相关的所有数据，而不是依靠分析少量的样本数据

统计往往希望用尽可能少的数据来证实可能重大的发现、假设等，小数据时代一般采用随机采样，用最少的数据获得最多的信息。统计抽样是在技术受限的条件下，解决当时存在的一些问题而产生的;如今的大数据时代，计算和制表不再像过去那样困难，感应器、手机导航、网站点击和微博等能够收集大量数据，而计算机也能够轻易处理。因此，在处理大数据时不再来用随机抽样的方法，而利用所有数据进行分析。

例如:谷歌流感趋势预测并不是依赖于对随机抽样的分析，而是分析了整个美国几十亿条互联网检索记录而得到的结论。分析整个数据库，而不是对一个样本进行分析，能够提高微观层面分析的准确性，甚至能够推测出任何特定尺度的数据特征。

02 乐于接受数据的纷繁复杂，而不再追求精确性

对小数据而言，最基本、最重要的要求是减少误差，保证数据质量。生活于信息时代的我们，掌握的数据越来越全面，不再只包括手头现象的一点点可怜数据，而是包括了与之相关的大量级数据甚至全部数据。

人们不再那么担心某个数据点对整套分析的不利影响，要做的是接受纷繁的数据并从中受益。大数据要求人们能够接受混乱和允许不精确性，例如一个小商店晚上打烊的时候要把收银台里的每分钱都数清楚，但如果用“分”这个单位来精确计算国内生产总值显然不适用。大数据时代，随着数据规模的扩大，人们对数据精确度的痴迷将逐步减弱。

03 不再探求难以捉摸的因果关系，转而关注事物的相关关系

在小数据时代，人们往往乐此不疲地想知道现象背后的原因。大数据时代，由于坐拥海量数据和良好的机器计算能力，相关关系分析为人们提供了一系列新的视野和有用的预测，能够找出新种类数据间的相互联系来解决日常需要。

例如:如果电子医疗记录显示橙汁和阿司匹林的特定组合可以治疗癌症，那么找出具体的致病原因就没有通过相关关系而获得的这种治疗方法来得重要;亚马逊根据用户在其网站上的类似查询来进行产品推荐，也是大数据相关关系的典型应用。通过探求“是什么”而不是“为什么”，能够帮助人们更好地了解这个世界。

End.

点击上方

蓝色文字

关注公众号

快节奏的今天，越来越多企业客户需要的是能够为他带来直接价值的东西，往往忽略报告给企业带来的实际价值。然而事实上一份有效的大数据分析报告能够对企业产生很大的价值。

大数据分析报告不仅能够对某个具体领域的宏观经济趋势进行判断和预测；还可以把我们的触角深入到某一个社区、某一类人群、某一个具体的产品，来了解他们的真实情况；同时，我们还能够借助大数据分析的结果来制定精细化的线上广告投放策略或是做针对性的地面推广活动；而最终，我们把大数据分析的成果以大数据工具的形式固化，才能让我们的大数据效力持续。

也就是说，真正有价值的大数据分析报告能够在中宏观规划、微观/细分市场分析、方案执行和策略部署等方方面面为企业带来价值。

一、大数据报告怎么做出来的？认识大数据分析流程！

首先，我们要理解大数据分析的基本流程，一个完整的大数据分析流程包含了商业问题理解、数据理解、数据准备、数据分析、产出分析报告、提出解决方案6个环节，并且是一个闭环、不断优化的过程。对于企业，可能不需要掌握高难度的分析处理能力，但是掌握数据分析思路、数据思维和意识都是非常重要的。

二、大数据报告究竟研究了什么东西？解密大数据分析思路！

大数据报告根据功能来分，可分为4个常见类型：

1. 市场/行业分析：对某一个行业、细分领域的市场现状的分析、发展趋势预测；

2. 用户画像：了解用户的人群特征、某个产品的不同群体的用户行为差异；

3. 竞品监测：对同类产品的用户使用情况、市场情况、功能性能进行对比研究；

4. 经营分析/业务问题专题：企业经营中重大战略决策的分析或针对某具体业务问题进行专题分析，如营销效果评估等。

大数据是新生事物，所以很多人对大数据分析报告缺乏概念，所以我来对4种典型分析报告的分析思路进行一次解密，看看每一类的数据分析报告到底需要包括哪些因素（指标仅为列举，无法全面涵盖）：

市场/行业分析

用户画像

竞品监控

营销效果评估

三、数据来自哪里？不同数据渠道和来源的优劣势对比

数据来源分为内部和外部，内部数据是企业有意识进行埋点、收集、整合与储存所获得的数据资产。一般来说，我们还会通过一些外部渠道获取数据：

1. 网页爬虫数据：通过程序在网页上把相关的信息采集下来；

2. SDK数据：游戏等应用中SDK自动打包回传的数据，像友盟、talkingdata，主要是基于SDK数据进行整合和处理分析；

3. 运营商数据：三大运营商运营、业务和管理三大领域大量的客户属性和上网行为数据，祥运大数据平台的核心数据来源之一；

4. 咨询公司加工数据：咨询公司大量的调研活动所产生的统计级数据；

5. 定制数据：向数据拥有者/采集者提需求，根据你具体的条件再进行数据的采集工作；

一份报告的价值很大程度收数据源质量影响，因此我们需要注意是数据是否靠谱。检查数据是否靠谱最简单的方式是借助你熟悉的数据进行对比，验证数据口径和数据范围。其次，就是对数据采集的对象、过程和处理方法进行评估，看数据是否具有时效性、代表性。

四、大数据报告能够怎么用？场景应用列举

祥运网未来也会陆续不断地给大家分享关于大数据的干货和有趣的、典型的案例。

根据英国期刊发表的研究结果，中国研究人员分析了18,960名大学生在校三年的大数据，发现学习成绩较好的大学生更有可能在自助餐厅吃早餐，特别是在寒冷的日子里。

他们在“皇家学会界面”杂志上写道，大学生的学习成绩与校园日常生活规律之间存在显着的正相关关系，其中按时吃饭和洗澡是两个衡量因素。

与西方国家相比，大多数亚洲国家的教师和行政人员经常要求学生在课堂内外都要自律。 “保持良好的生活习惯有助于学生获得更好的学习成绩”其中一位研究人员周涛说。

来自中国西南四川省成都的电子科技大学(UESTC)的研究人员在2012年至2015年的三年内收集了大约3000万个电子科技大学的数字行为记录，其中包括18,960名电子科技大学本科生。

这些行为记录在他们的校园智能卡上，包括他们进入图书馆，洗澡，洗衣服，在自助餐厅吃饭以及日常生活中的其他组成部分。

在大多数中国大学，每个学生都拥有一张带有实名注册的校园智能卡，可用于识别学生，并作为校园的支付媒介。

“我们采用着名的Spearman等级相关系数来量化相关强度。系数在负一到正的范围内，绝对值越大，相关性越高，”曹毅说，他也是参加了这项研究。

“学生的成绩和定期用餐的相关系数为0.128，定期洗澡的相关系数为0.157，”曹毅说。两者都表明学业表现与校园日常生活规律之间存在强烈的正相关关系。

“即使在寒冷的早晨，表现较好的学生也很容易克服困难并坚持日常生活，而成绩差的学生往躲在被窝里。学生越能够克服天气条件的影响，自律性越好，成绩越好。该研究的另一位研究员高健说。

“我们的目标并不是要求所有学生按照同一时间表生活，而是要帮助学校管理人员发现不良的，不正常的行为并及时给予他们适当的干预。例如，沉迷于网络游戏的学生往往不规律生活方式和那些一直独自生活的人容易患上抑郁症，“周补充道。

从先进的BI工具到机器学习，人工智能，现代企业拥有着各式各样整理分析数据的方法和途径。数据科学家和企业领导人都关注着这些新技术的巨大潜力，然而，当我们将焦点放在分析工具身上时，我们也可能忽略了数据本身的重要性。毕竟如果没有正确的数据，视觉化和预测分析也没有任何用处。

每一个企业需要将他们的基础数据进行分析和甄别，在此基础上，对数据进行不同层次和结构的分类。原因如下:

数据深度融入在商业的各个环节

现代企业逐渐意识到，纷繁复杂的数据固然重要，而这些数据是否真的被企业职工运用，并对其工作产生了相关性的影响，才是企业领导所看重的。不同的层级岗位和职位角色都需要做出正确的决策，而良好的决策必须是基于用户数据所提出的。因此，不仅仅是数据科学团队，从产品部门到客户服务部门，再到销售等各个部门都应该获得这些数据资源和信息。

在现代企业中，对数据的处理还仅仅是在每个月的全体会议上查看各项指标还远远不够。组织必须要将数据驱动纳入到决策制定中。以现代营销团队为例。营销人员有大量的丰富的数据可供他们自由支配，尤其是在智能手机，平板电脑，社交媒体平台爆炸式普及的今天，这样，一个品牌可以远距离地与观众互动，并了解顾客的相关信息。如果所有的这些数据被收集到一个中心位置，进行数据分析，那么对客户的长期行为分析并进行消费预判则成为了可能。同样地，根据这样的方法，其他部门，如销售、产品和客户服务部门也能获得前所未有的数据量。

零碎数据共同形成宏观趋势判断

如今，数据在各个行业和企业扮演着越来越重要的角色，企业应该将数据视为机会。每个数据集——CRM、CMS、ERP、营销软件，都包含大量信息和基础数据。现在或许看起来很微小，可是对数据深入的挖掘和分析将会给企业带来巨大的财富。而在现实生活当中，由于不可能预先知道哪些数据很重要，所以企业需要收集尽可能多的数据，这样即使市场环境发生大的改变，企业也能够做出合理的预判和尽可能贴近市场的决策。

基础数据和数据分析同样重要

数据质量是重中之重，倾斜的数据会导致错误的结果。如果你的判断来源于不完整的数据基础，你的决策便会产生一定的偏差甚至产生错误，而这最终将会侵蚀在数据驱动文化背景下人们对数据分析的信心。因此，简洁、完整和正确的数据是有效决策产生的必要前提。

2016年美国总统大选的预测分析，很好地证明了数据质量的重要性。在当时的预测中，大多数数据是基于州级和国家级的电话投票进行的。但是电话调查中很容易出现无人接听的现象，而各州无人接听的占比率也存在着很大的区别，这会很大程度上影响选举团的预测（选举团制度是美国特有的一种选举方式， 选民在大选日投票时，不仅要在总统候选人当中选择，而且要选出代表50个州和华盛顿特区的538名选举人，以组成选举团。当选的选举人必须宣誓在选举团投票时把票投给在该州获胜的候选人。美国总统由选举团选举产生，并非由选民直接选举产生，获得半数以上选举人票者当选总统），结果就是，倾斜的数据产生错误的预测。

如今，机器学习已经受到了大量的炒作。而机器依据大数据分析出来的预判，是否真的能符合事实情况，很大程度上决定于是否拥有坚实的数据基础：一个将数据驱动纳入到组织文化的企业，采集到的简介、完整和正确的数据。”数据驱动”一词已存在多年，但在今天快节奏和迅猛发展的数字经济中，它将成为当代企业的文化使命。

21世纪是世界经济发展的时代，是科学力量加强的时代。在这个科技飞速发展的时代里，几乎每天都会有全新的概念提出。自从2016年底马云提出了新零售这个理念以后，国内的各行各业、特别是电商与实体店主们都绞尽脑汁想将其给研究透彻了，各大网站和媒体也纷纷发布了不同人士对新零售的分析。如何做到新零售的转变，在一段时间便成为了经营者和运营公司们最关心的事情。

当你仔细研究过新零售的概念和特征后不难发现，它其实是对以往零售中不足或鸡肋进行整改并升级的一种“加强版”。对于消费者：提高体验感；对于经营者：提升用户流量、精准营销……这都是关注新零售时最在意的几点要素。

国际商业机器公司（IBM）提出大数据拥有：大量、高速、多样、低价值密度、真实性的特点。而在2012年出版的《大数据时代》中也提出：大数据是指不利用抽样调查这种捷径，而选择使用所有数据分析处理。

大数据的重要意义不在于掌握了多少数量庞大的信息，而在于对这些信息数据的处理。从它的这种特点来分析便不难得知它在新零售中起到了什么关键性的作用。

进行营销的过程中需要调动大数据库内的用户信息，并进行技术分析，得出他们现在需要什么，甚至还可以得出日后可能需要什么样的消费。比如：一个用户购买了大量的婴儿衣物，便可由数据得出他家有新生儿，并且分析接下来还很有可能需要婴儿的奶粉，便可以通过这些数据分析给他推荐相关商品。若要通俗点来说的话便是和“猜你喜欢”非常相似了。

想要真正做到新零售，大数据是不可或缺的一项技术支持。但很多平台不是无法保证数据的数量或精准性就是对这些数据的独享，这导致经营者们无法从根本上解决对大数据的需求，而且在进行针对性宣传的时候无法达到理想的效果。

但团卖物联却将大数据沉淀在商圈，让商圈能够自主调动信息库中所需的信息，让这些信息能够真正的功能最大化。这都是为了让合作店家能够享受在大数据支持下的新零售带来的好处。

本文作者：郭朝晖@蝈蝈创新随笔

本文是我关于大数据分析方法的几点思考。当初的目的是系统化地看待数据分析。为了这点东西，我花了一个礼拜的时间，思考的结果却是碎片化的。看来，想清楚并不容易。由于时间关系，只能中止。文字描述很不严格、肯定经不起推敲，读者找不毛病是正常的、看不明白更是正常的。不感兴趣的可以当做胡扯。我希望将来有时间时能把问题思考下去。

从数据中发现信息和知识，是人们多年来的梦想。随着大数据理论的兴起，这个话题变得非常热门。在有些人看来，大数据非常神秘，似乎无所不能。当然，现实不会是这样。我想，研究大数据，首先要破除迷信：大数据需要什么条件、什么问题是大数据无法做到的。

1、知识和信息，只能从关联关系中得到

对象（包括过程，如生产过程、购物过程）及其属性、同一对象的属性之间具备关联关系。例如，“张三身高1.8米”就是对象（张三）与属性（身高）的关联；再如，如果我们知道张三体重75公斤，则“1.8米”和“75公斤”之间就因“张三”建立了关联。

关联的对象可能并不确定：我们看到一张履历表，即便隐去名字、不知道这个人是谁，也知道其中的各种信息是与某人关联的。

在数字化的世界里，不和其他的符号（数字）关联的符号（数字）是不包含任何信息的。从不包含信息的素材，得不到包含信息的结论。

有人可能反对这个观点：谷歌曾经用“感冒”的搜索量预报流感啊，这里哪有关联呢？其实，只有搜索“感冒”的数量是根本无法预测流感的。谷歌的做法，是把“感冒”的搜索与搜索的地点、时间联系起来。

这个观点告诉我们：收集数据的时候，要尽可能地把关联关系建立起来；没有关联关系，数据很容易成为垃圾。这种情况并不少见：有些实验室，把针对同一试样的各项实验结果分别保存起来，而没有建立统一的ID、关联关系丢失。这样的数据，再多也没有用处。

2、人们要挖掘的知识和信息，就是找映射关系

知识（或信息）的发现与挖掘，其本质是寻找映射关系：通过已知的、对象的一部分属性，把对象的另外一部分属性或对象本身找出来（或缩小范围）。产生这类问题的原因是：只有一部分属性已知、容易得到、容易识别、容易表述，而另外一部分未知、不容易得到、不容易识别、不容易描述。

例如，我们可以说：张三就是那个穿红衣服的——这里“穿红衣服”比其他特征容易识别。从衣服识别出张三，就是从张三的衣着特征（属性）找到关联对象（张三）的信息；从一个人的身高预估他的体重，就是从一个根据一类属性估计另外一类属性。

我习惯于把信息挖掘和知识发现分开。

在本文中，信息挖掘指的是预测某个特定对象的属性，如上海市的人口是多少；知识发现是确定一类对象的属性之间的关系，如一类人群中身高和体重的关系。当然，这种区分不是绝对的。

3、映射关系的差别

正确的识别，最好的办法是找到好的素材（数据）。素材与结果之间的关联强度是不一样的：有的比较强，是因果关系、必然联系；有的比较弱，是相关关系、偶然联系。

例如，我们可以根据DNA、相貌、衣服来识别一个人。但三者相比，DNA的联系是强的必然性联系、衣服是弱的偶然性联系，相貌是介于两者之间的联系。大数据的一个著名案例，是网站根据客户买的药判断她已怀孕、并推送有关产品：因为这种药只有孕妇才吃，是很强的关联。

从数据得到的知识和信息，往往不是绝对正确。一般来说，可靠的结论基于可靠的数据和可靠的分析方法。数据量大了以后，滤除干扰的可能性增大，从而可以从原来可靠度低的数据中，得到可靠性相对较高的数据。

所以，尽量找到好的素材，是做好分析的第一步。

在很多情况下，我们找不到好的素材。这时，首先要做的尽量提高数据质量。数据质量不仅是精度问题，还包括数据来源的可靠性：为此，需要把数据来源的相关过程要搞清楚，否则很可能会误导人的分析。

4、相关与因果

有些相关性的背后，一般会有因果关系存在。两个要素由因果产生关联的机制大概可以分成两类：1、两个要素具有因果的关系：比如刚做父亲的青年人常会买尿布；2、共同原因导致的两个结果之间的关系：比如孩子的父亲会常买啤酒，也常买尿布；于是，啤酒和尿布就可能关联起来。

有些相关性，看似没有因果，但背后往往有某些特殊的规律或因素其作用（上述第二种情况）。比如，女孩子往往喜欢花衣服，与基因和文化的共性有关。但这种因果关系可能相隔太远，以至于难以考证了。

当人们需要根据关系作出决策时，需要研究因果的逻辑关系：到底是谁影响了谁。否则，根据分析结构的盲目行为可能适得其反。 “到底谁影响了谁”为什么会成为问题？大概有两类原因：

第一类原因是：忽视了时间因素。如“统计结果表明，练太极拳的身体差”。现实却是：很多人身体变差（包括衰老）以后，才练太极拳。一般来说，具有因果关系的两个要素之间，时间上有前后关系：原因早前，结果在后。

第二类原因是：忽视了前导因素。“公鸡一叫，天就亮了”。现实却是，天量之前的迹象被公鸡察觉到了。两者是第二种因果关系，只是看似“原因在后、结果在前”了。

一般来说，工业大数据分析更重视因果，而商务大数据分析对因果性的要求较弱。

5、数据分析的先导因素

从某种意义上说，数据分析的过程，就是寻找强的相关关系（必然性、因果性），或对弱的相关关系进行综合、得到强的相关关系。

用数据发现信息，需要用到各种知识。例如，把“云南白药是用于治疗外伤的”放入计算机，当某人购买白药的行为判断他或家人可能受伤，从而可以推荐相关产品。但注意到：这种类型的知识很可能是被人事先装入计算机的，而不是靠计算机自动学习得到的。

所有的学习过程，本质上都是基于这样一种假设：A和B的一部分属性类似，则推测另一部分属性也应该类似。例如，A和B的身高相似，则体重也可能相似。现实中，两个属性确实具有强烈的相关性，但身高相同而体重不同的也大有人在。这时，如果我们还知道他的体型，是瘦弱、偏瘦、正常、偏胖、肥胖型，对体重的估计就可以准确一些。由此可见，用数据发现知识的过程，本质上就是提高相关性、可靠性的过程。

一般来说，人们在做数据分析之前，一定会有一定的知识积淀， 但认识不清却是一种常态；人们希望通过对数据的分析，来改变这种常态。而改变认识的过程依赖于数据的质量和分析数据的方法。所以，刨除分析方法外，分析过程依赖于两个先导性因素：1、数据质量（包含多方面的含义）如何；人们已有的认识如何。

注意，这段说法有个潜台词：强调了人类可认识的知识，而不是机器用复杂函数关系表述的、人类难以用逻辑关系认知的知识（如神经元）。的确如此，笔者一直认为：这类方法的作用被学术界有意识地夸大了。

6、数据分析的过程

与商业大数据相比，工业大数据更重视可靠性和精确性。在很多情况下，猜出一个结论并不难，难的是论证一个结论。一般来说，凡是可靠的知识，都应该能够被机理和数据双重认证。

大数据分析的一个重要特征是：传统概率理论的假设往往不成立。例如：大数定理的条件往往不成立、模型的结构往往未知、因果关系不是天然清晰、自变量的误差往往不能忽略、数据分布往往是没有规律的。所以，为了得到可靠的结果，人们工作的重点很可能是验证这些条件、构造这些条件。从某种意义上说，数据分析的过程，主要是排除干扰的过程、特别是排除系统干扰的过程。而且，如果完全依照逻辑、用纯粹数学的办法加以论证，则数据需求量会遭遇“组合爆炸”，永远是不够的。这时，已有的领域知识就是降低数据需求量的一种手段。要记住：求得可靠性是一个过程而不是结果、可能永远没有终点；分析的过程只是不断增加证据而已。这个过程，是修正人的认识的过程；所以，错误或不恰当的认识常常是分析过程中最大的干扰——这个干扰一旦去除，我们可能就发现了真正的知识。

数据量大的直接好处，是排除随机性干扰。但排除系统性干扰却不那么容易，数据量大是必要条件但不充分，需要深入的方法研究才能解决问题。

系统性的干扰往往体现在：对主体进行分组，所体现的规律是不同的。比如，身高和体重的统计关系，男女是不同的、不同民族是有差异的、可能与年龄有关。如果不进行分类研究，统计的结果就会与样本的选取有很大关系。但分类研究也会遇到一个困难：遭遇组合爆炸，数据再多都不够用。这时，“领域知识”就会发生作用：

认定一个结论成立的办法，是确认它的“可重复性”。在许多情况下，“可重复性”指的是在各种分组下都成立的结论：最好能在不同时间分组中也能成立。分组越多、分组的维度越多、结论的可靠性越高。

但具有“可重复性”的结论，往往只在一定的范围内成立。在很多情况下，“明确结论成立的范围”也是数据分析的重要内容。

如何分组、如何确定范围、如何构筑逻辑链条、数据结果的解读、数据结果与领域知识的融合，都是重要的能力。事实上，根据领域知识，常常用于构造证据链、进行有效的数据选取和分组。

在精密论证时，我们就会发现：基础数据的质量很重要。因为许多干扰就来源于数据本身。从某种意义上说，数据的采集方法和环境不同，就是不同的数据。

在构建数据分析体系的过程中，也会发现，企业经营的数据分析也确实需要一个可展示的平台，实时展示业务，有问题就优化更新。

FineReport 数据决策系统

7、关于预测数字

许多问题分析的目的得到一个数字：如钢的强度、用电量、人口数量、钢产量。这类问题的特点之一是：最终的结果是各种影响因素相加得到的。

对于这种问题，我的观点是：要想得到可靠的结果，一定要拆成若干子问题来分析。其中，各个子问题要尽可能利用规律性的结果来分析。我认为：把人的认识和数据用到极致的时候，才能得到最好的结果。随便地建立回归模型是不懂数据的表现。

现在数据已经成为了一些企业的“天”。近年来，近年来越来越多的公司已经意识到数据分析可以带来的价值，并且已经跳上了大数据旅行车。实际上，现在所有的一切都在被监控和测量，创造了大量的数据流，通常比公司可以处理的速度更快。问题是，根据定义，大数据很大，因此数据收集中的小差异或错误可能导致重大问题，错误信息和不准确的推论。

对于大数据而言，以业务为中心的方式分析它的挑战是实现这一目标的唯一方法，即确保公司制定数据管理策略。

但是，有一些技术可以优化您的大数据分析，并最大限度地减少可能渗入这些大型数据集的“噪音”。以下是几个技术技巧做参考：

优化数据收集

数据收集是事件链中的第一步，最终导致业务决策。确保收集的数据与业务感兴趣的指标的相关性非常重要。

定义对公司有影响的数据类型以及分析如何为底线增加价值。从本质上讲，考虑客户行为以及这对您的业务有何针对性，然后使用这些数据进行分析。

存储和管理数据是数据分析中的重要一步。必须保持数据质量和分析效率。

把垃圾带出去

肮脏的数据是大数据分析的祸害。这包括不准确，冗余或不完整的客户信息，可能会对算法造成严重破坏并导致分析结果不佳。基于脏数据做出决策是一个有问题的场景。

清理数据至关重要，涉及丢弃无关数据并仅保留高质量，最新，完整和相关的数据。人工干预不是理想的范例，是不可持续和主观的，因此数据库本身需要清理。这种类型的数据以各种方式渗透到系统，包括时间相关的转移，例如更改客户信息或数据孤岛中的存储，这可能会破坏数据集。脏数据可能会影响营销和潜在客户生成等明显的行业，但财务和客户关系也会因基于错误信息的业务决策而受到不利影响。后果很普遍，包括盗用资源，重点和时间。

这个脏数据难题的答案是确保进入系统的数据干净的控制措施。具体而言，重复免费，完整和准确的信息。有些应用程序和公司专门研究反调试技术和清理数据，这些途径应该针对任何对大数据分析感兴趣的公司进行调查。数据卫生是营销人员的首要任务，因为不良数据质量的连锁效应可能会大大降低企业的成本。

为了在数据方面获得最大收益，必须花时间确保质量足以为决策和营销策略提供准确的业务视图。

标准化数据集

在大多数业务情况下，数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果，这可能会大大扭曲统计推断。为了避免这种可能性，必须确定数据的标准化框架或格式并严格遵守它。

数据集成

如今，大多数企业都包含不同的自治部门，因此许多企业都拥有孤立的数据存储库或“孤岛”。这很具挑战性，因为来自一个部门的客户信息的变化不会转移到另一个部门，因此他们将根据不准确的源数据做出决策。

为了解决这个问题，中央数据管理平台是必要的，集成了所有部门，从而确保了数据分析的准确性，因为任何变更都可以立即被所有部门访问。

数据隔离

即使数据干净，有组织和集成在那里，也可能是分析问题。在这种情况下，将数据分组成小组很有帮助，同时牢记分析正在努力实现的目标。这样，可以分析子组内的趋势，这可能更有意义并且具有更大的价值。在查看可能与整个数据集无关的高度特定的趋势和行为时尤其如此。

数据质量对于大数据分析至关重要。许多公司试图用分析软件直奔潜水，而不考虑进入系统的内容。导致不准确的推断和解释，这可能是昂贵的并且对公司造成损害。一个定义明确，管理良好的数据库管理平台是企业利用大数据分析不可或缺的工具