大数据分析之描述型分析：发生了什么——这是最常见的分析方法。在业务中，这种方法向大数据分析师提供了重要指标和业务的衡量方法。例如每月的营收和损失账单。大数据分析师可以通过这些账单，获取大量的客户大数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

大数据分析之诊断型分析：为什么会发生——描述性大数据分析的下一步就是诊断型大数据分析。通过评估描述型大数据，诊断分析工具能够让大数据分析师深入地分析大数据，钻取到大数据的核心。良好设计的数据分析能够整合：按照时间序列进行大数据读入、特征过滤和钻取大数据等功能，以便更好的分析大数据。

大数据分析之预测型分析：可能发生什么——预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。预测模型通常会使用各种可变大数据来实现预测。大数据成员的多样化与预测结果密切相关。在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

大数据分析之指令型分析：需要做什么——大数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。例如交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

投资：

投资是市场经济的重要组成部分，也是配置资源的重要手段和过程。项目投资的形成与决策，要以大量的数据为核心进行分析。数据分析的质量如何，对于项目的成败至关重要。很明显，对大量的数据进行分析，仅靠人脑是很难实现的。计算机技术的迅猛发展是为解决这一问题提供了更多的途径，我们可以把先进的投资理论、分析模型与计算机技术相结合，使复杂的数据处理和数据分析过程变得简单易行，从而使计算机技术成为项目投资决策过程中强有力的支持工具，并使的投资决策更具科学依据；

投资数据分析的研究领域可以小到一个计划、一个想法的简单数据分析，也可以大到对一个大型投资项目、一个跨国公司价值复杂的评价与管理设计。

那什么是量化投资数据分析：

理解数据分析与企业经营的关系、了解企业经营决策的内容、掌握经营决策的方法；通过数据分析为企业的经营管理决策提供决策依据，让企业的管理决策更理性、更科学、更合理；通过数据分析，更有效地利用有限或更多资源，实现高额投资经营回报。市场营销和生产、采购、预算及运营评估中，数据分析主导方向性的参考；包括但不限于生产战略性、产品、产品价格、产品销售、采购、全面预算等决策，决策企业经营；

首先，与传统的投资相比，量化投资数据分析借助于计算机完成大量的数据整理与计算工作，不仅科学方法建立数学模型、进行相关模拟运算、保证了数据采集的科学性，并解决了以往手工计算带来的种种不便，大大节省了时间，提高了工作效率；

其次，与传统的投资分析相比，量化投资数据分析侧重于对数据来源的真实性、数据采集科学性的研究和分析，并且贯穿于投资管理的各个环节。我们知道，现代企业管理理念认为：投资的核心在于管理，管理的核心在于决策，决策的核心在于数据。数据采集是进行投资分析的前提和基础，数据采集的准确性直接关系到投资分析是否具有科学，是否具有价值。在量化投资数据分析理论中，所有相关的数据均依照项目历史数据及信息可获得性大小，从定性与定量分析人寿，通过数据采集和整理、模具建立、数据预测及估算等科学步骤来展开分析；

第三．与传统投资分析相比，量化数据分析投资涉及的投资数据分析范围不仅包括对于传统投资项目的数据分析、对于不确定性条件下投资项目的数据分析，还包括了对公司价值管理的数据分析和模型运用，其他=范围远远超出了项目本身所涉及的相关数据分析内容，并将贴现现金流法拓展至拟建项目与已建项目的投资管理与价值创造，具有较强的理论性与实务可操作性；

第四，与其他学科相比，量化投资数据分析要求专业数据分析人员（数据分析师）能够具备综合素质与能力，并能够把握包括统计学、数量经济学、财务管理、金融、法律等学科相关内容，是一门适用性较强的边缘学科。

给大家整理一下本年度一些优质的文章，根据大数据相关的知识点一个个整理的，整理的内容包括知识点普及、学习书籍、学习路线图、学习笔记、学习资料、学习视频等等。

AI时代就业指南

未来已来：AI时代就业指南

AI时代就业指南：计算机、统计完全零基础，到底能不能学数据分析？

AI时代就业指南：数据科学人才成长之路

AI时代就业指南：Java 程序员如何转行做大数据？

AI时代就业指南：企业在招什么样的大数据工程师？

AI时代就业指南：女生适合做数据分析吗？

AI时代就业指南：数据挖掘工程师成长之路

AI时代就业指南：数学专业，你看不见的前尘似锦

AI时代就业指南：数据挖掘入门与指南

AI时代就业指南：普通程序员如何转向AI方向

AI时代就业指南：作为大数据从业人员，如何写好一份可堪入目的简历？

大数据

【入门】大数据行业如何入门-书籍、工具、案例（问题集锦）

【工具】2017 年你应该学习的编程语言、框架和工具

【资料】史上最全的“大数据”学习资源（上）

【资料】史上最全的“大数据”学习资源（下）

【路线图】大数据工程师学习路线图

【路线图】2017年最全的数据科学学习计划

【就业】2016年数据科学薪酬大盘点

【学习群】数据挖掘-机器学习

数据分析

【入门】数据分析那些事（数据分析师入门必看）

【职业】数据分析与数据挖掘类的职位必备技能

【职业】与大数据相关的工作职位有哪些？

【路线图】数据分析师学习路线图

【路线图】数据科学学习路线图

【书单】数据分析师的必读书单

【学习群】人人都是数据咖

统计学

【书单】统计学入门经典书单

【视频】大数据统计学基础

【学习群】大数据-统计分析

SQL

【文章】实用SQL语句大全

【笔记】SQL学习点滴合集

【视频】13次课了解sql2008的故事

Python

【教程】python快速教程

【文章】python爬虫实战

【文章】Python-pandas技巧系(量化小讲堂)

【路线图】python学习路线图

【路线图】Python大数据学习之路

【资料】python机器学习入门资料梳理

【视频】Python入门：数据分析与数据挖掘

【课程】Python进阶：数据挖掘实战

【学习群】Python数据挖掘-初级

【学习群】Python数据挖掘-高级

R

【文章】R语言知识体系

【文章】怎样学习R（上、下)

【文章】ggplot2绘图入门系列

【文章】R利剑NoSQL系列文章

【文章】R语言常用数据挖掘包

【路线图】R语言学习路线图

【视频】R学习免费学习视频

【课程】R语言入门

【课程】R语言实战

【课程】机器学习与R语言实践

【课程】R语言量化交易

【工具】全球最火的R工具包一网打尽，超过300+工具，还在等什么?

【学习群】R语言数据挖掘-初级

【学习群】R语言数据挖掘-中高级

Hadoop

【文章】Hadoop学习路线图

【文章】RHadoop实践系列文章

【教程】Spark入门实战系列教程

【课程】大数据实战工具Spark

【学习群】大数据-hadoop-spark

数据挖掘/机器学习

【入门】机器学习和数据挖掘推荐书单

【路线图】R语言学习路线图及R数据挖掘包

【路线图】Python数据分析和数据挖掘学习路线图

【路线图】机器学习路线图

【资料】近200篇机器学习&深度学习资料

【学习群】大数据-机器学习

因文本问题无法嵌入链接，请复制http://ppvke/Blog/archives/27665 至浏览器查看原文

大数据时代，数据资产已成为一个企业的核心竞争力。根据国际知名咨询公司麦肯锡的报告显示：在大数据应用综合价值潜力方面，信息技术、金融保险、政府及批发贸易四大行业潜力最高。

在金融领域，越来越趋向于数据以及云计算的比拼，大数据不再是简简单单的数字。对于服务中小微企业和人群的互联网金融行业来说，大数据更加不可或缺。传统金融的征信手法已完全不能满足互联网金融业务的风控需求，未来缺乏有效大数据以及不能使用大数据的金融是没有生命力的。

在“大数据即资产”这样的业内共识面前，各大银行和互联网金融巨头纷纷抢占用户数据市场。利用大数据，便捷用户使用，深度挖掘数据信息，分析用户需求，金融场景化开启，更好的实现金融销售与服务。

网贷行业现已利用大数据进行线上风控审核，而作为一家具有强大技术基因的互金企业——洋钱罐，在成立之初，便意识到大数据的作用，开始搭建整体框架，在大数据的获取、存储、处理和挖掘服务方面打牢基石，利用大数据风控系统来优化效率和成本。

“网贷平台线上的授信和放款最大的风险点来自集团性欺诈”。洋钱罐CTO耿博介绍，大数据风控可有效帮助网贷平台进行反欺诈。以往只能从身份证和姓名中了解借贷人的信息，而现在可以依靠大数据将采集到的互联网信息进行分析、理解和关联，并在覆盖到已有征信用户的同时也覆盖到无征信人群，且可以通过大数据进行甄别。

洋钱罐利用大数据分析借款人的获客渠道、借款时间、借款原因、甚至借款人职业，从不同侧面不同角度积累下来的信息对借款人进行画像，得出一个风险的概率，综合起来就成为最终对用户进行授信额度或者是放贷与否决策的最重要因素。而人物画像越精准，越有效降低借贷风险，不仅提高了资产的安全性，节约了人工成本，也缩短了审核时间，提高了金融服务效率。

耿博表示，风险虽不能改变，但是可以量化，大数据风控已成为网贷行业的趋势。目前洋钱罐通过其搭建的大数据智能风控决策平台做到了全线上实时审核，已处于行业领先水平。

同时洋钱罐也在积极响应国家政策，致力于普惠金融发展，坚持小额分散原则，而这其中，离不开大数据风控的支持。

金融业本身就是一个数字驱动的行业，互联网金融企业在技术与数据层面竞争将会越来越激烈，通过对大数据的挖掘和应用，将普惠金融灌注于发展之中，以实现金融业的大踏步前进，已成为行业共识。

做过面向消费者产品解决方案的同学都知道，每个项目开始前，客户都会提一些要求或者对现在营销状况的顾虑，比如我们想了解一下我们潜在消费者是谁；怎么发优惠券效果最好；或者，我们应该推出什么样子的新产品，能够赢得消费者口碑和青睐。在量化决策分析法中，这一系列的前期需求，我们把他称作为：客户需求或未来期望。

接下来，你需要了解该问题的现状，比如现有产品或服务的消费者是怎么样的，以前发的优惠券效果怎么样，现在市场的销量趋势如何等等。

当了解了客户需求和现在的现状后，我们需要慢慢抽丝剥茧，找出解决方案，填补这个空档。

一般来说，没有任何方法论或者经验的咨询员或者分析师听到客户的这些期望后，他们会开始不知所措，无从下手。他们完全不知道该从哪个角度切入，收集哪些数据，做哪些假设，用什么方法分析。

其实像这类问题是有方法论的，我们可以用四步循序渐进的方法来搭建现状与未来的桥梁。

第一步：描述性分析－What

发现问题。我们可以用看病的场景来类比下，病人去看病，说最近不舒服。于是医生让病人进一步描述一下怎么不舒服。这里也是一样，拿优惠促销的案例来说，我们会先了解客户以往有没有做过类似的促销案例，什么时候做的，效果怎么样。经由这些的问题产生一系列的KPI。

KPI产生的方法有以下几种：

1）我们提问，客户解答

2）从客户公司数据库获得信息（SQL）

3）从外部数据获得信息（第三方数据加强）

4）竞争伙伴信息

5）政策信息

6）语义分析

7）其他

获得KPI的工具：

1）问答（座谈，电话，Email，短信，问卷）

2）数据库（SQL）

3）Excel

4）R，Python等软件

5）网站搜索资料

6）自然语言学习

7）其他

分析这些KPI变量：

这些KPI可以是绝对数，百分数，也可以是指数。可以是过去不同时期的对比数据，也可以是不同分组（如：人群分组，模式分组）的对比数据，或者和竞争对手的对比数据等。 通常 KPI分析的方法有：

1）单变量分析（univariate）

2）双变量分析（bivariate）

3）多变量分析（multivariate）

4）假设验证（hypothesis）

5）简单建模（clustering分组）

经过对这些KPI的分析，可以帮助我们形成：

1）已有消费者人物画像

2）潜在消费者人物画像

3）忠诚客户画像

4）消费者价值分组

5）其他

第二步：诊断性分析（why）

回答问题。我们同样用医生看病的例子来类比一下，当医生问完病人问题，通过问诊，X光等等，医生开始利用自己掌握的知识来对病人的病情做出诊断。

放到分析法中，这一步通常我们需要：

1）了解因果关系

2）了解各因素间敏感性如何

我们需要了解是由哪个原因，或者哪些原因造成了现在的市场现状。比如在前一个阶段，我们得到了50个非常有用的KPI，通过因果关系分析，我们确定了，其中有10个KPI起着重要的作用。结下来，我们会问，这10个因素中，每个因素单独的贡献是多少，有些可能非常高，有些可能相对较低。那这个问题，我们可以通过建模来得到每个因素的贡献大小，同时模型还能起到剔除高相关变量的作用。还有一种用到模型的原因是，当因素达到上百，上千个的时候，很难用传统方法在如此多的因素中，甄别出最有用的事那些，这种情况下，也需要用到模型来帮助选变量，最后一个原因是我们可以甄别这个因素是正向促进因素，还是反向促进因素。

通过建模的结果，我们可以得到以下以下关于消费者的模型：

1）忠诚度模型

2）满意度模型

3）价格敏感度模型

4）归因模型

5）客户流失模型

产生这些模型背后的算法有：

1）线性回归

2）逻辑回归

3）决策树

4）时间序列

5）Random forest，boosting，SVM，PCA等等

第三步：预测分析

预测正确的时机，得到先发制人的营销效果。有了第一步和第二步的准备，我们需要预测一下，如果我做一些调整，将会有什么变化和影响。

用到的模型有：

1）意向打分模型

2）品牌忠诚度打分

3）购买渠道偏好模型

4）触媒使用习惯

6）销量预测

5）生存分析模型

比如： 意向打分模型 。我们发现，如果用现有的因素，消费者会转换的倾向可能是60%，但是如果我对一些因素做了一些调整，如：我给现有客户多发2个广告，客户会购买的可能性上升到65%；如果，给客户多发5个广告，客户会购买的可能性上升到85%。通过这样的调整，我能够预估，将来的广告成本，或者转化带来的收入等。

又比如： 通过时间序列模型 ，我们可以预测到明年购买某品牌车型的消费者有10万人，这样对明年的生产计划和营销计划就能有一个前期的应对准备。

第四步：决策分析应用

1）提供战略推荐

2）优化

3）市场模拟

4）A／B测试

第三步的例子提到多发2个广告，转化率为65%；多发5个广告转化率为85%。那么如果多发3个？多发4个广告，结果又会如何呢？学术界一直在寻找最优化完美的答案来解决这个问题：我到底发几个广告，才能让我的利润达到最大化呢？

我们都知道在做回归模型的时候，有以下几个假设条件：

1、随机误差项是一个期望值或平均值为0的随机变量；

2、对于解释变量的所有观测值，随机误差项有相同的方差；

3、随机误差项彼此不相关；

4、解释变量是确定性变量，不是随机变量，与随机误差项彼此之间互相独立

5、解释变量之间不存在精确的线性关系，即解释变量的样本观测值矩阵是满秩矩阵

6、随机误差项服从正态分布

实际上，现实生活中很难达到这种理想的状态，而且最大化这个概念，从数学角度讲，会涉及到优化求极值的问题，很多情况下，我们实际上求到是局部优化（localoptimization）的解，而不是全局优化（globaloptimization）的解。

所以在这种情况下，管理学中衍生出了市场模拟方法来决定最后方案，最有名的一个方法是沙盘模拟，但是这些模拟往往到了真正落地的时候，又会和之前的结果有差距。

所以近些年来，越来越多的公司选择做A/B测试。当你对几个方案没有很大的把握，或者对预测结果不是特别自信的时候，A／B测试的出现，解决了这些顾虑。最近的一个成功的案例是Amazon通过A/B测试的方法，把“order”从账户栏，放入了主页的菜单栏，为公司带来的非常可观的营收增长。

A/B测试需要注意的是：

1）样本的数量

2）人群的选择

3）时间的跨度

4）显著性统计

整个决策分析法即是阶梯又是一个闭环，根据实际的市场反应，再进行进一步的分析与迭代优化。

读完整个量化决策分析法后，你应该对以消费者为核心的大数据解决方案有了一定的思路框架，接下来我会定义更新每个步骤需要的方法论，技能，注意点，案例。

感谢你的阅读，希望你有收获。

End.

作者：阎文怡（中国统计网特邀认证作者）

周四线上分享《全面解析“用户画像”》，送书福利见下图！

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

量化一切，数据化的核心

记录信息的能力是原始社会和先进社会的分界线之一。早期文明最古老的抽象工具就是基础的计算以及长度和重量的计量。公元前3000年，信息记录在印度河流域、埃及和美索不达米亚平原地区就有了很大的发展，而日常的计量方法也大有改善。美索不达米亚平原上书写的发展促使了一种记录生产和交易的精确方法的产生，这让早期文明能够计量并记载事实情况，并且为日后所用。计量和记录一起促成了数据的诞生，它们是数据化最早的根基。

计量和记录能够再现人类活动。比如通过记录建筑物的建筑方式和原材料，我们就能再建同样的建筑，或进行实验『性』的『操』作，比如通过改变一些方式保存其他部分而建造出新的建筑物，然后再记录这些新建筑物。交易情况一旦得到记录，我们就可以知道一块地丰收时稻谷的产量是多少、需要上缴多少『政府』税收。计量和记录为预测和计划奠定了基础，虽然这建立在假定明年的收成和今年一样的基础上。有了记录，交易双方才会知道他们赊账的情况，而如果没有这些凭证的支持，欠债的一方则完全可以不用还钱。

几百年来，计量从长度和重量不断扩展到了面积、体积和时间。公元前的最后一个千年，西方的计量方法已经基本准备就绪，但是还是有着比较严重的缺陷。早期文明的计量方法不太适合计算，哪怕是比较简单的计算。比如罗马数字的计算系统就不适合数字计算，因为它没有一个以10为底的记数制或者说是十进制，所以大数目的乘除就算是专家都不知道该怎么算，而简单的乘除对一般人来说也不容易。

大约公元1世纪的时候，印度发明了一种自己的数字系统。它传播到了波斯，并在那里得到改善，而后传入阿拉伯国家，得到了极大的改进。这也就是今天使用的阿拉伯数字的前身。十字军东征给当地人民带来了彻头彻尾的灾难，但同时也把西欧文明带到了地中海东部，而其中最重要的引入就是阿拉伯数字。公元1000年，教皇西尔维斯特二世开始倡导使用阿拉伯数字。12世纪，介绍阿拉伯数字的书籍被翻译成拉丁文，传播到了整个欧洲地区。这也就开启了算术的腾飞。

早在阿拉伯数字传播到欧洲之前，计数板的使用就已经改善了算术。计数板就是在光滑的托盘上放上代币来表示数量，人们通过移动代币到某个区域进行加减。但是，这种计数板有着严重的缺陷，即过大和过小的计算无法同时进行。最主要的缺陷还在于，这些计数板上的数字变化很快，不小心的碰撞或者是摆错一位都会导致完全错误的结果。而且，即便计数板勉强可以进行计算，它也不适合用来记录。因为一旦需要将数字记录在计数板以外的地方，就必须把计数板上的数字转化成罗马数字，这可就费时费力了。

算术赋予了数据新的意义，因为它现在不但可以被记录还可以被分析和再利用。阿拉伯数字从12世纪开始在欧洲出现，而直到16世纪晚期才被广泛采用。到16世纪的时候，数学家们大肆鼓吹他们使用阿拉伯数字计算能比使用计数板快6倍。但最终让阿拉伯数字广为采用的还是复式记账法的出现，它也是数据化的一种工具。

公元前3000年，会计手稿就出现了。但是，记账法在接下来的几百年里发展缓慢，基本上一直保持在记录某地的某个特定交易的阶段。记账人和他的雇主最关心的就是判断某个账户或者自己所从事的行业是否赚钱，而这正是当时的记账手法无法轻易做到的事情。到了14世纪，随着意大利的会计们开始使用两个账本记录交易明细，这种尴尬的境地开始发生改变。这种记账法的优势在于，人们只需要将借贷相加，就可进行制表并得知每个账户的盈亏情况。如此，数据骤然发声了，虽然仅限于读出盈亏情况。

如今，复式记账法通常被看成是会计业和金融业不断发展的成果。事实上，在数据利用的推进过程中，它也是一个里程碑似的存在。它的出现实现了相关账户信息的“分门别类”记录。它建立在一系列记录数据的规则之上，也是最早的信息记录标准化的例子，使得会计们能够读懂彼此的账本。复式记账法可以使查询每个账户的盈亏情况变得简单容易。它会提供交易的记账线索，这样就更容易找到需要的数据。它的设计理念中包含了“纠错”的思想，这也是今天的技术人才们应该学习的。如果一个账本看着不对劲，我们可以查询另一个相对应的账本。

但是，和阿拉伯数字一样，复式记账法也没有立即取得成功。直到200年之后，一个数学家和一个商业家族才让它大受欢迎，他们也改变了数据化的历史。

这个数学家就是方济各会的修士路萨·帕西奥利（luca pacioli）。1494年，他出版了一本为普通读者和商人所写的数学教材。这本书大获成功，成为盛行一时的数学教科书。这是第一本全书都使用阿拉伯数字的书籍，因此也促进了阿拉伯数字在欧洲的传播。当然，这本书最大的贡献在于它对复式记账法的详尽论述。接下来的几十年间，这个论述复式记账法的部分被分别译成了6种语言，并且成为几个世纪的通用范本。

而所谓的一个商业家族，就是指美第齐家族——威尼斯商人和艺术资助人。16世纪，这个家族能成为欧洲最有影响力的银行家族，很大一部分要归功于他们使用的一种高级数据记录方法——复式记账法。帕西奥利的著作和美第齐家族的成功奠定了复式记账法成为标准数据记录法的基础，也奠定了阿拉伯数字在此之后不可取代的地位。

伴随着数据记录的发展，人类探索世界的想法一直在膨胀，我们渴望能更精准地记录时间、距离、地点、体积和重量，等等。到了19世纪，随着科学家们发明了新工具来测量和记录电流、气压、温度、声频之类的自然科学现象，科学已经离不开定量化了。那是一个一切事物都需要被测量、划分和记录的时代，人们理解自然的热情甚至高涨到通过分析测量人的颅骨来试图分析人的心智能力。好在，对颅相学这类伪科学的热情最终淡去了，但是人类对于量化一切的热情却始终没有减退。

新工具和开放的思维促进了测量事物和记录数据的繁荣，而现代数据化就诞生于这片沃土之中。数据化的基础已经奠定完好，只是在模拟时代这依然是费时费力的。有时候似乎需要无穷无尽的热情和耐心，或者说，起码也要有奉献一生的准备，比如16世纪的第谷·布拉赫（tycho brahe）就夜夜细心观察天体运动。数据化在模拟时代成功的例子并不多，因为这需要很好的运气——一大串的偶然巧妙地结合在一起。中校莫里就很幸运，他因伤坐进了办公室，但是却在那里发现了珍贵的航海日志，可不是每个人都能这么幸运的。然而，数据化的实现有一点必不可少，那就是要从潜在的数据中挖掘出巨大的价值，然后揭示出新的深刻洞见。

计算机的出现带来了数字测量和存储设备，这样就大大提高了数据化的效率。计算机也使得通过数学分析挖掘出数据更大的价值变成了可能。简而言之，数字化带来了数据化，但是数字化无法取代数据化。数字化是把模拟数据变成计算机可读的数据，和数据化有本质的不同。

世间万物的数据化

只要一点想象，万千事物就能转化为数据形式，并一直带给我们惊喜。ibm获得的“触感技术先导”专利与东京的越水重臣教授对『臀』部的研究工作具有相同理念。知识产权律师称那是一块触感灵敏的地板，就像一个巨大的智能手机屏幕。其潜在的用途十分广泛。它能分辨出放置其上的物品。它的基本用途就是适时地开灯和开门。然而更重要的是，它能通过一个人的体重、站姿和走路方式确认他的身份。它还能知道某人在摔倒之后是否一直没有站起来。有了它，零售商可以知道商店的人流量。当地板数据化了的时候，它能滋生无穷无尽的用途。

其实没有听上去那么荒谬。“自我量化”是一项由一群健身『迷』、医学疯子以及技术狂人发起的运动，通过测量身体的每一个部位和生活中的每一件事来让生活更美好——或者至少用量化的方式来获得新知。目前，自我量化运动规模还很小，但正在日益壮大。

随着智能手机和计算机技术的普及，对个人最重要的生活行为进行数据处理从未如现在这般容易。许多创业公司通过测量人们夜间的脑电波来试图找出他们的睡眠模式。zeo公司则早已制作出了世界上最大的睡眠活动数据库，揭示了男『性』与女『性』睡眠时快速眼动量的差异。asthmapolis公司将一个感应器绑定到哮喘病人佩戴的呼吸器上，通过gps定位，再汇总收集起来的位置数据，可以判断环境因素（如接近特定的农作物）对哮喘的影响。fitbit和jawbone公司让人们测量他们的体力活动和睡眠。basis公司用腕带来监测佩戴者的生命体征，包括其心率和皮肤电传导率，以此测试他们所承受的压力。2009年，苹果公司就申请了一项专利，通过音频耳塞收集关于血『液』氧合、心率和体温的数据。获取数据正变得比以往任何时候都简单而不受限制。

数据化能帮助我们获取到更多关于人体运作方式的信息。挪威耶维克大学的研究人员和derawi biometrics公司联合为智能手机开发了一款应用程序，可以分析人走路时的步伐并将其作为手机解锁的安全系统。同时，佐治亚理工学院的罗伯特·德拉诺（robert delano）和布莱恩·派尔思（brian parise）开发了一款叫做itrem的应用程序，用手机内置的测震仪监测人身体的颤动，以应对帕金森和其他神经系统疾病。这个程序给医生和病人都带来了好处；它让患者避免了在医院做昂贵的体检，也让医学专家们能远程监控人们的疾病以及治疗效果。据东京的调查人员说，用智能手机测量震动虽然没有三轴测震仪这种专门的医疗器械那么精确，但也只差了一点，所以完全可以放心使用。这再一次证明，一点点的不精确比完全精确更有效。

在大多数情况下，我们会采集信息并将之存储为数据形式再加以利用。几乎所有领域，任何事情都能这样处理。greengoose是一家创业公司，他们销售能放置在物品上的微型运动感应器，用它监测物品的使用次数。比如把它放置在一捆牙线、一个酒水壶或者一盒猫食上，就能数据化牙齿清洁、植物护理以及宠物喂养的信息。很多人对“物联网”有着宗教般的狂热，试图在一切生活中的事物中都植入芯片、传感器和通信模块。这个词听起来好像和互联网亲如姐妹，其实不过是一种典型的数据化手段罢了。

我们正在进行一个重大的基础设施项目，它在某种程度上与我们过去所做的都不一样，无论是罗马的水渠还是启蒙运动时期的百科全书。它如此的新颖，而我们又深处其中；同时，又因为它是无形的，不像水渠中能触『摸』到的水，所以我们并未意识到它的存在，这个它，就是无处不在的数据化。像其他的基础设施那样，它会给社会带来根本『性』的变革。

水渠让城市的发展成为可能，印刷机推进了启蒙运动，报纸为民族国家的兴起奠定了基础。但这些基础设施都侧重于流动——关于水、关于知识。电话和互联网也是如此。相比较而言，数据化代表着人类认识的一个根本『性』转变。有了大数据的帮助，我们不会再将世界看作是一连串我们认为或是自然或是社会现象的事件，我们会意识到本质上世界是由信息构成的。

整整一个多世纪以来，物理学家们一直宣称情况应该是这样的——并非原子而是信息才是一切的本源。不可否认，这也许听上去无法理解。然而通过数据化，在很多情况下我们就能全面采集和计算有形物质和无形物质的存在，并对其进行处理。

将世界看作信息，看作可以理解的数据的海洋，为我们提供了一个从未有过的审视现实的视角。它是一种可以渗透到所有生活领域的世界观

迟早有一天，数据化的影响会使水渠和报纸的影响微乎其微，同时，通过赋予人类数据化世间万物的工具，它也对印刷机和互联网的地位提出了挑战。可是目前，它最主要的用途还是在商业领域。大数据正被用来创造新型价值，这也是下一章的主题

量化投资可以简单地概括为利用数量化统计分析工具构建相应的数据模型，借助计算机科技程序化交易从而实现投资思想和投资理念的一种交易策略。

大数据技术的发展对量化投资又有什么影响？

从我们的尝试和实践经验来看，把互联网大数据的信息挖掘技术用在对冲基金、数量化投资策略的开发上是可行的。在量化里面，不光要量化历史的数据，量化认知的东西，还要考虑交易对手或是市场，因为不是你自己一个人玩这个游戏，中国是几千万人来做这个市场，这个几千万怎么相互作用是非常复杂的，不是金融数学、金融工程用固定的模型就可以解决的。

在量化投资领域，目前对投资者情绪的量化是一个热点，“现在很多机构都有自己的量化方法，其中一个趋势是把现在的行为和情绪量化起来放在里面，看看起的作用怎么样。”根据有效市场的理论，大数据技术的发展会使信息获取成本下降，而且会使获取信息更加全面，使信息获取的成本降低，大家会掌握更多的有效信息，其结果是市场的波动率会下降在他看来，大数据出现之后会抬高对冲基金门槛。 “随着大数据技术的发展，你想获取更多的信息必须要投入更多的成本和技术，会提高行业的门槛。更专业、技术力量更强的公司可能会垄断更多的信息，导致行业出现洗牌。”

拿股票来说，大数据交易主要优势在于，积累了大量真实的股价走势，包括各个分时走势和技术指标。当你看到一段k线走势之后，你觉得可能未来涨的可能性很大，于是在大数据交易中选择某个价位买入，此时大数据交易开始介入，给你合理的建议，比如未来走势55%会走多，45%会走空，你买入的仓位应该控制在合理范围，不要太激进冒不必要的风险。

end

免责声明 | 本文作者：叶子，如有版权问题，敬请原作者跟小编联系，小编会在第一时间处理。谢谢合作。

传播财富智慧

立志金融报国

大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。

信息技术改革随处可见，但是如今的信息技术的变革重点在“T（技术）”上，而不是在“I（信息）”上。现在，是时候吧聚光灯打向“I”上，开始关注信息本身了。

先给大家讲一个故事：莫里的导航图

在受伤之前，，莫里是一位很有前途的美国海军军官。1839年的时候，在他接受一个新的任务时，他乘坐的马车突然滑出了车道，他重重的摔在了地上，大腿骨粉碎性骨折。经过手术的处理后，他一直在家休养。直到他33的时候，他的伤才基本痊愈，但是受伤的腿却留下了残疾，变得有点儿跛，再也无法在海上工作。最后美国海军把他安排进了办公室，并任命他为图标和仪器厂的负责人。

谁也没有想到。无心插柳之举竟然会促成一个伟大的成就。作为一位年轻的航海家，莫里曾经对船在水面上绕弯走却不走直线感到十分困惑，老水手告诉他，走熟悉的路线比冒险走一天不熟悉而且充满危险的路线要好的多。他们认为，海洋是一个不可预知的世界，人随时都可以能被意想不到的风暴困住。

但是从莫里的航行经验来看，这并不是完全正确的。他曾在海面上也经历过各种各样的风暴。当茉莉还是一个海军军官学校的学生时，他没到一次港口，总会向老船长学习经验知识，这些知识都是代代相传下来的。他从哪里学到了潮汐、风和洋流的知识，这些都是在军队发的书籍中无法学到的。相反，军队一直依赖陈旧的图表，其中的地图和标识都没有更新过，有些还有很重大的错误，这对于海上工作来说是很危险的。他当上图标和仪器厂的负责人之后，他的首要问题就是要解决这些问题。

他重新整理编订了这些陈旧的海军地图和存在严重错误的航海日志，刚开始的时候，他觉得这些过时的航海记录都是垃圾，但当他拍掉上面的灰尘，重新凝视里面的内容的时候，莫里突然变得十分激动。在这里隐藏着他想要的信息，例如对特定日期、特定地点的风水和天气情况的记录。大部分的信息都非常有价值的。莫里意识到，如果他能够将这些信息整合到一起，将有可能呈现出一张全新的航海图。

为了提高精确度，莫里需要更多的信息。他编写了一个精确地表格来准确的记录他所需要的这些信息，并且将这个表格上报给美国海军，让他们在海军舰艇上使用，返航后在提交表格。通过这些表格和数据，莫里绘制出了一个完整的新地图，帮助海军节省了一大笔费用，航海路程因此减少了三分之一左右。

一切即可量化，数据永远来自于你最想象不到的地方。在信息大数据时代，我们周边的世界及太阳底下的一切都能用数据去记录，用数据去分析。只要一点想象，世间万事万物都能被数据化并且会一直给我们带来惊喜。

A股市场的股民和私募影响着我国的资本市场，投资成为每个人财富增值的一个渠道，越来越多的人随着国家的政策导向发展逐渐的投资，A股市场则是投资者一个巨大的摇篮，里面可能会出现投资界的黑马，也会早遇到无情的下跌，甚至暴跌，那么股民就需要一个为自己保驾护航的一个投资决策，而量化投资正好解决了这一点难题。

大数据分析

在量化投资正好可以简单的来说就是数据化统计出来的一个比较有对比性的一个模型，主要是借助计算机科技的程序来实现投资者理想的投资渠道的一个平台，这个就是大数据，那么大数据对我们有什么影响呢，从我们的尝试和实践的证明来看，把互联网大数据的相关信息和挖掘技术用在对冲基金、和数据量化投资战略上的方法是可行的，而在大数据量化里面，不光要看来那个户啊的历史的数据，而且还有考虑量化认知的东西，还要考虑交易对手或者是资本市场。

大数据精准人群

因为现在不是一个人在玩这个游戏，中国是上千万的人来做这个市场，在这几千万怎么相互的作用是非常的复杂的，不是金融工程、金融数学用固定的模式就可以解决的，在大数据量化的领域，目前对投资者量化是一个热点，现在很多的机构也是有自己的量化方法，在其中的一个趋势是把现在的行为和情绪量化起来放在里面，看看作用怎么样，如果按照大数据的一个算法来获取信息，那么获取精准信息的成本将会大幅的下降，而且还会使获取信息的层面更加的全面，在获取信息的成本降低，大家掌握了更多的信息，其结果就是市场波动率就会下降，在大数据出现之后会抬高对冲基金门槛，随着大数据技术的发展，你想获取信息的渠道必须要投入更多的成本和更多的技术，从而会提高行业的门槛，但是更专业的技术力量和更强的公司可能会垄断更多信息，导致行业出现洗牌。

精准大数据精准

而我们就拿股票来说，大数据的交易主要的优势就在于积累了大量真实的股票价格的走势，包括个股的量化指标，最高开始用大数据量化分析的行情软件就当属华尔通了，现在市面上多数的行情软件大部分都是采用比较老式计算方法，没有太多的创新和突破，计算出来的个股行情虽然来说还差不多，但是论准确度来讲，还是不够的，华尔通量化的大数据正好解决了这一难题，这也是该平台创新的结果，其实行业一直在发展，也一直在不断的。

创新，创新催生出新的平台达到了技术的进步。

但是不管技术有多先进，数据有多精准，真正决断的还是你自己，是否投资看自己的决策拿捏的准不准。