12月27日下午，“2017 ECI Festival国际数字商业创新节——大数据应用创新峰会在北京中国大饭店隆重举行并取得圆满成功。本次峰会由ECI Awards、北大创新评论、中国大数据产业应用协同创新联盟联合主办，企智网协办，中国大数据应用创新联盟、中关村大数据联盟特别支持。大会汇集了来自大数据行业的权威人士和专家、行业知名企业创始人、大数据产业负责人、以及获得本届“大数据应用创新奖”的30家获奖企业代表共襄盛举。

会议共设立主题演讲、圆桌对话、2017企业服务大数据应用创新榜单发布三大板块。由中关村大数据产业联盟副秘书长兼联合创始人邢艳凯主持，中国商务广告协会数字营销研究院院长马旗戟做开场发言，马院长指出：“ECI所代表的国际创新是中国商业界和营销界力图在全球范围内体现中国营销和商业思想的一种尝试与努力，它的成功与否取决于在座的各位、取决于大家的共同努力。”

在主题演讲板块，演讲嘉宾分别以：“区块链的营销数据协作探索（小米公司MIUI商业产品部数据业务负责人周茂华）”、“融合数据平台，创新商务应用（微软大中华区Dynamics产品总经理卢东明）”、“大数据，超算和深度学习融合创新的计算智能时代（中国大数据产业应用协同创新联盟执行理事长张云泉）”、“数据、分析与目的（益普索执行总裁、秒算信息科技总经理张宗华）”、“大数据时代下能省会花的财务官（易快报创始人兼CEO马春荃）”、“数据创新驱动企业级服务发展”（北大创新评论特聘专家、企智网创始人朱垒磊）”为主题做精彩演讲（排序为现场演讲出场顺序）。六位企业家从不同层面解读大数据在各行各业的实际应用与未来发展道路，他们的演讲，也让台下大数据行业从业人士产生强烈共鸣。

随后，由智能交互SaaS协会秘书长李敬为主持人，销售易首席数据科学家赵宇辰、KuickDeal客户成功负责人尉迟春喆、智齿科技联合创始人龙中武、易观数据应用中心总监杨帆作为互动嘉宾，开展以“智能交互营销的大数据应用创新”为主题的圆桌论坛。五位企业服务大数据应用专家，从人工智能能给企业带来什么价值的话题切入，探讨企业在面对大而全、小而专以及私有化部署等服务时，选择哪一种更合适。经过50分钟精彩的碰撞交锋后，得出一个最朴素的结论就是：唯有围绕企业自身需求洞察出的选择，才最合适。

整个会议在共同探讨大数据行业的现状及未来发展的同时， 为了表彰在大数据应用创新领域做出突出贡献和成就的企业，组委会还专门设立了颁奖环节。经过组委会综合评定，最终评选出7大类奖项（分别为数据服务PaaS类、智能营销类、智能管理类、解决方案类、智慧城市及政务类、服务平台类、特别贡献类）TOP30强企业，并由ECI Awards执行主席贾丽军博士、中国大数据产业应用协同创新联盟执行理事长张云泉博士共同揭晓榜单，现场为入选企业颁发“企业服务大数据应用创新奖”证书。

本次峰会为大数据产业链中的各家企业搭建了协作、交流的互动平台，创造了未来无限可能的合作空间，也为大家将来的创新与融合发展提供了丰富的资源与情感纽带。与会人员表示，参会的意义不止于听，更在于吸取更好的经验去实践未来，希望借助本次峰会，让更多的企业家关注大数据在企业服务领域的创新应用，共同推动中国大数据应用的蓬勃发展。

（下附本次获奖企业名单）

标签 | 大数据 架构

作者 | 张逸

无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径，然后再加上最后一公里的数据可视化，整个链条就算彻底走通了。

数据处理的分类

如下图所示，我们可以从业务、技术与编程模型三个不同的视角对数据处理进行归类：

业务角度的分类与具体的业务场景有关，但最终会制约技术的选型，尤其是数据存储的选型。例如，针对查询检索中的全文本搜索，ElasticSearch会是最佳的选择，而针对统计分析，则因为统计分析涉及到的运算，可能都是针对一列数据，例如针对销量进行求和运算，就是针对销量这一整列的数据，此时，选择列式存储结构可能更加适宜。

在技术角度的分类中，严格地讲，SQL方式并不能分为单独的一类，它其实可以看做是对API的封装，通过SQL这种DSL来包装具体的处理技术，从而降低数据处理脚本的迁移成本。毕竟，多数企业内部的数据处理系统，在进入大数据时代之前，大多以SQL形式来访问存储的数据。大体上，SQL是针对MapReduce的包装，例如Hive、Impala或者Spark SQL。

Streaming流处理可以实时地接收由上游源源不断传来的数据，然后以某个细小的时间窗口为单位对这个过程中的数据进行处理。消费的上游数据可以是通过网络传递过来的字节流、从HDFS读取的数据流，又或者是消息队列传来的消息流。通常，它对应的就是编程模型中的实时编程模型。

机器学习与深度学习都属于深度分析的范畴。随着Google的AlphaGo以及TensorFlow框架的开源，深度学习变成了一门显学。我了解不多，这里就不露怯了。

机器学习与常见的数据分析稍有不同，通常需要多个阶段经历多次迭代才能得到满意的结果。下图是深度分析的架构图：

针对存储的数据，需要采集数据样本并进行特征提取，然后对样本数据进行训练，并得到数据模型。倘若该模型经过测试是满足需求的，则可以运用到数据分析场景中，否则需要调整算法与模型，再进行下一次的迭代。

编程模型中的离线编程模型以Hadoop的MapReduce为代表，内存编程模型则以Spark为代表，实时编程模型则主要指的是流处理，当然也可能采用Lambda架构，在Batch Layer（即离线编程模型）与Speed Layer（实时编程模型）之间建立Serving Layer，利用空闲时间与空闲资源，又或者在写入数据的同时，对离线编程模型要处理的大数据进行预先计算（聚合），从而形成一种融合的视图存储在数据库中（如HBase），以便于快速查询或计算。

场景驱动数据处理

不同的业务场景（业务场景可能出现混合）需要的数据处理技术不尽相同，因而在一个大数据系统下可能需要多种技术（编程模型）的混合。

场景1：某厂商的舆情分析

某厂商在实施舆情分析时，根据基于需求，与数据处理有关的部分就包括：语义分析、全文本搜索与统计分析。通过网络爬虫抓取过来的数据会写入到Kafka，而消费端则通过Spark Streaming对数据进行去重去噪，之后交给SAS的ECC服务器进行文本的语义分析。分析后的数据会同时写入到HDFS（Parquet格式的文本）和ElasticSearch。同时，为了避免因为去重去噪算法的误差而导致部分有用数据被“误杀”，在MongoDB中还保存了一份全量数据。如下图所示：

场景2：Airbnb的大数据平台

Airbnb的大数据平台也根据业务场景提供了多种处理方式，整个平台的架构如下图所示：

Panoramix(现更名为Caravel)为Airbnb提供数据探查功能，并对结果进行可视化，Airpal则是基于Web的查询执行工具，它们的底层都是通过Presto对HDFS执行数据查询。Spark集群则为Airbnb的工程师与数据科学家提供机器学习与流处理的平台。

大数据平台的整体结构

行文至此，整个大数据平台系列的讲解就快结束了。最后，我结合数据源、数据采集、数据存储与数据处理这四个环节给出了一个整体结构图，如下图所示：

这幅图以查询检索场景、OLAP场景、统计分析场景与深度分析场景作为核心的四个场景，并以不同颜色标识不同的编程模型。从左到右，经历数据源、数据采集、数据存储和数据处理四个相对完整的阶段，可供大数据平台的整体参考。

人人都爱说“大数据”，平时我们开会，不是用大数据分析这个，就是用大数据建构那个。不可否认，大数据分析让我们的判断更理性，不再盲目地拍脑袋决定一件事。但在生活中，与我们关系最密切的是小数据，一种可以教你做对事情，赚到钱的数据。

什么是小数据？

小数据就是个体化的数据，相对于大数据分析，小数据更注重的是精确和实用。

比如我天天都喝一两酒，突然有天喝完酒了胃疼，我就想了，这天和之前有何不同？原来，这天喝的酒是个新牌子，可能就是喝了这个新牌子的酒让我胃疼。

又比如我的餐馆里准备改进服务和菜品，想知道顾客最爱的是什么口味、什么品类？调查后发现顾客喜欢川湘口味，却不能承受过辣，甜度3分，辣度2分。

这就是我生活中的“小数据”，它不比大数据那样浩瀚繁杂，却对个体至关重要。

企业家马化腾曾在内部分享会上特别强调研究用户，多做用户调查，听取用户反馈，并且明确要求腾讯的产品经理每个月做10个用户调查，收集1000个用户体验的反馈。

可见无论是什么产品，倾听用户的声音，建立产品的小数据库去做分析是十分重要的。

怎么才能做好小数据分析呢？

想要通过数据分析去了解用户，那么我们如何收集用户的真实数据，如何分析用户的行为习惯和消费心理，如何更好地满足用户的需求提高成交率……都是需要考虑的。

在小数据的钻研上，问卷网已经打磨了5年。

自2013年7月上线以来，从企业定制服务到一个免费专业的在线数据收集平台，已有近500万用户使用问卷网进行创建、发布、管理、收集及分析服务。 其中459,759,311 份数据帮助500万用户记录了每份调研的影响因素，形成了真实可靠的小数据库。

从大数据得到规律，用小数据去匹配个人。

5年来问卷网帮助500万用户发布了他们的问卷，4.6亿份数据帮助用户记录了每份调研的影响因素。

问卷网5周年，我们更加注重用户的声音，用真实可靠的小数据提升效率。

进入问卷网，领取500元调研券

随着公司业务的增长，大量和业务、流程、规则相关的半结构化数据也爆发式增长。但数据分散在公司的各个系统中，如何将它们汇总并形成统一的企业级数据仓库，使企业灵活，高效的运用成了难题。

如需将分散的各个底层数据汇总则需建立完整的体系，支撑风控的大数据框架则是重中之重。

拥有5000万+注册用户；13亿+设备标签；100亿+行为数据；1500万+行业关注名单等海量多维数据的拍拍信则是从这几个方面落实：

1. 数据采集

面对来源各异、以结构化/半结构化为主的数据，我们使用linkedin开源的camus来采集消息类数据，使用kettle来采集RMDB的数据。

2. 数据储存

将采集到的原始数据存储到hadoop集群的分布式文件系统中。此外，基于hdfs文件系统对小文件并不是很友好的前提下，定期对历史文件进行合并、压缩、归档的操作也很有必要。

3. 离线处理

数据的离线处理则是一个非常大的话题，相当多的工作量都在这里，但它的价值却往往不会马上得到体现，从而被企业忽视。不仅仅包含以下这些内容：

l 构建并不停地丰富数据仓库

参照传统的ODS，DW，DM将数仓分层，对数据进行加密、去重后分门别类，持续不断的坚持做这件事。

l 管理元数据

建立数据字典，统一数据编码，描绘数据血缘等。

l 检测数据质量

从众数、少数、中位数、平均值等多维度来检测和把握数据的质量。

4. 流式处理

我们使用spark streaming将特征工程、模型结果计算与流式处理相结合，提供秒级的输出。甚至成功的将类似RNN（循环神经网络）这样的深度学习计算添加到整个流式处理的过程中。

5. 数据可视化

使用不同的工具以满足不同场景、不同职责的人员对数据的使用。不仅仅包含以下这些内容：

l 数据的即席查询

懂SQL、随意组合查询条件，进行自助查询，可以忍受分钟级的耗时。

l 多维分析

不懂SQL的情况下，在给定的维度和指标下，随意组合，并在秒级得到查询结果。

l 静态报表

只关注关键性指标。

l 数据分析挖掘

会使用像python、R这样的语言，结合集群的Spark、hive这样的分布式处理工具，对数据进行更深层次的利用。

经过处理的底层大数据相对于以往，在实际业务中使源数据种类更丰富，数据量更多， 借助集群的助力，处理速度更快，回溯时间更久远。

实际运用：

模型训练：风控模型是互联网金融，传统金融等行业在风控流程中不可或缺的环节。

模型应用：将模型与流式计算相结合，提供秒级的风控决策。

数据产品：对数据加工处理，产生像多头、风险名单一类的数据产品。

常用业务：企业在日常工作中各个环节都涉及到数据如：处理数据，更新数据，数据调用，查询日志等。

运用大数据架构前后比对：

在进行大数据框架搭建时还需注意以下几点：

现在即使在同一细分领域，也有很多开源技术可供选择，请尽量选用相对成熟，社区活跃的；能选用开源的，尽量避免自研；另外代码如果要维护自己分支，请特别要谨慎，避免与社区越走越远；hadoop最初并没有太多的考虑数据安全方面，这点要自己加强；高稳定性和高性能往往一个是鱼，一个是熊掌，请考虑好取舍。

本期对大数据底层架构的分享就到这里，欢迎大家联系探讨。

本文为拍拍信原创，未经许可，禁止转载，侵权必究。申请授权，请联系我们。

感谢您对拍拍信的认可与支持

我们一直在路上

今夜凌晨，伴随着一场淋漓尽致的进球大战，法兰西雄鸡以4:2战胜了格子军团克罗地亚，封冠俄罗斯世界杯，而克罗地亚也以胜利者的姿态向世界展现了自己的风采。60年来的决赛最多进球、继球王贝利又一位决赛进球的20岁小将……伴随着一项项新纪录、新数据的产生，本届世界杯也圆满落幕。

赛前并不被外界所看好的法国队因何可以走到最后，笑傲群雄，简极运动数据研究院将一同和大家用数据回顾并剖析一下这一支二度封王的法国队。

高卢雄鸡的身价与成绩

2018俄罗斯世界杯最高身价非华丽的高卢雄鸡莫属，23人大名单总身价达到了14.1亿欧元位居榜首，高于位于第二的英格兰（13.9亿欧元）和排名第三的巴西（12.7亿欧元），立下了历史世界杯上的最高纪录标杆。更有年轻活力的豪华配置，出生于巴黎东北部小镇邦迪的19岁小将姆巴佩不仅速度达到了惊人的39.2km/h，更是以1.87亿欧元的身价力压梅西身价，并与格列兹曼各为法国打进4球，并列居于本届射手榜第三位。

如此顶配的幸福烦恼自然是被这位1998年法国首次夺得第一次世界杯冠军的球队队长德尚承担，虽说不能把身价等同于实力，也不能把实力和成绩画上等号，但是在今日凌晨能够时隔20年再夺世界杯，相信大部分参赛球队的主教练都愿意替德尚去承担这种幸福的烦恼。

如果非得用一句话来形容这支位置均衡、平均年龄合理、一手好牌的法国队，我能想到只能是：一分钱一分货。

法国23人大名单与决赛首发

德尚幸福的烦恼-阵型选择

世界杯的舞台上也是有着太多超豪华阵容却折戟沉沙的案例，因此德尚带领着这样一支顶配的球队，排兵布阵的选择也是不可能让所有人满意的，当成绩开始出现与身价不匹配的时候立刻会招来舆论的口诛笔伐。从本届世界杯的历程来看，德尚对于4-2-3-1可谓是执着偏爱了，在7场的比赛中，仅在首战对阵澳大利亚中摆出了一次433阵型，其余6场不出意外的将4231执行到底。

小组赛：试水三叉戟

法国队在世界杯上首先尝试的阵型是4-3-3，在金斯利-科曼和奥斯曼-登贝莱都遭受了重大伤病后，德尚优先选择了更早复出的后者与格列兹曼、姆巴佩搭档三叉戟，首战103km的跑动距离，484次的传球次数和52次的反抢创造了12次的射门机会并有5次射正，最后凭借着格列兹曼的进球和对手的乌龙球以2-1拿下了澳大利亚。

1/8、1/4、1/2淘汰赛：433到4231的转变

德尚还拥有着一个纯粹的中锋——吉鲁的烦恼，身披9号战袍的吉鲁是现阶段法国最高的信任支点了，虽然在首战对阵澳大利亚中未首发上场，在次回合直至决赛吉鲁确立了中锋支点的威信，擅长传威胁球的勒马尔，追风少年姆巴佩，全能的格列兹曼让德尚的433完成了不断换位的组合拳，换阵成的4231和吉鲁简直是绝配，在淘汰赛阶段创造出了11个进球，并且拥有场均99km的跑动距离、场均372次的传球次数、场均45%的控球率转换成场均12次射门次数和4次射正次数的数据，相比于传控的完美数据，高卢雄鸡的进攻可谓是犀利高效了，华丽丽的高卢雄鸡与德尚怎能说不是顶配了呢！

决赛：放弃球权诱敌深入

决赛对阵克罗地亚，德尚没有“烦恼”，德尚是赢的。39%的控球率与淘汰赛场均45%的控球率相比，可以看出法国人是果断放弃了球权诱敌深入，全民皆后卫的特点在很大程度上克制了克罗地亚的速度，吉鲁和格列茨曼回撤，姆巴佩的伺机跑位，坚决打起了反击并将4231进行到底。事实证明，效果显著，法国的8次射门就有6次射正，其中将4个进球收入囊中。

法国全场各个时间段平均站位图

坎特全程盯防莫德里奇，集中活动在中后场，在吃到黄牌后毅然的被德尚换下，德尚换人也赢了，黄牌让坎特开始无法全力盯防担心红牌的出现，且耗到了莫德里奇在下半场的体能大量消耗后，让其不足以有强大的爆发力，落后的克罗地亚起了高球，而这也正是坎特的弱项，德尚的换人是明智的。

吉鲁回防到禁区，格列兹曼回撤，姆巴佩追防佩里西奇在右边路上伺机跑位，法国人的右边路集中了50%的进攻比例，姆巴佩98分钟的全场比赛中跑了8712m，在对手控球时跑了3526m，本队控球时跑了2588m，身为边前卫，在对方半场仅占了总时间的53%，并且有着28次的冲刺次数，达到了31.28km/h的极值速度，上一次看到法国人退的这么后面这么迅速应该要追溯到郭刻尔克那会儿了。在反击上姆巴佩禁区弧顶接球的原地摆腿射门，真的是诠释了什么是年轻有天赋真的是可以为所欲为。

法国进攻比例

法国vs克罗地亚（4-2）

2018年俄罗斯世界杯真正结束了，4年一届的大舞台上从来不缺少精彩的故事，多年后球赛里的某一事件依然会是人们讨论的话题，从1998年到2018年，高卢雄鸡再次华丽的登顶，克罗地亚也让人肃然起敬，引用网友的一句话：或许足球只是生活的一部分，但有时又超越了简单的生活。世界杯，我们再见！

版权声明：如涉及版权问题，请作者持权属证明与本网联系

来源：人民网-体育频道

大数据是什么？从哪里来？有什么用？这些问题是自大数据诞生以来就一直存在的问题。但这些问题也没有影响到大数据的发展，对个人来说，对企业来说，大数据是可以控制、可以利用、可以取舍的技术现象，大数据只是一种工具。

但是仅仅把大数据看做一种技术手段是不够的。从个人层面来说，轻视大数据也只是在生活选择中不知所措，在上学、就业、家居、社交、教育等问题上有可能陷入困境。从企业层面来说，看不到大数据的趋势，轻视各行各业走向数据化的趋势，以为随便做做就是互联网+了，都可能是首先被淘汰被取代的企业。从国家层面来说，如果抓不住大数据的机遇，消极抵抗大数据浪潮，就会像许多处于农业社会的国家面对工业革命的冲击却错失良机，再想赶超就需要数百年的努力。

大数据是一种世界观，大数据是一种历史观，大数据是一种价值观，大数据是一种方法论。面对这种变革，每个人都很难不去面对，不去思考，不去选择。计算机解决的是数据计算问题，互联网解决的是数据传输问题，大数据则是在此基础上直奔主题，用数据化的方式解决各种问题。

所以，无论你现在处在什么行业，什么地位，都应该认识大数据，思考大数据。

大数据，在百度百科上的解释是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。当然了在如何定义大数据的概念问题上，在学术界和也没有共识。

从实际出发，制造业在大数据方面的创新进展也很显著。第一类是以3D打印技术为代表的数据化制作方式正在以日新月异的速度发展，数据化制作很快会成为制造业创新的主流。第二类是制造业产品的数据终端化，越来越多的工业产品具备了互联互通、数据生成的功能。第三类是传统制造技术与流程的数据化，主要表现为自动控制和智能化生产。

但是像制造业这样历史悠久的传统产业发展大数据难度也比较大，第一是惯性思维制约了创造性思维的产生，例如像苹果手机这样的智能手机居然不是在手机制造业产生，反倒是要毫无手机制造能力的苹果公司先走一步；第二是数据终端的产品需要漫长的试错过程；第三是大数据制造需要新人、新设备，这意味着企业重组。

大数据的出现既为网络业带来了机遇也带来了挑战。从潜在的机会看，数据量的增加为网络公司提供了精确把握用户群体和个体网络行为模式的基础，如果能够充分利用，就可以创立比现有广告和产品推广形式性价比高数倍的全新商业模式。但是需要重建公司架构，进行商业模式的创新，需要升级公司的技术开发、数据处理和组织运营能力。

互联网的战争说到底就是人才的战争，创新的战争。新的人才带来新的技术手段，新的技术手段带来新的公司架构。创新者生，要敞开胸怀迎接新的思想，新的事物。

数据越来越多的影响并塑造着那些我们每天都要交互的系统。不管是你使用Siri，google搜索，还是浏览facebook的好友动态，你都在消费者数据分析的结果。我们赋予了数据如此大的转变的能力，也难怪近几年越来越多的数据相关的角色被创造出来。

这些角色的职责范围，从预测未来，到发现你周围世界的模式，到建设操作着数百万记录的系统。在这篇文章中。我们将讨论不同的数据相关的角色，他们如何组合在一起，并且帮你找出那些角色是适合你自己的。

什么是数据分析师？

数据分析通过谈论数据来像他们的公司传递价值，用数据来回答问题，交流结果来帮助做商业决策。数据分析师的一般工作包括数据清洗，执行分析和数据可视化。

取决于行业，数据分析师可能有不同的头衔（比如：商业分析师，商业智能分析师，业务/运营分析师，数据分析师）不管头衔是什么，数据分析师是一个能适应不同角色和团队的多面手以帮助别人做出更好的数据驱动的决策。

深度解析数据分析师

数据分析师拥有把传统的商业方式转换成数据驱动的商业方式的潜质。虽然数据分析师是数据广泛领域的入门水平，但不是说所有的分析师都是低水平的。数据分析师不仅仅精通技术工具，还是高效的交流者，他们对于那些把技术团队和商业团队隔离的公司是至关重要的。

他们的核心职责是帮助其他人追踪进展，和优化目标。市场人员如何使用分析的数据取帮助他们安排下一次活动？销售人员如何衡量哪种类型人群能更好的争取？CEO如何更好的理解最最近公司发展背后潜在原因？这些问题就需要数据分析师通过数据分析和呈现结果来给答案。他们从事的这些和数据打交道的复杂工作能够为他们所在的组织贡献价值。

一个高效的数据分析师能够在商业决策的时候摒弃臆想和猜测，并且帮助整个组织快速成长。数据分析师必须是一个横跨在不同团队中的有效桥梁。通过分析新的数据，综合不同的报告，翻译整体的产出。反过来，这也能帮助组织对于自身的发展时刻保持警觉。

公司的不同需求决定了数据分析师的技能要求，但是下面这些应该是通用的：

清洗和组织未加工的数据

使用描述性统计来得到数据的全局视图

分析在数据中发现的有趣趋势

创建数据可视化和仪表盘来帮助公司解读说明和使用数据做决策

呈现针对商业客户或者内部团队的科学分析的结果

数据分析师对公司科技和分科技的两面都带来了重大的价值。不管是进行探索性的分析还是解读经营状况的仪表盘。分析师都促进了团队之间更紧密的连接。

什么是数据科学家？

数据科学家是使用他们在统计学和建设机器学习模型方面的专业技术去进行关键商业问题预测的专家。

数据科学家也需要像数据分析师一样去清洗、分析、可视化数据。然而一个数据科学家需要在这些技能上更深入也更专业，他们还可以去训练和优化机器学习的模型。

深度解析数据科学家

数据科学家能产生巨大的价值，他们处理更多开放式的问题并且利用他们专业的统计学和算法知识发挥更大杠杆的作用。如果说数据分析师专注于从过去和现在数据层面来理解数据的话，那么数据科学家就是专注于做出对未来更可信的预测。

数据科学家通过有监督学习（分类、回归）和无监督学习（聚类，神经网络，异常监测？）机器学习模型来揭开隐藏着的规律。本质上来说他们是训练那些能让他们更好的识别模型和产出精确预测效果的数学模型的人。

下面是数据科学家完成的一些例子：

评估统计学模型来决定分析有效性

使用机器学习来建设更好的预测算法

测试和持续提升模型精确度

进行数据可视化来概括分析的结论

数据科学家为预测和理解数据带来了一种完全崭新的方式。虽然数据分析师可能也可以去描述趋势和为商业团队传递这些结果。但是数据科学家能剔除新的问题并且可以去建模来做出对新数据的预测。

什么是数据工程师？

数据工程师建设和优化系统。这些系统帮助数据科学家和数据分析师开展他们的工作。每一个公司里面和数据打交道的人都需要依赖于这些数据是准确的和可获取的。数据工程师保证任何数据都是正常可接收的，可转换的，可存储的并且对于使用者来说是可获取的。

深度解析数据工程师

数据工程师建立了数据分析师和数据科学家依赖的基础。数据工程师对构造数据管道并且经常需要去使用复杂的工具和技术来管理数据负责。不想前面说的两个事业的路径，数据工程师更多的是朝着软件开发能力上学习和提升。

在比较大的组织中，数据工程师需要关注不同的方面：比如使用数据的工具，维护数据库，创建和管理数据管道。不管侧重于什么，一个好的数据工程师能够保证数据科学家和数据分析师专注于解决分析方面的问题，而不是一个数据源一个数据源的去移动、操作数据。

数据工程师往往更加注重建设和优化。下面的任务的示例是数据工程师通常的工作：

为数据消费开发API

在现存的数据管道中整合数据集

在新数据上运用特征转换提供给机器学习模型

持续不断的监控和测试系统保证性能优化

你的数据驱动的事业路径：

现在你已经了解了这三种数据驱动的工作了，但是问题还在，你适合哪一种呢？虽然都是和数据相关，但是这三种工作是截然不同的。

数据工程师主要工作在后端。持续的提升数据管道来保证数据的精确和可获取。他们一般利用不同的工具来保证数据被正确的处理了，并且当用户要使用数据的时候保证数据是可用的。一个好的的数据工程师会为组织节省很多的时间和精力。

数据分析师一般用数据工程师提供的现成的接口来抽取新的数据，然后取发现数据中的趋势。同时也要分析异常情况。数据分析师以一种清晰的方式来概括和提出他们的结果来让非技术的团队更好的理解他们现在在做的东西。

最后，数据科学家更倾向于基于分析的发现和在更多可能性上的调查来获得方向。不管是训练模型还是进行统计分析，数据科学家试图去对未来要发生的可能性提出一个更好的预测。

不管你的特殊的路径是什么，好奇心都是这三个职业最本质的要求。使用数据来更好的提问和进行精确的实验是数据驱动事业的全部目标。此外，数据科学家领域是不断的进化的，你必须要有强大的能力去持续不断的学习。

有一句话叫做三人行必有我师，其实做为一个开发者，有一个学习的氛围跟一个交流圈子特别重要这是一个我的大数据交流学习群531629188不管你是小白还是大牛欢迎入驻，正在求职的也可以加入，大家一起交流学习，话糙理不糙，互相学习，共同进步，一起加油吧。

北京时间7月6日，虽然还不知道谁能最终捧起世界杯冠军奖杯，可在英国媒体眼中，代表着最佳射手的金靴奖，却已经是三狮军团队长哈里-凯恩的囊中之物。著名媒体BBC就总结了多项数据进行深度分析，并从中列举出了凯恩的三大优势，认为他将成为自1986年莱因克尔之后，又一位拿到金靴奖的英格兰球员。

目前凯恩以6个进球领跑射手榜，他身后的卢卡库却只打入4球，俄罗斯队的久巴、切里舍夫，法国队的姆巴佩和乌拉圭队的卡瓦尼各打入3球。由于世界杯已经打到了8强战，余下的比赛所剩无几，竞争对手们想要反超凯恩，也几乎是件不可能完成的任务。更何况相比于竞争对手们，凯恩还具备不少优势。

第一点是把握机会的能力更强。截至目前为止，凯恩只尝试了9次射门就攻入6球，射门进球转化率高达66.67%。这项数据上与他最接近的是姆巴佩，射门进球转化率达到了60%，而比利时队的卢卡库这项数据却仅有36.36%，远逊色于凯恩。比效率，凯恩明显优于其他竞争对手。

第二点是不浪费时间。凯恩平均每打进一球所花费的时间，仅需要46分钟，而这项数据中，与他最接近的卢卡库也要60分钟才能打入1球。姆巴佩需要花费89分钟，就连葡萄牙巨星C罗，也得平均每90分钟才能打入1球。能够用更短的时间进球，也是凯恩的第二项优势。

第三点是主罚点球。凯恩是英格兰队的头号点球手，目前已经罚进了3粒点球，而他剩下的竞争对手中，没有一人是队内的头号点球主罚手。虽然可能会有人因为点球数多而质疑凯恩的进球成色，但金靴奖只看进球总数，不会看是怎么进的球，因此这一点仍然是凯恩的优势。

而从历史数据来看，6球基本上就是世界杯金靴奖的达标线。因为自从1978年以来，除了2002年巴西队的罗纳尔多单届杯赛打入8球外，从未再有一名金靴奖得主的进球数能超过6个。因此即便英格兰队在1/4决赛中输给了瑞典队，凯恩仍然有很大概率能够拿到金靴奖。

洞察与大数据之间是什么关系？大数据解决不了的问题可以用洞察来解决吗？

大数据与洞察之间不是相互替代关系。前者是后者的原材料，后者是用前者生产出的产品，二者之间并不矛盾。

大约从2012起，中国兴起了一股大数据热潮。在各方的炒作下，大数据被包装得无所不能，成为解决各种问题的万能良药。于是乎，人们都在谈论大数据，仿佛不懂大数据就会被时代抛弃了一样。很多企业盲目上了大数据系统，有的甚至斥巨资来追赶这股热潮，还有的大幅削减在传统洞察方面的投资，转投到大数据上。2016年以来，热潮迅速退去，人们才发现，号称搞大数据的，大部分是在裸泳，不少甚至在以“黑数据”冒充“大数据”在骗钱。于是，交了学费、尝了苦头的企业，产生了另一种认识，即大数据否定不能解决问题，开始对各种大数据持怀疑和态度了。

其实这里存在一个认识误区，就是把知识的各个层次混淆了，把数据与洞察混为一谈。严谨一点说，知识有四个层次，即：数据，即产生洞察的原材料；信息，即经过加工和处理，形成的对事物属性的描述；知识，即经过人类大脑的加工，融入人类的价值判断，对事物的优劣、是非的认识；洞察，则是对知识的升华，具有指向性，可以告诉人们如何选择，或者怎样的选择会导致怎样的结果。由于人们在现实生活中通常并不做这种区分，把大数据与大数据应用、大数据洞察，也就不足为怪了。

无论大数据热潮中炒作者把大数据说得多么神，他们所能做的，基本是停留在数据和信息层的，特别强调数量的大，是对数据的获取、结构化、清洗、描述而已。这样的所谓“大数据”，当然没有多少实际用处，解决不了什么实际决策问题。我们眼里的大数据，则是数量（Volume）、多样性（Variety）、激增性（Velocity）、价值性（Value）的统一，是把各种来源、各种形式的大量且在不断快速增长的数据，经过数据技术的分析挖掘，融入知识、理论模型，从而形成知识和洞察的过程和应用。

不得不说，现存的大数据产品和服务，尽管在实用价值上有了很大进步，但输出结果普遍存在机械性、内部一致性问题或曰逻辑自洽问题。背后的原因，主要是过度依赖数据可供性和技术，缺少了对数据背后商业意义与商业逻辑的理解，机械地把现象间的共发当作因果，甚至不考虑时间先后。这就是我们强调数据、技术、知识三位一体结合的原因，其中的知识，就是指对数据背后商业意义和商业逻辑的理解，包括决策的理论与模型。

张文双参加”第四届‘一带一路’园区建设国际合作峰会暨第十五届中国企业发展论坛营商环境峰会”同向与会代表介绍了动因大数据与传统大数据的本质区别,他说:“我们把消费者通过社交媒体、自媒体平台表达意见、态度、价值取向产生大数据的称作表达大数据,其特点是芜杂、不聚焦;把他们在电商、服务平台通过交易、出行、搜索、浏览等操作形成的大数据称作痕迹大数据,这种大数据具有事后性和碎片性;而动因大数据的价值在探究表达、痕迹背后的态度、心理及场景因素,具有强烈的主动性、目的性、预示性,更好地诠释现象背后的深层关系,解读原因,预测未知。他相信,动因大数据将在表达大数据和痕迹大数据基础上,形成大数据的第三极。这三种大数据相互支撑,相互补充,才是大数据的完整图景。（作者：张文双）

作者简介：

张文双，云图元睿（上海）科技有限公司董事长，主要创始人。经济学专家，营销管理专家，曾任WPP集团旗下国际研究集团中国区副总裁、董事 ，全球研发机构产品评审委员会（PET）成员、营销科学集团（MSG）中国区负责人，战略管理委员会核心成员。美国营销协会（AMA）会员。2017年与合伙人联合创建云图起势（上海）科技有限公司 及云图元睿（上海）科技有限公司。现任云图元睿（上海）科技有限公司董事长、CEO 。

主要研究咨询领域：市场细分战略，新产品研发战略，品类管理战略，品牌资产评估与管理，顾客资产评估与管理，人才资产评估与管理，多源数据整合与挖掘，高级统计分析与建模。（源自：百度百科）

本文作者：郭朝晖@蝈蝈创新随笔

本文是我关于大数据分析方法的几点思考。当初的目的是系统化地看待数据分析。为了这点东西，我花了一个礼拜的时间，思考的结果却是碎片化的。看来，想清楚并不容易。由于时间关系，只能中止。文字描述很不严格、肯定经不起推敲，读者找不毛病是正常的、看不明白更是正常的。不感兴趣的可以当做胡扯。我希望将来有时间时能把问题思考下去。

从数据中发现信息和知识，是人们多年来的梦想。随着大数据理论的兴起，这个话题变得非常热门。在有些人看来，大数据非常神秘，似乎无所不能。当然，现实不会是这样。我想，研究大数据，首先要破除迷信：大数据需要什么条件、什么问题是大数据无法做到的。

1、知识和信息，只能从关联关系中得到

对象（包括过程，如生产过程、购物过程）及其属性、同一对象的属性之间具备关联关系。例如，“张三身高1.8米”就是对象（张三）与属性（身高）的关联；再如，如果我们知道张三体重75公斤，则“1.8米”和“75公斤”之间就因“张三”建立了关联。

关联的对象可能并不确定：我们看到一张履历表，即便隐去名字、不知道这个人是谁，也知道其中的各种信息是与某人关联的。

在数字化的世界里，不和其他的符号（数字）关联的符号（数字）是不包含任何信息的。从不包含信息的素材，得不到包含信息的结论。

有人可能反对这个观点：谷歌曾经用“感冒”的搜索量预报流感啊，这里哪有关联呢？其实，只有搜索“感冒”的数量是根本无法预测流感的。谷歌的做法，是把“感冒”的搜索与搜索的地点、时间联系起来。

这个观点告诉我们：收集数据的时候，要尽可能地把关联关系建立起来；没有关联关系，数据很容易成为垃圾。这种情况并不少见：有些实验室，把针对同一试样的各项实验结果分别保存起来，而没有建立统一的ID、关联关系丢失。这样的数据，再多也没有用处。

2、人们要挖掘的知识和信息，就是找映射关系

知识（或信息）的发现与挖掘，其本质是寻找映射关系：通过已知的、对象的一部分属性，把对象的另外一部分属性或对象本身找出来（或缩小范围）。产生这类问题的原因是：只有一部分属性已知、容易得到、容易识别、容易表述，而另外一部分未知、不容易得到、不容易识别、不容易描述。

例如，我们可以说：张三就是那个穿红衣服的——这里“穿红衣服”比其他特征容易识别。从衣服识别出张三，就是从张三的衣着特征（属性）找到关联对象（张三）的信息；从一个人的身高预估他的体重，就是从一个根据一类属性估计另外一类属性。

我习惯于把信息挖掘和知识发现分开。

在本文中，信息挖掘指的是预测某个特定对象的属性，如上海市的人口是多少；知识发现是确定一类对象的属性之间的关系，如一类人群中身高和体重的关系。当然，这种区分不是绝对的。

3、映射关系的差别

正确的识别，最好的办法是找到好的素材（数据）。素材与结果之间的关联强度是不一样的：有的比较强，是因果关系、必然联系；有的比较弱，是相关关系、偶然联系。

例如，我们可以根据DNA、相貌、衣服来识别一个人。但三者相比，DNA的联系是强的必然性联系、衣服是弱的偶然性联系，相貌是介于两者之间的联系。大数据的一个著名案例，是网站根据客户买的药判断她已怀孕、并推送有关产品：因为这种药只有孕妇才吃，是很强的关联。

从数据得到的知识和信息，往往不是绝对正确。一般来说，可靠的结论基于可靠的数据和可靠的分析方法。数据量大了以后，滤除干扰的可能性增大，从而可以从原来可靠度低的数据中，得到可靠性相对较高的数据。

所以，尽量找到好的素材，是做好分析的第一步。

在很多情况下，我们找不到好的素材。这时，首先要做的尽量提高数据质量。数据质量不仅是精度问题，还包括数据来源的可靠性：为此，需要把数据来源的相关过程要搞清楚，否则很可能会误导人的分析。

4、相关与因果

有些相关性的背后，一般会有因果关系存在。两个要素由因果产生关联的机制大概可以分成两类：1、两个要素具有因果的关系：比如刚做父亲的青年人常会买尿布；2、共同原因导致的两个结果之间的关系：比如孩子的父亲会常买啤酒，也常买尿布；于是，啤酒和尿布就可能关联起来。

有些相关性，看似没有因果，但背后往往有某些特殊的规律或因素其作用（上述第二种情况）。比如，女孩子往往喜欢花衣服，与基因和文化的共性有关。但这种因果关系可能相隔太远，以至于难以考证了。

当人们需要根据关系作出决策时，需要研究因果的逻辑关系：到底是谁影响了谁。否则，根据分析结构的盲目行为可能适得其反。 “到底谁影响了谁”为什么会成为问题？大概有两类原因：

第一类原因是：忽视了时间因素。如“统计结果表明，练太极拳的身体差”。现实却是：很多人身体变差（包括衰老）以后，才练太极拳。一般来说，具有因果关系的两个要素之间，时间上有前后关系：原因早前，结果在后。

第二类原因是：忽视了前导因素。“公鸡一叫，天就亮了”。现实却是，天量之前的迹象被公鸡察觉到了。两者是第二种因果关系，只是看似“原因在后、结果在前”了。

一般来说，工业大数据分析更重视因果，而商务大数据分析对因果性的要求较弱。

5、数据分析的先导因素

从某种意义上说，数据分析的过程，就是寻找强的相关关系（必然性、因果性），或对弱的相关关系进行综合、得到强的相关关系。

用数据发现信息，需要用到各种知识。例如，把“云南白药是用于治疗外伤的”放入计算机，当某人购买白药的行为判断他或家人可能受伤，从而可以推荐相关产品。但注意到：这种类型的知识很可能是被人事先装入计算机的，而不是靠计算机自动学习得到的。

所有的学习过程，本质上都是基于这样一种假设：A和B的一部分属性类似，则推测另一部分属性也应该类似。例如，A和B的身高相似，则体重也可能相似。现实中，两个属性确实具有强烈的相关性，但身高相同而体重不同的也大有人在。这时，如果我们还知道他的体型，是瘦弱、偏瘦、正常、偏胖、肥胖型，对体重的估计就可以准确一些。由此可见，用数据发现知识的过程，本质上就是提高相关性、可靠性的过程。

一般来说，人们在做数据分析之前，一定会有一定的知识积淀， 但认识不清却是一种常态；人们希望通过对数据的分析，来改变这种常态。而改变认识的过程依赖于数据的质量和分析数据的方法。所以，刨除分析方法外，分析过程依赖于两个先导性因素：1、数据质量（包含多方面的含义）如何；人们已有的认识如何。

注意，这段说法有个潜台词：强调了人类可认识的知识，而不是机器用复杂函数关系表述的、人类难以用逻辑关系认知的知识（如神经元）。的确如此，笔者一直认为：这类方法的作用被学术界有意识地夸大了。

6、数据分析的过程

与商业大数据相比，工业大数据更重视可靠性和精确性。在很多情况下，猜出一个结论并不难，难的是论证一个结论。一般来说，凡是可靠的知识，都应该能够被机理和数据双重认证。

大数据分析的一个重要特征是：传统概率理论的假设往往不成立。例如：大数定理的条件往往不成立、模型的结构往往未知、因果关系不是天然清晰、自变量的误差往往不能忽略、数据分布往往是没有规律的。所以，为了得到可靠的结果，人们工作的重点很可能是验证这些条件、构造这些条件。从某种意义上说，数据分析的过程，主要是排除干扰的过程、特别是排除系统干扰的过程。而且，如果完全依照逻辑、用纯粹数学的办法加以论证，则数据需求量会遭遇“组合爆炸”，永远是不够的。这时，已有的领域知识就是降低数据需求量的一种手段。要记住：求得可靠性是一个过程而不是结果、可能永远没有终点；分析的过程只是不断增加证据而已。这个过程，是修正人的认识的过程；所以，错误或不恰当的认识常常是分析过程中最大的干扰——这个干扰一旦去除，我们可能就发现了真正的知识。

数据量大的直接好处，是排除随机性干扰。但排除系统性干扰却不那么容易，数据量大是必要条件但不充分，需要深入的方法研究才能解决问题。

系统性的干扰往往体现在：对主体进行分组，所体现的规律是不同的。比如，身高和体重的统计关系，男女是不同的、不同民族是有差异的、可能与年龄有关。如果不进行分类研究，统计的结果就会与样本的选取有很大关系。但分类研究也会遇到一个困难：遭遇组合爆炸，数据再多都不够用。这时，“领域知识”就会发生作用：

认定一个结论成立的办法，是确认它的“可重复性”。在许多情况下，“可重复性”指的是在各种分组下都成立的结论：最好能在不同时间分组中也能成立。分组越多、分组的维度越多、结论的可靠性越高。

但具有“可重复性”的结论，往往只在一定的范围内成立。在很多情况下，“明确结论成立的范围”也是数据分析的重要内容。

如何分组、如何确定范围、如何构筑逻辑链条、数据结果的解读、数据结果与领域知识的融合，都是重要的能力。事实上，根据领域知识，常常用于构造证据链、进行有效的数据选取和分组。

在精密论证时，我们就会发现：基础数据的质量很重要。因为许多干扰就来源于数据本身。从某种意义上说，数据的采集方法和环境不同，就是不同的数据。

在构建数据分析体系的过程中，也会发现，企业经营的数据分析也确实需要一个可展示的平台，实时展示业务，有问题就优化更新。

FineReport 数据决策系统

7、关于预测数字

许多问题分析的目的得到一个数字：如钢的强度、用电量、人口数量、钢产量。这类问题的特点之一是：最终的结果是各种影响因素相加得到的。

对于这种问题，我的观点是：要想得到可靠的结果，一定要拆成若干子问题来分析。其中，各个子问题要尽可能利用规律性的结果来分析。我认为：把人的认识和数据用到极致的时候，才能得到最好的结果。随便地建立回归模型是不懂数据的表现。