一、大数据应用思维

【例1】

产品经理给大数据部门提了个需求：我想知道所有用户的标签，比如哪些用户喜欢时尚类型的微博、哪些用户是单身狗等，好给这些人针对性推阿里巴巴的广告，而且很急，下个月新版本就要上线。

大数据部门的程序员们收到需求之后，一分析，数据有好几百TB，一台机器跑要跑7个月（200多天），所以得用分布式计算。于是搞了100台服务器，并把这100台服务器分成两部分，一部分有90台，叫Master，负责划分数据，分配数据处理任务；一部分有10台，叫Worker，负责归并数据块，计算出最终结果。

服务器搭建好了，架构弄好以后，程序员开始分头写程序，一部分负责写数据文件的划分，把文件分成一小块一小块来处理；一部分负责写计算任务调度，就是把划分好的数据文件分配到90台Master服务器中；一部分负责写归并处理程序，部署到剩下的10台Worker服务器，接收那90台服务器传过来的数据，并计算结果；一部分负责写出错检测，检查哪些机器挂了导致计算任务停止了，一旦发现出错了，把计算任务分配到其他正常的服务器上计算。

10台Worker服务器根据1，2，3...10，进行了编号，假设每个人的都有一个微博ID（是数字）,按照微博ID的个位数来进行划分，比如我ID是 1001，那我的处理结果会在1号服务器，ID是100213，那么处理结果就在3号服务器。

假设上面的流程都正常，因为机器多了，原本需要200多天的任务，有了100台机器，结果3天就跑完了！得到了这样的微博用户特征（@大师兄[单身概率 88%，科技工作者概率90%，性别男概率100%，本科毕业概率81%，收入水平5000元/月概率 10% ...]）。

二、数据处理的流程

大数据的数据处理这件事用一种非技术的角度来看的话，可以按处理顺序分为三个部分，第一个部分是数据采集，第二个部分是数据存储，第三个部分是数据分析，这也是大数据搭建的基本产品模型。

1、数据采集

● 基本原则

全：多种源（客户端、服务端、数据库等），完善的数据源（零售、C端、电商、供应链等）全量而且非抽样

细：Who、When、Where、How、What

数据采集最重要的就是数据源，数据源好，后面的事情都很容易。但如果数据源就有问题或是太差不全之类的，后面有些问题用再复杂的算法可能都解决不了，可能都是很难得到正确的结论。所以数据采集处理流程有两个基本的原则，一个是全，一个是细。

● 全：就是说我们要拿多种数据源，不能说只拿一个客户端的数据源，服务端的数据源没有拿，数据库的数据源没有拿，做分析的时候没有这些数据你可能是搞歪了。大数据里面讲的是全量，而不是抽样，因为数据之间可能有很大差异。比如纵向里，做全国零售数据分析的时候，不能只把四川或者北京的拿来分析，因为它一定代表不了黑龙江、甘肃等地方，所以必须要全量分析全国数据。横向里，我们在分析某个商品的总的销售情况的时候，我们除了分析线下零售数据还有需要C端外送数据和电商数据，因为一个东西可能在公司的多个业务系统上销售。所以对于多个业务系统的公司，需要每个业务系统涉及的数据都要足够全，不能有任何一个系统有缺失。

● 细：其实就是强调多维度，在采集数据的时候尽量把每一个的维度、属性、字段都给它采集过来。比如：像 where、who、how 这些东西给它替补下来，后面分析的时候就跳不出这些能够所选的这个维度，而不是说开始的时候也围着需求。根据这个需求确定了产生某些数据，到了后面真正有一个新的需求来的时候，又要采集新的数据，这个时候整个迭代周期就会慢很多，效率就会差很多，尽量从源头抓的数据去做好采集。

● 数据清洗：在数据采集过程种需要对源数据做清洗处理。其实也是对数据做加工的过程，确保命名约定，编码结构，属性维度等一致性。因为本身的源数据会存在垃圾数据，本身也是杂乱的没有很好的逻辑，数据清洗的过程就是让数据更具逻辑性，更干净有序的存储。

2、数据存储

①、数据建模

数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后，在visio或erwin等工具建立数据库实体以及各实体之间关系的过程（实体一般是表）。在软件工程中，数据建模是运用正式的数据建模技术，建立信息系统的数据模型的过程。（百度百科）

数据模型就是对现实世界的一个抽象化的数据的表示。大数据的数据建模则是基于大数据本身的数据量、数据特征、业务需求、还有自身分析重点和目标做的数据模型。我们可以针对分析的需求对数据重新进行解码，它内容可能是一致的，但是我们的组织方式改变了一下。就拿用户行为这块数据来说，就可以对它进行一个抽象，然后重新把它作为一个判断表。数据建模时常常考虑的有两个概念，一个是维度，一个是指标

通常各个业务系统，一般前端做一个请求，然后对请求经过处理，再更新到数据库里面去，数据库里面建了一系列的数据表，数据表之间都是很多的依赖关系。这些表一个业务项发展差不多一年以上它可能就牵扯到几十张甚至上百张数据表，然后把这个表直接提供给业务分析人员去使用，理解起来难度是非常大的。数据建模则可以把这些关系重构，让业务人员更容易理解。

②、数据仓库

● 面向主题：数据仓库是围绕着一些主题，如顾客，供应商，产品，销售等创建的。数据仓库关注决策者的数据建模与分析，排除对决策无用的数据，提供特定简单明确的数据视图。

● 集成：构造数据仓库时，数据来源是多种异构的数据源，使用数据清洗和数据集成技术，确保命名约定，编码结构，属性维度等一致性。

● 伴随时间变化：数据仓库存储从时间维度提供信息，所以每一条数据必须包含时间维度，同时也就需要各个业务系统在建表时加入“创建时间、修改时间、创建人、修改人、是否删除”五个字段

● 非易失：数据仓库不同于普通的业务应用数据，它跟操作环境下的应用数据是分离的，所以它不需要参与事务处理和并发控制。通常它只需要两种数据访问：数据的装入（抽取）和数据访问，不存在数据更新或者数据删除，所以数据修改时需要加入数据修改时间、修改人，数据删除时在数仓标记数据已经删除。

数据仓库在创建的时候需要分库和分表：创建表时根据数据清洗阶段进行分库，根据主题域进行分表。

③、数据集市

数据集市(Data Mart) ，也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。数据中心的重点就在于它迎合了专业用户群体的特殊需求，在分析、内容、表现，以及易用方面。数据中心的用户希望数据是由他们熟悉的术语表现的。

用通俗的话说数据仓库是为数据集市提供服务，在数据仓库里，每个数据单元都与特定的时间相关。数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策。而数据集市就是数据仓库的一个子集，他主要面向部门级业务，并且只面向某个特定的主题。为了解决灵活性与性能之间的矛盾，数据集市就是数据仓库体系结构中增加的一种小型的部门或工作组级别的数据仓库。数据集市存储为特定用户预先计算好的数据，从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。

在数据结构上，数据仓库是面向主题的、集成的数据的集合。而数据集市通常被定义为星型结构或者雪花型数据结构，数据集市一般是由一张事实表和几张维表组成的。

数据集市特点：

● 数据集市的特征包括规模小。

● 有特定的应用。

● 面向部门。

● 由业务部门定义、设计和开发。

● 业务部门管理和维护。

● 能快速实现。

● 购买较便宜。

● 投资快速回收。

● 工具集的紧密集成。

● 提供更详细的、预先存在的、数据仓库的摘要子集。

● 可升级到完整的数据仓库。

3、数据分析

当数据采集回来并存储好以后就可以在这基础上运用这些数据来做数据分析了，对于互联网产品常用的分析方式有四种：

①、多维度分析： 多维事件的分析，对不同维度之间的组合、关系进行分析。

②、漏斗分析：对于电商、订单相关的这种行为的产品来说非常重要，要看不同的渠道转化这些东西，一个用户从做第一步操作到后面每一步操作，可能是一个杂的过程。

③、留存分析：用户来了之后我们希望他不断的来，不断的进行购买，这就是留存。

④、回访分析：回访是留存的一种特别的形式，可以看他一段时间内访问的频次，或者访问的时间段的情况

上面说的四种分析结合起来去使用，对一个产品的数据支撑、数据驱动的这种深度就要比只是看一个宏观的访问量或者活跃用户数就要深入很多。

随着互联网时代的发展。大数据化时代的到来给很多企业带来本质的改变。在制造系统和商业环境变得日益复杂的今天，利用大数据去解决某些问题和积累知识或许是更加高效、便捷的方式。“大数据的目的并不是追求数据量大，而是通过系统式的数据收集和分析手段，实现价值的最大化。所以推动智能制造的并不是大数据本身，而是大数据的分析技术，”数据本身不会说话，也不会直接创造价值，真正为企业带来价值的是数据经过实时分析后及时地流向决策链的各个环节，或是成为面向客户创造价值服务的内容和依据。大数据技术的快速发展，也将用户的行为追踪变得更为便利。

大大神平台采用大数据庞大的用户基数和强大的数据处理能力，将需求方、供应方、资源方通过大数据技术全线打通。使得用户发布的软件需求平台可通过关键词利用大数据智能匹配出产品经理，让符合用户的产品经理从量级和精准度方面脱颖而出。 通过大数据分析精准了解需求者所想要做的软件一个领域和特点，并以此为依据，通过平台进行资源的精准匹配，并最终通过大数据分析精准细致的给出用户满意的效果。

智能匹配：

每一组数据和一个社会现象之间，都存在千线万缕的联系。比如，如果你所写的需求中多次出现商城类型的文字，大数据就会抓取多次出现的关键词，并通过各种数据模型的设计，去分析用户需求的所需要的是那一方面的产品经理。

抓住这一切入点，以“智能大数据”为核心驱动力，平台建立产品经理的专业领域标签、个人简介、擅长行业记录数据库，通过这些数据库预测需求者的所需。大数据时代让我们更容易获取对用户的洞察，当所有的行为和信息都被记下来以后，可能你所需要的产品经理可以被推荐和推荐平台上面的产品。大数据应用在个性化营销方面也可以让我们生活得更轻松。解决电商营销中“如何将推广信息与目标消费匹配”的行业难题。

大数据不仅可以实现需求和资源最简便的对接，实现丰富的智慧流通方式，还可以用更少的精力和成本，获得更优的闲置资产盘活和消费投资效果。

腾讯大数据产品总监洪桃李：信息泛滥 移动数据化产品如何发展

在数据化产品泛滥的今天,不少开发者都有这样的疑问:现阶段应该在哪些方面来关注数据的核心诉求。洪桃李根据自己目前接触过的开发者与客户,为我们分析数据化产品的现状以及腾讯移动数据化产品的发展之路，总结出目前阶段比较重要的三点核心诉求:

一、要有灵活的数据采集

因为所有的大数据和AI的基础都需要有准确的有效的数据,业务变化非常快,所以数据需求非常灵活。如果想要采集什么数据,就要修改代码里面的埋点,然后测试发布,之后应用商店的审核,这可能几个星期过去了,不能满足业务随需应变的需求。

二、要有强大的计算能力

因为大数据的分析跟计算是非常消耗资源的。就这一点来说,腾讯MTA每天有4000亿的数据上报量,同时拥有几千台机器的集群,这样的资源共享是一般的产品或者是中小企业没办法具备的,因为任何一个公司现在数据量都非常大,只要想采集的点足够多,那数据就会就膨胀得非常夸张。

三、精准的分析和挖掘的能力

有了大量数据之后就要考虑这些问题:怎样挖掘出有价值的内容、怎样分析这个用户的行为特征、怎样知道这个用户更精准画像、怎样给用户打上标签、怎样用户进行分群、怎样给他做精准化的营销和用户触达,这些问题都是数据应用层面的。作为腾讯大数据平台,恰好在这方面积累非常深厚,在公司内部的推荐、数字化营销、广告等方面都有应用。

数据堂齐红威：大势所趋 大数据需求会慢慢爆发

数据堂创始人兼CEO齐红威出席爱分析线下活动“析议”第2期，并就“大数据变现”这一主题的观点，从关注哪类数据、如何采集数据以及如何提供数据服务等方面，阐述了他对数据源的产业现状与趋势。

在如何注重数据融合方面，齐红威认为，初创公司最好以线下行业和政府数据作为切入点，不要从线上数据开始，互联网公司有数据，但是能公开的量不大，价值度不够深。数据融合非常重要，大数据发展到现在，很多团队都有机会获取优质数据，但问题是能不能把数据打通，这是个IDMAPPING的问题。

在现场，齐红威还就大数据行业的趋势以及细分领域的发展分享了自己的观点。他觉得有宏观的因素，又有微观的因素。宏观上，从15年股灾之后，整个大环境都不好，大家心理上会受很大影响;微观上，大数据疯狂投资期已经过了，现在到精挑细选的阶段了，大家会比较谨慎。

纷享销客创始人罗旭：站在产业发展风口 数据将是企业未来价值无可限量的资产

罗旭认为，未来，数据会给人重新赋能，对公司也是。企业的行为数据、结果数据和逻辑数据将是企业未来无可限量的资产，通过计算建模，可以促进企业经营管理更加智能、有效，将来会是比企业的现金资产更有价值的资产。如果企业到今天还不注重通过云服务平台把企业的行为数据、结果数据和逻辑数据沉淀下来，某一天企业的管理跨入数据时代的时候，与对手的差距将是巨大的。

那么，什么样的数据公司或者数据应用未来将最获青睐？罗旭指出，第一要有清晰的数据场景，第二要有特定数据场景下的充分饱满的数据，具体来说就是获得数据的宽度要足够宽、获得数据的速度要足够快、数据的逻辑要明确，这样的公司才是好的大数据公司，不是说它要有大，而是得有多“专”多“垂直”。

谈及贵州大数据如何进一步发展，他认为，除了做大数据基地、办展会，还必须要在贵州扶持发展脊梁型的企业，就像硅谷有苹果公司、杭州有阿里巴巴、深圳有腾讯。优秀的公司不是从天上掉下来的，是从“土里长出来”的，贵州要创造好的土壤环境，让优秀的种子在这里可以“疯长”。贵州发展大数据产业要志存高远，立足中国、面向世界，立志做亚洲的大数据中心。

小刀马

众所周知，互联网巨头对于大数据应用和云计算布局都非常在意，我们也看到了太多的应用场景都是依托在数据精准测试之下的一种拓展，无论是共享单车带来的共享经济模式，还是人工智能、物联网都离不开数据的支持，甚至越来越多的商业行为也成为大数据的最好载体。包括移动支付等等都以大数据为应用场景来驱动带来的一种需求拓展。在这方面，包括BAT乃至更多的电商、新经济企业、新互联企业都在这方面尝试，有的是亲自布局，有的是参与应用，有的是为了不被摆脱而努力参与。

在阿里巴巴主办的2017天下网商大会上，阿里巴巴CEO张勇表示，我们在从满足需求走向创造需求，最重要的是今天我们跟消费者的接触点，通过互联网能够获得大量的消费者需求的迹象和痕迹。那么我们应该如何理解这种说法呢？我们观察有几个迹象可以长期关注：

其一是“消费者需求的迹象和痕迹”说明大数据应用的宽度正在被不断延伸。这时候我们再看BAT对于云计算的争夺，尤其是阿里巴巴和腾讯更是势在必得的原因所在了吧？其实，除了中国市场，在海外市场，我们看到微软、亚马逊、苹果、谷歌、IBM、Facebook都在布局云计算和大数据市场，尤其值得研究的是为何是亚马逊的云计算获得的成绩最大？而不是谷歌或者微软？这是值得思考的。其实在海外市场，一样存在着“二选一”问题，亚马逊和沃尔玛就有这样的争夺，选择其一就不要再选另一家了。这不仅仅是利益的博弈，也是对各自价值的认同，供应商、供货商，甚至运输企业都需要进行二选一的抉择。也很难说孰对孰错，只能说更加认可哪种模式。

其二是创造需求说明了什么？其实我们先看看最近比较火爆的阿里巴巴正在推出的“淘咖啡”，这种无人便利店模式，实际上就是在创造需求。此外，对于阿里巴巴来说，无论是蚂蚁金服还是支付宝钱包，也一直在创造需求。这是在引导消费者的一种消费（或者说适应消费）模式。在这方面，有点像马化腾提出的场景模式，而阿里巴巴更加倡导的是数据模式或者数据驱动。而撇开模式不说，任何一家企业也都不是完全绝对的单一模式，而是相互咬合，相互渗透，相互交叉，在各种应用和场景中都在搭建属于自己的优势和应用。在这方面，近年来，无论是阿里巴巴还是腾讯，竞争咬合的更加激烈，很多时候甚至是短兵相接的。

其三是企业运营的变化越来越多元。这里说的多元化不仅仅是布局多元，交叉多元，甚至在自己的“生态”中不断地完善，不断地拓展，寻求更多的边界效应，从而带来联动效果，如果能在一定范围内形成长尾效应就更是可遇而不可求了。逍遥子也说了，“越来越多的企业走向多元化，有一部分企业开始走向整个供应链的上游，做到了Made in internet。”这是在综合分析之后的一种应对，或者策略的堆积。

其四是线下线上的边界会越来越模糊。很多时候，或许我们讲，已经无法再区分到底是线上电商还是线下实体，互相咬合互相补充互相融合的步伐会更快。无论是大企业还是小网店，或许都会经历这样的一种趋势。也如逍遥子说羊，新一代的网商会在一个全新的购物体验当中，面临着怎么样用好线上跟线下的关系、怎么样重新构建零售场景、怎么样让我们的货品更好的跟消费者结合等问题。“有些人希望能够线上和线下去结合，去尝试，有些人善于做粉丝运营，我们需要百花齐放的网商群体，只有这样，我们才能够真正推动消费升级，只有这样我们才能够有多元化的供给，我们才能够满足明天的需求。”张勇说。

其五是大数据之外，人工智能的应用边界也会越来越宽泛。正如百度刚刚结束的AI大会传递的消息一样，人工智能会成为下一个革命。也如逍遥子所言，“我们无论是销售在互联网、营销在互联网上、服务在互联网上还是我们最终走向制造在互联网上，真正用制造来推动消费的变革，用大数据驱动的新制造，用新技术驱动的新制造，驱动消费者变革，其实我们走在路上。”这才是根本。

最后再引用李彦宏的一句话：AI，让复杂的世界变得简单。李彦宏表示：“有一天无人车能够真的变成主流的时候，基本上大多数人生命就可以保留住，无论经济意义，还是社会意义都是非常大的。”而这何尝不是一种应用需求？甚至可以说创造出来的需求。

最近大数据人才又在小编这里火了一把，原因是月薪一万多招不到人！

据了解，现在市场上大数据人才不仅紧缺，而且薪资都非常可观。尤其是在国家成立“大数据战略重点实验室”将大数据技术提升至国家战略层面、第五次人名代表大会首次明确大数据上升为国家层面后，大数据人才受到各大高校的重视！

大数据不仅会促进社会的极速发展，也必将推动国家的发展。

大数据人才究竟有多缺？来，让我们看下面一组数据。

6亿互联网用户的需求，700万大数据行业的人才需求，促使很多就业机会在不断增加。“在如此海量人才缺口背景下，现在学习大数据技术一定成就高薪未来。”陕西华信智原大数据总监刘老师如是说。

那么如果要从事大数据行业，未来可以在哪些行业就业呢？

在这里，陕西华信智原大数据总监刘老师也给大家道出了所从事行业：“大数据开发工程师、大数据开发工程师、大数据可视化工程、大数据分析师、大数据存储工程师、数据挖掘工程师等。总体来说薪资都在15000元左右。”

话分两头，据说这招大数据人才在小编公司可是引起了很大波澜，从今年年初到现在已经大半年时间，硬是没有招到一个适合的人才。最终在小编北京朋友的引荐下遇到一个合适的人才。

“不要说在西安了，在北京大数据这类人才都很稀缺。”华信智原苟老师表示说，“现如今很多高校都设置了这个专业，未来大数据肯定是一个大的发展方向。”

如此高的薪资，加上市场对此类人才的巨大需求，现在学习大数据专业，未来就业还会愁吗？

我国从2015年提出了国家大数据战略，大数据已经成为企业品牌应对市场变化和占据市场先机的重要手段，是企业转型升级、科学运营、科学管理、营销推广的指导工具。下面高端营销推广平台鹿豹座就来介绍下大数据分析的解决方案。

2011年-2017年以来，大数据的百度指数从微弱的不足100点飙升至10435点，获得了各行业的广泛关注和高度重视。以鹿豹座大数据服务为例，鹿豹座致力于把互联网巨头垄断大数据的现状变成普惠型数据分享，让更多的大中型企业和发展中的潜力企业能更好地利用互联网大数据，发挥大数据千里眼、顺风耳的作用，为品牌营销推广做正确导航。截止2017年年底，鹿豹座平台与ICIBD已经合作覆盖了500多个行业及产品类别的互联网大数据分析。

大数据数据分析一般技巧

①通过中国互联网大数据了解产品的消费者需求偏好、增长趋势、同行竞争、消费数据、政策环境、广告消费、市场前景等，指导产品研发设计及市场定价策略;

②消费升级后，高端消费者在购买产品时关心的产品知识是什么，信任什么网络信息渠道，分析用户心理和关注因素，制定宣传策略和选择宣传方式;

③分析行业龙头的网络宣传策略，并了解消费者选择品牌时关注的购买因素，制定差异化营销策略，用消费者喜欢的内容和方式巧妙取胜;

大数据对于品牌推广作用

①借助大数据制定品牌推广策略，提升品牌知名度、影响力、良好口碑，集团公司整体形象宣传;

②通过大数据，锁定目标招商对象，为品牌做招商加盟宣传、品牌连锁店宣传，通过网络扩大招商影响;

③通过对企业品牌节假日促销/活动/开业/庆典/展会等的线上二次宣传，扩大活动营销效果;

④企业上市宣传、企业海外上市宣传、上市公司网络形象优化、上市公关服务;

⑤产品宣传、新品上市、产品扩大知名度、产品快速进行展现、产品线上宣传等。

大数据如何应用于电商推广

①电商品牌重要节庆宣传，如双十一促销、中秋节促销、年货节促销等。提前1-2个月覆盖精准客户关心的话题、分析潜在需求数据;

②电商品牌全年品牌推广计划，品牌全网宣传包年合作，全面打造淘品牌。通过大数据分析客户需求、关心元素、品牌排名等，刺激用户购买需求，提升品牌口碑。

高端营销推广平台鹿豹座认为，依托多平台的大数据采集，以及大数据技术的分析与预测能力，能够使推广更加精准有效，给品牌企业带来更高的投资回报率。未来企业如想进一步提升品牌知名度并准确把握市场走向，进行大数据营销是必不可少的。

好程序员致力于移动互联网精英人才培养，开设全栈HTML5+、大数据+人工智能、JavaEE+云数据等多门课程。学员入职阿里、新浪、百度、搜狗等知名企业屡见不鲜，成就学员转行、就业，拿高薪进名企的梦想。大数据+人工智能课程2月26日、全栈HTML5+6期班3月26日开班在即，现报名免费试学30天，学费优惠5000元。

你好，大数据分析师专业已经上线，但是很多人看见这个专业瞬间蒙圈！感觉真的是高难度的一个专业！但是，其实他就是相对于传统的数据更庞大，分析更精准，同时给企业高层提供精准决策。当然，这是一切都是有用工具来实现的。

一、大数据分析师现在的行业需求量非常大吗？其实我也不知道。但是我用这组数据还说明：

从20世纪90年代起，欧美国家开始大量培养数据分析师，直到现在，对数据分析师的需求仍然长盛不衰，而且还有扩展之势。

根据美国劳工部预测，到2018年，数据分析师的需求量将增长20%。就算你不是数据分析师，但数据分析技能也是未来必不可少的工作技能之一。据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

目前，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。

在数据分析行业发展成熟的国家，90%的市场决策和经营决策都是通过数据分析研究确定的。

二、学完大数据分析师薪资到底有多少呢？

有媒体报道，在美国，大数据分析师平均每年薪酬高达17.5万美元，而国内顶尖互联网公司，大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%，且颇受企业重视。

国内某大型招聘平台给出的数据分析师平均薪酬为：9724（取自 1139份样本），且北京、上海、广州、深圳、杭州、南京、武汉、成都、长沙为大数据分析师需求量前十的城市。

三、如何成为大数据分析师呢？

相信很多人对大数据行业非常感兴趣。但是零基础的学生发愁，担心自己能不能学会这个专业。很多人会发愁这个问题。

华信智原（南京）从事IT教育培训行业十余载，结合企业用人需求已经研发出专属零基础学员的定制课程，个性化培训。项目实训及演练+大数据行业专家级讲师授课，让你在短短数月的时间内成为一名合格的大数据分析师。而且学完保就业！薪资不低于6000元。名额有限，报名从速！！！

盘点近几年的IT领域热门词汇:大数据、云计算、虚拟化、云存储、云服务等，几乎贯穿到所有信息技术领域的产品推广、解决方案和系统规划中。

面对大数据安全，安防行业的重视程度有何影响？

在网络安全法的要求下，如果安防产品存在明显的安全漏洞，造成使用者或消费者财产损失或其他损害的，应由厂家承担相应的经济赔偿责任，同时生产厂商应及时为用户提供免费的修补安防产品安全漏洞的技术服务。

这就对安防厂商的资质提出了更高的要求，不具备强大技术实力的厂商显然会逐渐被市场所淘汰。在这种情况下，诸如海康威视、蓝色星际、大华等具有强大安防技术实力的厂商无疑将迎来更多竞争机会。

在大数据的思想下，不追求个体数据的精确性，而是在海量数据中挖掘出规律性本质。 在这里，所有的基于结构化数据的检索与数据挖掘计算的服务得以实现。 同时，为实现更多的智能化业务，在数据应用服务层，也提供基于流式数据处理的视频智能分析服务。

面对安防大数据，视频监控业务将面临海量非结构化数据存储、数据共享、数据安全及数据利用四大难题。基于数据应用服务的计算结果，在数据可视化层进行呈现。

例如指挥中心的大屏显示，或者是基于电子地图的实时轨迹显示，或是基于交通流量统计的多种形式的信息发布等。 而贯穿整个系统架构的基础则是IP全交换技术。 摆脱了传统流媒体转发的技术，IP全交换技术可以大幅提高数据在网络中交互的效率。

大数据对安防重要性不言而喻

在AI时代，谁获取了场景化海量数据，谁就掌握了进入该领域通行证。从行业发展来看，无论是传统安防企业还是新晋AI算法企业，通过与各地公安业务部门成立联合实验室，向垂直应用领域提供技术，各地公安业务部门提供大数据支撑，双方共同开发垂直行业应用，并复制到其他领域，进而实现双赢。

宇视科技产品线总工程师朱兵表示，“从技术发的脉络来看，视频是最重要、最丰富、最有价值的数据源，当我们对视频监控的诉求从看得更久、看得更远、看得更清楚转化为如何管理、组织和使用这些信息， IT与安防深入融合，使安防行业变革彻底深入到业务模式上探究。”

他分析称，从市场发展大势来看，十年平安城市项目建设，产生了海量视频数据。但是，大数据技术战略意义不在于掌握庞大数据信息，而在于对这些含有意义数据进行专业化处理。换言之，在于如何让数据会“说话”。如何将海量的数据变成落地民生，进行商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况是顺应智慧城市、民用安防以及消费类视频市场的趋势所在。

安防大数据价值不仅仅在安防行业领域，其对安防边界扩宽起到非常大作用，在智能家居、楼宇、超市、地铁、人流疏导等区域所起作用也越来越大，通过成熟的智能算法和分析技术，厂商可以在视频数据中获得用户行为数据，并与第三方合作公司一起开发大数据相关业务，为用户提供精准服务，让安防产业触角向其他行业延伸，打造产业新增长点。

安防大数据面临问题

安防大数据涉及的类型比较多，主要包含结构化、半结构化和非结构化的数据信息。其中结构化数据主要包括报警记录、系统日志、运维数据、摘要分析结构化描述记录以及各种相关的信息数据库，如人口库、六合一系统信息等；半结构化数据如人脸建模数据、指纹记录等；而非结构化数据主要包括视频录像和图片记录，如监控、报警、视频摘要等录像信息和卡口、人脸等图片信息。

区别于其他行业大数据特点，安防大数据以非结构化的视频和图片为主，如何对非结构化的数据进行分析、提取、挖掘及处理，对安防行业提出了更多挑战。

此外，存储成本高和快速检索困难也是安防大数据面临的问题。

①存储成本高。视频图像特别是高清视频占存储空间大，监控视频数据通常只存储一个月，关键信息无法得到长时间保存，而且保存时间越长，成本就越高。

②快速检索困难。监控图像资源中包含大量冗余的数据信息，让用户从这些数据中自行寻找线索，不亚于大海捞针。人工的数据回溯，不仅占用了大量的人力、物力和时间，同时由于个人能力的差异也会导致针对视频的认知偏差。例如道路监控仅针对卡口实现了主干道的车辆识别，覆盖面有限，其他活动目标及特征无法获取,大多依靠人工进行收集和处理，难以结合多种时空交叉数据进行快速检索和研判比对。

结语：高清化、网络化和智能化的安防行业在新的纪元中，虽然会面临这样那样的问题，但是我相信随着云计算和大数据应用技术的成熟和完善，行业势必会更快速的发展，更加有力的推动社会的进步和发展。

后web2.0时代，互联网、物联网每天都在生产大量数据，人们对于这些庞大数据资源的价值渴求，使得“大数据”的概念得以问世。如果说“数据”是支撑未来核心技术的基础“原材料”，那么“大数据”正在演变成一种战略资源，当“用户需求导向”成为企业共识，大数据的收集、挖掘和分析开始支撑企业的业务运转、营销策略乃至战略方向，数据成为企业愈加珍视的宝贵资产。

目前，建设有大数据平台的企业不在少数，对比传统数据库，大数据平台数据大量集中，且蕴含更高价值，其安全建设要求明显更高。然而，由于大数据平台使用非结构化数据库类型，以及不同于以往应用与数据库，对应相对简单的传统网络结构，大数据平台安全建设为平台开发和运维者提出了难题。

日前，安华金和面向各行业IT运维和开发人群开展了一次大数据安全市场现状和需求调研。希望借此方式了解用户的大数据使用和运维安全现状，发现各行业用户在数据库运维工作中的安全需求，并梳理出整套适用于大数据平台特性的数据安全方案，帮助用户开展安全建设。安华金和从多方通道获取的近400份问卷中抽取170份有效样本进行统计分析，总结归纳出此份《大数据安全市场现状和需求分析》，摘取报告重点分析结论，分享给关注大数据安全的人士。

参与人员概况

抽取调研样本来自不同行业的部门或企业，包括：政府、制造、医疗、金融、通信、教育、能源、交通、保险行业等。调查对象主要为技术人员，直接从事IT运维或技术开发工作，或者为用户提供运维服务、解决方案及相关产品咨询，其中以技术经理、运维工程师、技术开发者占大多数，他们在单位中会指导或直接参与大数据平台的建设和运维，肩负大数据安全建设的责任，这为此份调研报告的客观性、专业度提供了基本的保障。

调查结果

大数据技术应用现状

本次调研中，半数受访者表示已经将大数据技术应用于单位部分业务中，或者明确列在应用计划内，处于技术选型阶段，另外半数受访者虽然没有真正启动大数据应用项目，但同样关注并处于技术调研阶段。同时，在已经投入大数据应用的受访者中，45%的受访者表示将大数据技术应用在了单位核心的数据分析或业务系统中，意味着单位核心业务数据写入大数据平台，这部分数据与平台分析结果具有非常高的商业价值，需要更高敏感度。

可以肯定的是，大数据技术已经受到各行业用户的广泛关注，当市场中近半数群体已经有所动作，一旦行业标杆案例成熟落地，另半数用户的方案复制和普及将很快开展起来。

大数据产品的使用情况

对于很多需要提供24小时不间断服务的网站来说，对数据库系统进行升级和扩展是非常痛苦的事情，往往需要停机维护和数据迁移，除了这些，大数据平台对传统的关系型数据库提出了更多的挑战，包括：高性能的事务管理性要求、读写实时性要求、高可用性要求。因此，在大数据平台的建设中，关系型数据库的很多特性失去了用武之地，非关系型数据库（NoSQL）成为大数据平台的标配。

在本次调研中，我们列出了目前相对常见的几类非关系型数据库产品，希望对几款产品的市场接受度加以了解：

32%的受访者应用了MangoDB数据库，使用最为广泛：Mongo最大的特点是支持的查询语言非常强大，语法类似于面向对象的查询语言，可以实现类似关系数据库单表查询的大部分功能，而且还支持对数据建立索引。MongoDB主要解决的是海量数据的访问效率问题，当数据量达到50GB以上的时候，Mongo的数据库访问速度是MySQL的10倍以上，这也是MongoDB广受青睐的主要原因。

其次为Hbase、Hive、Redis等几类，均在22%左右：Hive与HBase都是基于Hadoop平台的数据仓库工具，其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Spark紧随其后，占比17%：Spark 是一种与 Hadoop 相似的开源集群计算环境，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

此外，在其他选项的答案中也出现了DB2、阿里大数据云等产品。

大数据平台中有哪些数据？

我们谈安全建设的时候，首先要搞清楚保护对象，不同业务类型、不同敏感级别的数据，需要根据其本身的敏感级别以及被访问和使用的情况，选择恰当的保护手段。因此，我们需要了解用户群体到底把哪些数据放到了大数据平台中存储和使用。

调研结果显示，50%的受访者会将“生产数据”放入大数据平台中，也就是单位主营业务系统实时产生的重要数据。这些数据从生产环境直接写入大数据平台，具有很强的实时性和敏感度。

41%的受访者选择“用户资料”，也是企业赖以生存的商业数据；此外，访问日志和交易信息分别有34%和24%的受访者选择。

更有14-15%的受访者表示会将第三方数据和财务数据放在大数据平台中，这里面第三方数据的出现，是指业务中的数据多方共享，测试、开发、分析场景中的数据分发等情况。此外，也有少数受访者提到了企业征信数据。

用户们的安全顾虑

大数据平台中汇集了一个单位方方面面的数据，并向各类对内或对外的业务系统开放接口，这意味着传统环境下的数据安全威胁在大数据应用场景下发生了更复杂的叠加和自由组合。那么用户们对大数据平台的安全顾虑更偏重哪方面呢？

59%的受访者选择漏洞攻击，56%的受访者选择“数据共享安全”，相较传统环境，共享场景下的安全问题在大数据技术的应用中显得更为突出，已经能与传统安全威胁中的“漏洞攻击”打个平手。不难理解，大数据平台除了提供存储和查询的功能，更重要的价值在于数据分析和价值挖掘，这决定了大数据平台需要向多部门甚至多家单位开放，比如政务大数据平台会向该地区各政府单位提供数据接口。

46%的受访者选择“企业机密泄露”，看来用户在安全问题引发的后果中，更担心机密数据泄露，这关乎企业的命脉。

38%的受访者选择“权限控制弱”，这与大数据平台所涉及的人员规模和角色复杂程度有关，目前只有具备一定技术水平的单位具备大数据平台建设能力，但同样需要引入第三方开发、测试人员，在后期的数据维护和挖掘中，需要引入第三方服务公司，这些不同访问角色的权限划分和管控愈加重要。

28%的受访者选择“无审计信息”，可见用户对于大数据平台的审计记录比较关注，这将提供一切安全事件的追责依据。

值得注意的是，只有13%的受访者选择“违反国家法规”，这不同于以往“安全需求多出自政策要求”的传统观念，保障数据安全的刚需成为越来越多用户考虑的重点。

哪些大数据安全产品最受青睐？

传统的安全建设思路对于大数据安全同样适用，但真正落地到技术手段的实现和方案的整合中，非关系型数据库的技术结构比传统关系型数据库难度更大。另外，由于大数据平台的数据访问来源、对象以及过程都要复杂的多，安全策略的制定和实现难度也会更高，那么在数据安全产品的选择上，用户更倾向哪几类呢？

大数据运维管控产品受到59%的受访者青睐，这侧面体现了用户对运维侧的行为管控最为重视，事实上，相比应用侧的数据读写，运维侧的开发、测试、分析人员会拥有更高的数据操作权限，也意味着更高的管控难度。

其次，大数据防火墙产品为41%，由于防火墙多用于应用侧的对外安全防护，也正应了用户对漏洞攻击等外部入侵的安全防护需求。

32%的受访者选择大数据审计，该数字低于运维管控和防火墙产品，这与传统环境下的安全需求差异明显，看来用户更看重能够提供事中管控的安全手段，审计产品的旁路监控和事后追查能力也重要，但看起来没那么迫切。

“大数据风险扫描”、“敏感数据梳理”的选择者各有27%和28%。安全风险扫描能够帮助用户发现安全隐患，如安全漏洞、弱安全配置、弱口令等，有些问题可以人工修复，提高平台安全基线，也能够指导安全方案的规划。敏感数据梳理是整体数据安全建设的基础，但这项技术在规模庞大且数据类型繁杂的大数据平台中落地，会面临不小的挑战。“大数据脱敏”有20%的青睐者，这项技术适用于数据分发和共享场景下的安全需求，但这个数字没有想象中高，也许用户是出于性能考虑？有待观察。

贾文丽

人们的消费日趋个性化，越来越把注意力和金钱的支出方向转移到能够为其提供精神价值的经济形态。文化|旅游|创意|体验

随着第一批00后步入成年，属于他们的新世界也即将开启。腾讯社交洞察等联合发布的《00后研究报告》、驴妈妈旅游网发布《2018毕业旅行消费趋势报告》、携程公布的“青春旅行报告”等旅游平台统计报告，揭示了身为“独生二代”、“与互联网共同成长一代”的00后们独特的旅游需求。

非常道创意评论：2018年是00后的成年元年，整个世界不得不关注逐渐走进社会深处的他们。他们年轻，得为他们打开未知的世界；他们精力充沛，得为他们设计参与式体验产品；他们崇尚自由，得为他们留足自主空间……

零零后特征分析

成长环境决定了00后的价值取向及行为习惯。根据今年腾讯社交洞察、腾讯社交广告联合腾讯CDC发布的《00后研究报告》结果显示，相比于90后，00后的成长环境中物质条件更加优越，家庭资源更为丰厚，家校管教更加民主，网络社交更为便捷，兴趣爱好也更加广泛且投入。

00后表现出更主动地自我认知和自我发展、更积极地探索和表达、更包容并渴望同辈归属、更现实理性地行动等诸多特点。

旅游行为分析

目前，00后绝大部分为学生群体，因此节假日周期性旅游是00后旅游出行的主要特征。根据去哪儿网统计，00后出游月份明显集中在1月、2月和7月、8月的寒暑假。

近两年，携程、途牛、去哪儿、驴妈妈等旅游平台及腾讯等网络公司都统计了00后最热门的国内外旅游城市榜单，虽然榜单排名有所差异，但却也有共同规律：00后等年轻游客夏季最爱“海岛游”，暑期同时也是这帮学生族参加各种“研学旅游”的高峰，近年来00后暑期出境研学游比例持续增高，而无论海内外，红色旅游在年轻群体中的热度也日益上升；而冬季的“温泉游”、“冰雪游”人气高居不下。

如果说90后的中学时代是PC网络时代，那么如今00后的中学时代便是完完全全的移动互联网时代。从小在便捷高效的移动互联网影响下长大的他们在出游过程中网络有更加明显的依赖性，无论是目的地筛选、信息查询、票务及酒店预定，亦或是美食购物、分享交流等，几乎都离不开移动互联网。根据腾讯2017年的出游消费人群统计，00后在旅途中对于社交、视频、新闻类APP的关注度最高。

由此，00后包括部分90后游客旅游行为表现出周边游、碎片化特征，他们更崇尚自由、个性化的行程。他们中的大部分游客在出游中更倾向于到目的地用手机查攻略、看点评、做选择，不像80后那样习惯做完整的出游计划。00后更多地会在结束一个目的地游玩的后就近（地点和时间上）搜索周边有趣景点，临时制定或修改行程，行为活动呈现碎片化及不规律性。

同时，网络社交平台的流行也深深影响了00后的旅游行为，近年来，重庆洪崖洞、西安永兴坊等一批“网红景点”迅速蹿红，让人们不得不重视社交平台的传播力量。00后良好的适应能力使得他们更愿意像个当地人一样吃喝玩乐，并随行记录，分享到社交圈中。

携程五月公布的近一年 “青春旅行报告”中指出，00后最乐意参与的旅游体验方式中，逛集市排名第一，有56%的人选择；走街串巷（City Walk）排名第二，选择度达46%；其他依次还有学做当地菜、参加民俗节日、与当地人闲聊、参加当地夜生活。

此外，旅途聚会是00后在旅途中热衷的一大活动。“青春旅行报告”中显示携程线上“微领队”结伴功能总收到8万多结伴贴，90后、00后占比超过一半，发帖需求多为约饭、约唱K等年轻化体验。这与00后“独二代”的身份息息相关，从小家庭中兄弟姐妹的缺失让他们更渴望获得外界同龄伙伴的认同和陪伴。

《00后研究报告》统计数据显示超过60%的00后会有意识的在社交平台针对不同人群发布特定内容，塑造自己想要的公众形象，所以旅行中如何拥有完美的纪念照片或是视频已经成为00后旅游用户的一堂必修课。

良好的家校环境及发达的网络使00后有更多的机会表达自己的想法、挖掘自身的兴趣，并有能力在自己擅长、喜爱的领域投入时间精力和物力财力。个性化的发展使得他们更加关注个性化、有内涵的事与物。

《00后研究报告》接受调查的00后中，60%表示会了解品牌背后的理念与故事，不只是要更别人的消费不一样。

今年6月，驴妈妈旅游网发布《2018毕业旅行消费趋势报告》，报告中国内最受欢迎（前五）目的地为云南、四川、北京、上海和三亚。根据各年龄段毕业生的旅行消费行为，总结出它们共同特点——既有旖旎美丽的自然风光，又有文艺浪漫的人文情怀。

消费观念随着经济基础一同升级，与90后喜欢“穷游”不同，00后更注重出游的品质体验。在《2018毕业旅行消费趋势报告》中，超5成毕业生旅行预算超过4000元，至于旅行预算的资金来源，有78%的毕业生表示是家庭支持，还有22%的毕业生表示是自己平时打工所得。在毕业旅行预算增加的情况下，出行住宿也由价格需求转向品质需求。青旅、经济型连锁酒店不再是住宿首选。40%的毕业学生偏向于精品酒店或特色民宿；26%的学生选择入住高星酒店，合计占比近7成。

虽然总体消费水平提高，但并不意味着00后花钱大手大脚，绝大部分00后的自我认知很高，能够理性认识自己能够消费什么，携程的“青春旅行报告”指出：“超值、划算”仍是年轻旅客搜索的关键词。

00后的家长大多数为80后，对比各大平台的80后出游规律，不难发现，家庭亲子游所占比例最高，超过50%。暨在近一年时间里，00后在旅行时，有一半左右属于和父母一同出游。

总结与启示

学生族寒暑假周期循环——海岛游、研学游、温泉游、冰雪游最受欢迎。

移动互联网与社交媒体普及——周边游、碎片化特征明显，网红景点与旅途聚会大受追捧，拍照分享塑造个人形象。

自我认知与个性化发展——兴趣领域的细分，故事内涵的关注及理性消费。

物质生活优越——旅游品质的追求。

未成年学生阶段——家庭亲子形式出游。

根据以上00后特征及旅游需求，关于旅游产品设计有几点启发：

寒暑假是00后乃至未来的“10后”等所有受教育阶段人群的集中出游时段，市场庞大，海岛、温泉等热门旅游目的地应结合自身特色，顺应市场，提升旅游项目品质，实现区域内差异化发展。

而对于非热门旅游目的地，可依托周边热门景点，准确定位，功能互补、组合发展，利用新兴社交媒体进行扩大宣传，达到客流共享的目的。

旅游产品的开发设计应加大文化特色的挖掘和演绎，从观光向深度体验过渡。旅游项目可针对不同受众群体进行类型划分，做深做精，充分带动目标客群的感官体验；

不同类型项目之间相互补充，主题上独立统一，空间上聚合共生，功能上差异互补，最大程度满足不同游客需求。

针对学生市场及家庭亲子市场，住宿、游乐、餐饮、交通等具体旅游产品的设计应符合相应的人体尺度及行为习惯，在科学设计的同时不忘趣味性，积极创新、寓教于乐。

▽免责声明▽

文章部分内容来源：和美智业机构，图片来源：腾讯、携程、驴妈妈。版权归原作者所有,我们对作者深表敬意，若有侵权请联系署名或删除。

相关内容

新生代新消费｜ 中国高消费千禧一代的旅游特征分析

“二次元”旅游攻略：90后驱动的新兴旅游市场