腾讯大数据产品总监洪桃李：信息泛滥 移动数据化产品如何发展

在数据化产品泛滥的今天,不少开发者都有这样的疑问:现阶段应该在哪些方面来关注数据的核心诉求。洪桃李根据自己目前接触过的开发者与客户,为我们分析数据化产品的现状以及腾讯移动数据化产品的发展之路，总结出目前阶段比较重要的三点核心诉求:

一、要有灵活的数据采集

因为所有的大数据和AI的基础都需要有准确的有效的数据,业务变化非常快,所以数据需求非常灵活。如果想要采集什么数据,就要修改代码里面的埋点,然后测试发布,之后应用商店的审核,这可能几个星期过去了,不能满足业务随需应变的需求。

二、要有强大的计算能力

因为大数据的分析跟计算是非常消耗资源的。就这一点来说,腾讯MTA每天有4000亿的数据上报量,同时拥有几千台机器的集群,这样的资源共享是一般的产品或者是中小企业没办法具备的,因为任何一个公司现在数据量都非常大,只要想采集的点足够多,那数据就会就膨胀得非常夸张。

三、精准的分析和挖掘的能力

有了大量数据之后就要考虑这些问题:怎样挖掘出有价值的内容、怎样分析这个用户的行为特征、怎样知道这个用户更精准画像、怎样给用户打上标签、怎样用户进行分群、怎样给他做精准化的营销和用户触达,这些问题都是数据应用层面的。作为腾讯大数据平台,恰好在这方面积累非常深厚,在公司内部的推荐、数字化营销、广告等方面都有应用。

数据堂齐红威：大势所趋 大数据需求会慢慢爆发

数据堂创始人兼CEO齐红威出席爱分析线下活动“析议”第2期，并就“大数据变现”这一主题的观点，从关注哪类数据、如何采集数据以及如何提供数据服务等方面，阐述了他对数据源的产业现状与趋势。

在如何注重数据融合方面，齐红威认为，初创公司最好以线下行业和政府数据作为切入点，不要从线上数据开始，互联网公司有数据，但是能公开的量不大，价值度不够深。数据融合非常重要，大数据发展到现在，很多团队都有机会获取优质数据，但问题是能不能把数据打通，这是个IDMAPPING的问题。

在现场，齐红威还就大数据行业的趋势以及细分领域的发展分享了自己的观点。他觉得有宏观的因素，又有微观的因素。宏观上，从15年股灾之后，整个大环境都不好，大家心理上会受很大影响;微观上，大数据疯狂投资期已经过了，现在到精挑细选的阶段了，大家会比较谨慎。

纷享销客创始人罗旭：站在产业发展风口 数据将是企业未来价值无可限量的资产

罗旭认为，未来，数据会给人重新赋能，对公司也是。企业的行为数据、结果数据和逻辑数据将是企业未来无可限量的资产，通过计算建模，可以促进企业经营管理更加智能、有效，将来会是比企业的现金资产更有价值的资产。如果企业到今天还不注重通过云服务平台把企业的行为数据、结果数据和逻辑数据沉淀下来，某一天企业的管理跨入数据时代的时候，与对手的差距将是巨大的。

那么，什么样的数据公司或者数据应用未来将最获青睐？罗旭指出，第一要有清晰的数据场景，第二要有特定数据场景下的充分饱满的数据，具体来说就是获得数据的宽度要足够宽、获得数据的速度要足够快、数据的逻辑要明确，这样的公司才是好的大数据公司，不是说它要有大，而是得有多“专”多“垂直”。

谈及贵州大数据如何进一步发展，他认为，除了做大数据基地、办展会，还必须要在贵州扶持发展脊梁型的企业，就像硅谷有苹果公司、杭州有阿里巴巴、深圳有腾讯。优秀的公司不是从天上掉下来的，是从“土里长出来”的，贵州要创造好的土壤环境，让优秀的种子在这里可以“疯长”。贵州发展大数据产业要志存高远，立足中国、面向世界，立志做亚洲的大数据中心。

2017半年度的销量这几天基本上已经都出来了，我们看到了一堆堆的数据，看到的是一张张的数据表，这些数据表，这些数据看上去只是一个简单的数字，但是从这里面，我们一方面可以看到市场的走势，另外一方面，我们可以看到什么才是最大的需求，到底消费者需要买的是什么。

我们来看第一名，依旧是五菱宏光，

总的销量260081辆，虽然不像宝骏730配有独立后悬，但整体桥也正好符合了装载对于悬架强度的需求。中国第一名的五菱宏光是不是可以和美国第一名的福特F的皮卡车放在一起比较。

不是比较它的参数，而是比较它的用途。五菱宏光在一线城市比较少，但是到小县城，工业相对发达的城市里，它就比较多见了。透光这个，我们可以大致看到国人买车一方面是要求买的各方面档次需要高一点，另外一个方面来说，在实用性上，国人对它的要求还是很高的。

这些看上去不够发达，却成为了工业农业等的新基地，而从另外一个方面，我们可以看到中国汽车市场汽车的一个新走势，也是一个长久以来都一直的走势，主打汽车实用性。

销售排名第二的车大众朗逸

说到大众朗逸，是一款我们大家都很熟悉的大众车。在国内大众车和五菱宏光一样，它的知名度是相当高的，外观耐看，空间不小，油耗不高等都成为了我们看到他之后我们给它贴的标签。

大众朗逸没有什么压倒性的优点，但是也找不到它有哪些致命性的缺点，就是那么一款中性的车，成为众多消费者喜爱的汽车。它符合中国文化对内敛的需求，要的就是那份均衡。

销量第三的车，哈弗H6

说到哈弗H6，的确够时尚，现在马路上看到的哈弗H6还是很多的，跟很多热门车一样，哈弗H6的强势来袭我们看到了中国汽车市场就是需要这么一款强大的SUV，有需求就有市场。哈弗H6从技术层面打开了SUV中国自主品牌汽车市场的大门，外形硬朗又规矩，这样的车符合国人审美

半年度销量的前三款车，我们一方面更多的看到汽车实用性的重要性，另一方面中国汽车市场的确需要一点创新，才能真正的打动消费者。

大数据的核心价值的体现

针对企业数据市场

商业的发展天生就依赖于大量的数据分析来做决策，对于企业用户，更关系的还是决策需求，还有企业营销需求。

针对终端消费者

对大数据的需求主要体现在信息能按需搜索，并能提供友好，可信的信息推荐， 其次是提供高阶服务。

大数据优化资源配置、大数据提高决策能力、智慧驱动下的和谐社会。

1、大数据优化资源配置

个人根据各种数据可以选择适合自己的工作，舒适的居住条件，便利的出行方式；

企业依据各种类数据选择自己的生产经验方向，精细化分工，为空户量身定做产品，实现利益最大化。

2、大数据提高决策能力

这种基于大数据决策的特点是：

一是量变到质变，由于数据被广泛挖掘，决策所依据的信息完整性越来越高，有信息的理性决策在迅速扩大，拍脑袋的盲目决策在急剧缩小；

二是决策技术含量，知识含量大幅度提高；

三是大数据决策催生了很多过去难以想象的重大解决方案。

宏观层面：大数据使经济决策部门可以更敏锐地把握经济走向，制定并实施科学的经济政策；

微观方面：大数据可以提高企业经营决策水平和效率，推动创新，给企业，行业领域带来价值。

3、智慧驱动下的和谐社会，大数据带来全新的生活方式

城市管理是一个辅复杂学科，智慧城市建设是一项复杂的系统工程。对智慧城市的建设应该同时着眼于三个空间的整体。大数据将为智慧城市的建设提供数据支持。

伴随着智慧城市建设的火热进行，大数据应用已进入实质性借的那，有效拉动了大数据市场需求，带动了当地大数据产业的发展，大数据在各个领域的应用价值已得到初显。

数据化：大数据成为企业和社会关注的重要战略资源，企业必须要提前制定大数据营销战略计划，抢占市场先机。

与云计算结合：大数据离不开云处理，自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。

数据管理成为核心竞争力：数据资产管理效率与主营业务收入增长率，销售收入增长率显著正相关，数据资产的管理效果将直接影响企业的财务表现。

质量是关键：很多数据源会带来大量低质量数据，因企业需要理解原始数据，因企业需要理解原始数据与数据分析之间的差距，消除低质量数据以获得最佳决策。

谈到坑爹的“大数据”、“数据挖掘”、“人工智能”等项目需求，必须祭上甲方看了沉默，乙方看了流泪的诗集：《项目五怕》

一怕领导脑子热

最新科技来一个

对着朋友圈里做

管他价值是什么

相当多的“大数据”“数据挖掘”“人工智能”项目，是因为甲方某部门老板迎合上意，追赶潮流才上线的。反正大老板喜欢，管他有什么业务场景，管他有什么商业价值先干起来。

这种项目如果运气好，赶上公司业绩高涨，可能负责人可以平步青云，把屁股留给下一任擦。

如果运气不好，赶上公司业绩下降，就会连负责人带项目一起扫进垃圾堆。

这就是所谓的吉祥物项目。作为乙方，如果脑子一热跟着当吉祥物，很有可能连尾款都收不回来。因为本质上讲，数据类项目很难直接产生价值，需要结合到某个业务场景。所以上项目之前，为项目找个出路是必须的功课。

（过气网红变垃圾，没有实际应用场景，应用不够刚需，场景不够重要，最后项目下场都好不到哪去）

二怕业务没拎清

指望数据治百病

需求写了两句话

各种问题一把抓

一个搞笑的说法是：业务部门眼中excel透视表处理不了的问题都算大数据。加之这几年营销号猛烈鼓吹，造成了很多业务部门对“大数据”“数据挖掘”“人工智能”产生了不切实际的幻想。如果需求是业务部门提的，就得特别思考：他们提的到底是个什么需求？这个需求有没有条件去做？数据能帮到多大程度？

如何梳理需求，展开写一本书都够了，这里只提示一些常见问题：

心口不一，口头问题和实际数据是两码事。

好高骛远，期望值远超过IT实际能力，又不舍得投钱。

期望过高，指望数据能创造奇迹。来个“大数据”一搞，库存就不积压了，客户就接电话了，风险就没了，业绩就有啦。

这些问题，来自业务部门被各路营销号洗脑太深，自己又不懂技术。在谈需求的时候，业务部门写在纸上的一个标点符号都得确认一下。从一开始就控制期望值，找到合理的落地方式，才是跳坑正解。

三怕一线执行懒

数据录入没人管

怎么省事怎么干

数据质量全完蛋

很多答主都提到了数据清洗，有意思的是：相当多的脏数据是人为弄出来的。最典型的，比如在超市购物，收银员问句：“有会员卡吗？”你说：“没有”，他就不管了……这看似一点点疏忽，导致很多商超数据关联到顾客ID的不足10%，这么差的数据基础，除了订单分析以外还能整什么分析？丢掉90%数据建出来的响应模型又有啥用？

更不要说什么渠道操纵业绩，假卡、鬼卡、幽灵卡，羊毛客等等问题。我就遇到过某银行业务员教我：“这里您就填年薪10w不要多也不要少！”的事。实际上，数据化管理做得好的公司，本身管控力与执行力都很强。如果一个公司管控力不足，那做数据项目的同仁们，在许诺数据项目质量的时候，就得嘴下留情了。

四怕落地没支持

指望数据当饭吃

业务部门不行动

哪来业绩往上蹦

最终，数据项目想推动业绩增长，是需要业务部门配合的。如果是营销类项目，需要产品、广告、促销费用；如果是生产类项目，需要操作手册、工作流程、作业培训、执行规范。这是个很浅显的道理：再好的狙击镜也得射手扣扳机才能打死敌人。

然而很多业务部，不是太过迷信数据，就是太过轻视数据。迷信数据的，诸如：“都有精准推送了为什么还要好产品？都有定向营销了为什么还要投促销？”轻视数据的，诸如：“总部懂个屁，我们自己干！”如此这般，空有数据，没有落地，数据的价值如何体现？

然而，现在大量的新人也在助长这种风气。做模型不考虑业务场景，找一个清洗过的数据包，不合适的数据直接丢掉，然后一味追求在测试集跑出来的准确率。似乎不需要了解业务给个数据包就能有95%了，于是就有了第五怕：

五怕新人嘴巴大：

“我懂算法我不怕

管他问题是个啥

代码一跑搞定啦！”

是滴，老兵们都知道做项目水很深。如果需求是IT部提的，那还相对靠谱，至少有懂技术的人帮我们过滤了一次。但如果是业务部门，就真的得打起12分精神。然鹅，新人们往往脑子一热就上了，还喜欢什么复杂上什么。结果吗， 要么被虐的服气，要么被虐的离职。正所谓：新鬼烦冤旧鬼哭。刚入行的同学们不被虐过几次，是很难体会到个中滋味的。

（常举得一个例子，即使通过简单的描述性统计，也能对所谓精准营销的前景进行初步估算。不要小看描述性统计哦，除了做个直方图算个频数，它是快速接近业务，发掘坑点的重要手段）

吐槽归吐槽，说到底，还是想提醒大家做项目时贴近业务的重要性。因为本质上，数据工作是个专业人士服务业余人士的工种。正如同医生给病人看病，医生都是博士以上饱读诗书，可病人却是三教九流各式各色。大部分病人，就是进门只会哼哼：诶呦，诶呦，难受，难受。这时候就得耐心诊断病情，而不是说我有个阿尔法素，一针下去药到病除不是。

PMI-PBA商业分析师认证培训

上海班4月14日开班

新增成都班4月28日开班

IIBA-CBAP商业分析师认证培训

欢迎咨询

↓↓↓

TEL：400-888-5228

回复“PBA”查看PBA商业分析师报名简章

回复“CBAP”查看商业分析师报名简章

大数据营销是指通过互联网采集大量的行为数据，首先帮助广告主找出目标受众，以此对广告投放的内容、时间、形式等进行预判与调配，并最终完成广告投放的营销过程。大数据营销，随着数字生活空间的普及，全球的信息总量正呈现爆炸式增长。基于这个趋势之上的，是大数据、云计算等新概念和新范式的广泛兴起，它们无疑正引领着新一轮的互联网风潮。大数据营销是指通过互联网采集大量的行为数据，首先帮助广告主找出目标受众，以此对广告投放的内容、时间、形式等进行预判与调配，并最终完成广告投放的营销过程。大数据营销，随着数字生活空间的普及，全球的信息总量正呈现爆炸式增长。基于这个趋势之上的，是大数据、云计算等新概念和新范式的广泛兴起，它们无疑正引领着新一轮的互联网风潮。

大数据营销随着大数据概念的提出已成为近三年内业界热议的焦点，但其在企业中的实际应用可追溯到上世纪末的美国。目前，随着媒体形式的丰富和信息技术的完善，大数据营销也随之变革。在其发展过程中，企业营销的基本价值观共体现出以卜两种转变:　　(一)从媒体导向到用户导向　　21世纪初是基于眼球经济的大众媒体营销时代，企业作为品牌推广的实施者和受益者，为了使其宣传活动接触到更多的消费者就需要在受关注程度较高的网站，电视台或纸媒上投放广告以达到提高营销有效率的目的。然而，这种基于大众媒体的营销推广方式虽然到达率高、辐射面广却无法切实掌握受众的动向并控制对其后续的影响。　　因此，企业从媒体导向到用户导向的营销模式转型迫在眉睫。基于客户端的定制化跟进式营销方式逐渐代替了传统的统一化一次性媒体投放，成为了大数据营销的基础和前身。　　(二)从用户主观信息数据库到用户客观行为数据库　　传统的数据营销是一种基于市场调研中的人II统计数据和其他用户主观信息包括生活方式、价值取向等)来推测消费者的需求、购买的可能性和相应的购买力，从而帮助企业细分消费者、确立目标市场并进一步定位产品的营销模式。然而由于消费者主观判断的局限性，据此得出的企业各项调研指标和信息数据可能会误导相关营销人员作出偏离甚至错误的决策。因此，用户的主观信息数据己不再能满足企业营销的需要。相反，通过企业实际观测，能够全方位、多角度、精准、真实地反映用户需求及其他消费数据的用户客观行为数据库随着信息挖掘技术的口趋完善己成为企业营销的一项重要调研依据。

“很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大数据时代又来了。”——马云卸任演讲

      互联网时代的更新速度远远超过你的想象，你不前进必定会被淘汰，身为运营CP的在下，也在不断摸索学习，更新自己的大脑。第四次工业革命以再生能源为基础，数据与内容作为互联网的核心，谁率先与互联网融合，谁就可以从大数据中挖掘金矿。大数据如何应用？大数据挖掘商业价值的方式有4种，简单普及一下：

1.客户群体细分，然后为每个群体量定制特别的服务。2.模拟现实环境，发掘新的需求同时提高投资的回报率。3.加强部门联系，提高整条管理链条和产业链条的效率。4.降低服务成本，发现隐藏线索进行产品和服务的创新。

      大数据的类型可分为3类：传统企业数据、机器合传感数据、社交数据。运营CP所在企业主要涉及社交数据的挖掘。

      我是一名来自互联网数据公司的运营狗(绰号“运营CP”)，我们企业集中服务于4A广告公司，还有一些影视、本土品牌，目的是基于社交媒体上用户的互动数据进而分析特定群体的用户画像，从而降低客服的服务成本。

       目前，我们正在与一家著名的广告公司（简称“A用户”）合作，合力开发出适合本土商业化的社交数据系统。A用户建议先从细分的场景“微博榜单”切入。建立周榜、月榜微博历史数据库，然后再用dashboard展示，根据不同的维度"地区"“年龄”“性别”等挖掘特定用户的兴趣爱好。根据A用户的需求，我们再三确认了微博数据中基于账户分析、账户的粉丝分析、博文的粉丝分析的底层数据确认，然后用数据可视化工具展示，我们可以做到的数据抓取量、数据维度、数据分析的DEMO。经用户确认可行性，再次完善数据量，做成多维度的，符合用户使用习惯的定制系统。

      过程中碰到各种问题：1、用户的需求又在不断的加大加深？（建议营销人员打太极）2、部门之间的配管理掉链子？（建议互联网企业按照项目，制定合理的制度流程）

       这个项目中，学习到一个很有用的数据工具Tableau，有兴趣的可以去试试。下次干货《可视化数据工具如何使用？》

前沿技术普及系列·写在前面

不知道大家有没有和象牙妹儿一样的感觉，就是最近1年很多AI产品铺天盖地的来到了我们的生活，比如某些家的智能陪伴音响、翻译棒、智能机器人、AR拍照手机等等。

这里面背后的前沿技术大数据、云计算、区块链、物联网、 5G、数字化…前几年甚至现在听着还很遥远，却已有不少在冲击着商业的世界，渗透进我们的生活！

如何拨开层层浓雾，抵达未来的彼岸？如何把握技术的钥匙，启开未来商业世界的大门!

大象互联网圈发起主办的第二届中国【郑州】开发者大会不但关注技术·商业的融合，也关注着前沿技术的分享。

因此，从今天起，大象互联网圈公众号将目光聚焦在大数据、云计算、物联网IOT、人工智能AI、区块链、VR/AR等板块，一一从概念层、目前行业发展状况、企业实际应用层、技术层、岗位前景等为大家带来干货的普及，快来和象牙儿妹一块围观吧！

本文由“壹伴编辑器”提供技术支持

正文

如果你说大数据就是数据大，或者侃侃而谈4个V，也许很有深度的谈到BI或预测的价值，又或者拿Google和Amazon举例，技术流可能会聊起hadoop和Cloud Computing，不管对错，只是无法勾勒对大数据的整体认识，不说是片面，但至少有些管窥蠡测，也许“解构”是最好的方法。

首先，大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

其次，想要系统的认知大数据，必须要全面而细致的分解它，本系列文章我们着手从概念、技术、实践三个层面来展开，本篇文章我们先介绍概念层。

本文由“壹伴编辑器”提供技术支持

大数据的定义

大数据（Big Data）概念是1998年由SGI首席科学家John Masey在USENIX大会上提出的。他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但大数据真正得到业界关注，则是其后多年的事情了。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

本文由“壹伴编辑器”提供技术支持

大数据的分类

互联网上的大数据很难清晰的界定分类界限，我们先看看BAT的大数据：

百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据搜索巨头百度围绕数据而生。阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据，如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。

在信息技术更为发达的美国，除了行业知名的类似Google，Facebook外，已经涌现了很多大数据类型的公司，它们专门经营数据产品，比如：

Metamarkets：这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析，为客户提供了很好的数据分析支持。

Tableau：他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具，任何人在没有编程知识背景的情况下都能制造出数据专用图表。

ParAccel：他们向美国执法机构提供了数据分析，比如对15000个有犯罪前科的人进行跟踪，从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech：QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具，能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析，QlikTech提供了对原始数据进行可视化处理等功能的工具。

本文由“壹伴编辑器”提供技术支持

大数据的4V特征

即Variety(多样化)、Volume(大量化)、Velocity（快速化）、Value(价值密度低)。如下图所示。

其中，Variety表示来源多和格式多，数据可以来源于搜索引擎、社交网络、通话记录、传感器等等，这些数据要么以结构化形式存储，要么以非结构化数据存储；Volume表示数据量比较大，从TB级别，跃升到PB级别。

尤其是在移动互联时代，视频、语言等非结构化数据快速增长；Velocity表示数据存在时效性，需要快速处理，并得到结果出来，这一点也是和传统的数据挖掘技术有着本质的区别；Value表示大量不相关信息，不经过处理则价值较低，属于价值密度低的数据。

本文由“壹伴编辑器”提供技术支持

大数据处理流程

都有以下几个过程：数据采集、数据清洗、数据建模、数据加工、数据展现。如下图所示。

举个例子，做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必须环节，无论你是开饭店还是家里一日三餐，做饭的规模大小会有不同，但流程却是一样的。而这几个环节其实正好对应了数据人的日常工作内容：买菜（数据采集）~洗菜（数据清洗）~配菜（数据建模）~炒菜（数据加工）-上菜（数据展示）。

在大数据时代，由于数据种类多，数据大，从结构化的数据到非结构化的数据，数据采集的形式也变得更加复杂而多样。

当存储技术的发展变得步履蹒跚，赶不上数据发展的速度时，分布式存储成为了必然选择，非结构型数据也对存储格式提出了新的要求。

层出不穷的数据源也使得数据量产生了井喷似的迅猛增长。此时分布式存储与NoSQL的诞生回应了这样的需求，解决了大数据存储的根本难题。

本文由“壹伴编辑器”提供技术支持

大数据思维

关于大数据思维即我们该如何去理解大数据，十余年潜心研究数据科学的技术权威维克托·迈尔-舍恩伯格认为要注意三点：

需要全部数据样本而不是抽样关注效率而不是精确度关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解，比如：

今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值你千万不要想着拿数据去改进一个业务，这不是大数据，你一定是去做了一件以前做不了的事情

特别是最后一点，我是非常认同的，大数据的真正价值在于创造，在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。

本文由“壹伴编辑器”提供技术支持

大数据的价值

如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础，将所有用户的购买记录作为数据来源，通过构建模型分析购买者的行为相关性，能准确的推断出孕妇的具体临盆时间，这样Target就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Wal-Mart作为零售行业的巨头，他们的分析人员会对每个阶段的销售记录进行了全面的分析，有一次他们无意中发现虽不相关但很有价值的数据，在美国的飓风来临季节，超市的蛋挞和抵御飓风物品竟然销量都有大幅增加。

于是他们做了一个明智决策，就是将蛋挞的销售位置移到了飓风物品销售区域旁边，看起来是为了方便用户挑选，但是没有想到蛋挞的销量因此又提高了很多。

这些例子真实的反映在各行各业，探求数据价值取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。

未来在大数据领域最具有价值的是两种事物：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。

本文由“壹伴编辑器”提供技术支持

大数据的风险

提到大数据人们生活造成的干扰，你或许对隐私泄露早有耳闻。当你在不同的网站上注册了个人信息后，可能这些信息已经被扩散出去了。

当你莫名其妙的接到各种邮件，电话，短信的滋扰时，你不会想到自己的电话号码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是，这些信息你永远无法删除，它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息，但是这代价太大了。

目前，中国并没有专门的法律法规来界定用户隐私，处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据，是进行大数据分析时必须遵循的原则。

因此在大数据的背景下，很多人都在积极的抵制无底线的数字化，这种大数据和个体之间的博弈还会一直继续下去……

专家给予了我们一些如何有效保护大数据背景下隐私权的建议：

减少信息的数字化隐私权立法数字隐私权基础设施（类似DRM数字版权管理）人类改变认知（接受忽略过去）创造良性的信息生态语境化。

本篇关于大数据的理论层面分析就介绍到这，下一篇我们将对大数据价值体现的手段和前进的基石——大数据技术深入进行展开分析。

END

第二届中国【郑州】开发者大会

线上报名通道全面开放

本次大会将开设从数字化到大数据落地专场，现已开放报名通道，门票分为免费票和VIP票两种，其中VIP票权益非常丰富，票价为199元且仅限200张，下面是两种票的权益对比：

我分为两部分回答这个问题——干什么、怎么干。

1，干什么（大数据风控的目的是什么）

可能大家都知道，当我们想去银行办一笔贷款的时候，从客户的角度，大概流程是这样的，

当我们换个角度，从银行的角度来看，流程又是这样的

从上面两张图看起来，这里有这个重要的环节就是，在贷款申请人提交了申请资料之后，银行需要来审核这个人的申请资料。毕竟是银行要先给你钱，银行总要知道你以后是很有可能会还这笔钱，而不是说拿了钱就跑。

拿一笔房贷来说，如果你贷款300万元，年化利率是5%，一共贷30年，那么在这30年中，银行大概是一共可以收你200万多的利息(是不是很多？)。这个钱其实也就是银行赚的钱(如果你知道资金成本这回事，你应该已经不是这个问题的读者了)。

那从合理的角度来说，我一笔可以赚到这么多钱，那么我派好几个人来审核你的贷款，从成本（主要是这几个人的工资）上来说也是划算的。

我们再来看看这些小额贷款。如果你贷款2000块，只借一个月，就算在这一个月，我收你10%的利息(年化利率比100%还高，是不是看起来很高？)。那么从金融机构的角度来讲，他只能赚200块。从这个角度来说，如果我再派一个人花好几天的时间来审核你的贷款申请，先不讨论客户体验的问题，仅从银行收入的角度来说（赚的钱还不够发工资的呢，更别说别的成本了），就不是一个合算的买卖。

我们该怎么办呢？

真相只有一个——用机器(主要是电脑)去提高劳动生产率，把成本降低到能让企业赚钱的程度。

但用电脑代替人有一个很重要的前提是

用数字去描述人的各种行为，并且要把这些描述逻辑写成电脑程序，以便电脑可以执行。

所以，简单说来，用电脑代替人来进行贷款审核，会需要如下的四类职位共同的协作来完成（毕竟他们需要的专业知识还是有相当差距的），当然实际情况会比这个复杂的多。

业务人员

这类职位主要确定我们的金融产品的相关细节，他会懂得客户的需求和金融相关的知识，一般来说，他是所有需求的发起者。

数据分析师

这类职位的主要作用就是把业务需求转化为数学逻辑。

IT研发

这类职位就是把数据分析师所得到的数学逻辑写成计算机程序和代码。

IT运维

这类职位的主要作用就是保证电脑的正常运行，不要死机。

当然，根据实际情况职位之间也会有相互交叉，同时也会有更多细分的职位。

我们说的大数据风控其实就是这里提到的数据分析师和业务人员的结合体。而大数据风控的目的也就是把人对风险的判断转换成电脑可以识别的数学逻辑。

1.什么是数据分析？

数据分析的目的是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。比如：企业的高管希望通过市场分析和研究，把握当前产品的市场动向，从而制定合理的产品研发和销售计划，这就必须依赖数据分析才能够完成。

简单的说，就是对数据进行分析，比较专业的说法是，数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。以求最大化地开发数据的功能，发挥数据的作用。

数据分析包含“数据”和“分析”两个方面一方面包括加工和整理数据，另一方面也包括分析数据，从中提取有价值的信息并形成对业务有帮助的结论。

数据分析的成果通常以分析报告的形式呈现。对于数据分析报告，分析就是论点，数据就是论据，两者缺一不可。

2.数据分析类别

其中，探索性数据分析侧重于在数据中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪证明。

数据分析的划分：描述性数据分析、探索性数据分析、验证性数据分析。

1）描述性数据分析：属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法。

2）探索性数据分析：侧重于再数据之中发现新的特征

3）验证性数据分析：侧重于验证已有假设的真伪证明

其中探索性数据分析和验证性数据分析属于高级数据分析，常见的分析方法有相关分析、因子分析、回归分析等等。

3.数据分析的作用

数据分析在日常企业运营中主要有三大作用：

1.现状分析

简单的说就是告诉你过去发生了什么。

具体表现在：

第一，告诉你企业现阶段的整体运营情况，通过各个经营指标的完成情况来衡量企业的运营状态，以说明企业整体运营是更好了还是坏了，好的程度是如何，坏的程度又到哪里。

第二，告诉你企业各项业务的构成，让你了解企业各项业务的发展及变动情况，对企业经营状况有更深入的了解。

现状分析一般通过日常通报来完成，如日报、周报、月报等形式。

2.原因分析

简单的说就是告诉你某一现状为什么发生。经过第一阶段的现状分析，我们对企业的运营情况有了一个基本的了解，但是不知道运营情况具体好在哪里，差在哪里，是什么原因引起的。这时候我们就需要开展原因分析，以进一步确定业务变动的具体原因。

原因分析一般通过专题分析来完成，根据企业运营情况选择针对某一现状进行原因分析。

3.预测分析

简单来说就是告诉你将来会发生什么。

在了解企业运营现状后，有时候还需要对企业未来发展趋势做出预测，为企业制定经营目标以及提供有效的策略参考与决策依据，以确保企业的可持续健康发展。

预测分析一般通过专题分析来完成，通常在制定企业季度、年度等计划时进行，其开展的频率没有现状分析及原因分析高。

什么时候开展什么样的数据分析，需要根据自身的需求及目的来确定。

分享 IT 技术和行业经验，请关注-技术学派。

最近大数据人才又在小编这里火了一把，原因是月薪一万多招不到人！

据了解，现在市场上大数据人才不仅紧缺，而且薪资都非常可观。尤其是在国家成立“大数据战略重点实验室”将大数据技术提升至国家战略层面、第五次人名代表大会首次明确大数据上升为国家层面后，大数据人才受到各大高校的重视！

大数据不仅会促进社会的极速发展，也必将推动国家的发展。

大数据人才究竟有多缺？来，让我们看下面一组数据。

6亿互联网用户的需求，700万大数据行业的人才需求，促使很多就业机会在不断增加。“在如此海量人才缺口背景下，现在学习大数据技术一定成就高薪未来。”陕西华信智原大数据总监刘老师如是说。

那么如果要从事大数据行业，未来可以在哪些行业就业呢？

在这里，陕西华信智原大数据总监刘老师也给大家道出了所从事行业：“大数据开发工程师、大数据开发工程师、大数据可视化工程、大数据分析师、大数据存储工程师、数据挖掘工程师等。总体来说薪资都在15000元左右。”

话分两头，据说这招大数据人才在小编公司可是引起了很大波澜，从今年年初到现在已经大半年时间，硬是没有招到一个适合的人才。最终在小编北京朋友的引荐下遇到一个合适的人才。

“不要说在西安了，在北京大数据这类人才都很稀缺。”华信智原苟老师表示说，“现如今很多高校都设置了这个专业，未来大数据肯定是一个大的发展方向。”

如此高的薪资，加上市场对此类人才的巨大需求，现在学习大数据专业，未来就业还会愁吗？