大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据5V特性：

——Volume（大量）

——Velocity（高速）

——Variety（多样）

——Value（低价值密度）

——Veracity（真实性）

大数据的就业前景？

近年来大数据迅速发展，成为工业界，学术界，甚至世界各地政府，高度关注的热点。大数据领域正面临全球性的“人才荒”。而在国内，根据数联寻英发布《大数据人才报告》,目前全国的大数据人才仅46万,3-5年内大数据人才的缺口将高达150万。

对数据的占有和控制，将成为国家间和企业间新的争夺焦点。大数据正在成为继云计算之后的新的热词，大数据时代已然来临，大数据背后，隐匿着巨大的商机。包括IBM，微软，谷歌，亚马逊等一大批知名企业纷纷掘金这一市场。

中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

职位技能需求

1.学历需求现状：大专最多，本科次之

2.工作经验需求现状：半数企业经验不限

从工作经验来看，69.1%的企业对求职者的要求是经验不限，这很大一部分说明的人才的稀缺，这对于应届大学生而言，无疑是一大机遇，因为企业对于工作经验要求的低，而应届大学生只需要通过培训就能掌握该岗位应有的技能，就能轻松上岗拿高薪，这也充分说明当下学习大数据绝对是千载难逢的黄金时间点。

不管你是谁，学历如何，只要技术好，你就是老大！！！

大数据就业薪资

1. Hadoop大数据开发方向

据了解Hadoop开发工程师入门薪资已经达到了 8K 以上，工作1年可达到 1.2W 以上，具有2-3年工作经验的hadoop开发工程师年薪可以达到 30万—50万，一般需要大数据开发的公司基本上都是大公司，Hadoop开发工程师是目前BAT企业、大数据公司最急需的人才，所以学习大数据专业也是进大公司的捷径！

2. 数据挖掘、数据分析&机器学习方向

机器学习职位薪水范围：12k--30K，最大值30k+若干股票，最小值12k+若干期权，上四分位25k，中位数18k，下四分位13k；数据挖掘薪水范围：12k--30K，最大值30k+若干股票，最小值12k，上四分位23k，中位数18k，下四分位14k。

★北京大数据开发平均工资： 30230/月。

1、基础人才-数据分析师

北京数据分析平均工资： 10630/月，取自 15526 份样本，较 2016 年，增长 9.4%。

2、大数据开发工程师

北京大数据开发平均工资： 30230/月。

3、Hadoop开发工程师

北京hadoop平均工资： 20130/月，取自 1734 份样本。

4、数据挖掘工程师

北京数据挖掘平均工资： 21740/月，取自 3449 份样本，较 2016 年，增长 20.3%；

5、算法工程师

北京算法工程师平均工资： 22640/月，取自 10176 份样本。

现如今世界上很需要的业务数据，茁壮成长。数据可以告诉我们客户是谁以及他们如何运营，这可以指导获得新的见解和新的创新。通常，拥有的数据越多，能够生成的具体和准确的洞察力就越多，这就是为什么大数据近年来已成为如此强大的工具（和流行语）。

世界上每个企业都需要数据来蓬勃发展。数据可以告诉我们客户是谁以及他们如何运营，这可以指导获得新的见解和新的创新。通常，拥有的数据越多，能够生成的具体和准确的洞察力就越多，这就是为什么大数据近年来已成为如此强大的工具（和流行语）。

从理论上讲，任何企业都可以从使用大数据中获益，更多地了解其战略地位和发展潜力，但有些行业显然比其他行业受益更多。这些是一些潜力最大的行业：

卫生保健。医疗行业在大数据方面具有巨大潜力，并且由于它涉及个人的健康和健康，因此它也是最重要的行业之一。除传统职责外，现代医疗保健管理计划开始关注数据分析，这也不是什么秘密。医疗保健组织可以收集所有传入和当前患者的重要数据，并可能与其他组织共享该数据，以创建更大的患者信息网络。反过来，这有助于确定趋势和模式，从而更好地了解如何解决特定问题，例如药物相互作用或治疗方案，最终更好地为我们的人口服务。

科学。同样，任何科学学科都可以充分利用大数据。需要处理的数据越多，使用的样本量越大，误差幅度就越小。根据正在学习的内容，这可以让辨别出从未考虑过的新见解，例如发现超出原始观察范围的趋势。

零售。零售业依赖于消费者决策和行为模式，这两者都可以通过使用大数据进行密集研究。例如，商店可以监控有多少人进出停车场，人们如何在商店和网上购物，以及什么样的行为模式导致最终的购买决策。所有这些数据都可用于创造更好的购物环境，并最终推动更多销售。

非营利性。非营利组织，如教会和慈善组织，通常依靠捐赠来生存，当确切知道捐赠者（以及他们为什么这样做）时，可以更好地保护这些捐赠。这些组织可以使用大数据更好地了解他们的顶级捐赠者，并更有效地针对最有可能捐赠的人群。数据还可用于衡量非营利组织的绩效，例如特定计划影响的生命数量，或衡量用于推广组织的投入捐赠的方式。

政治。政治家可以通过多种方式使用大数据，既可以满足他们日常的工作需求，又可以获得连任。在前者中，数据可用于评估公众的意见，以及应如何使用资金（或应制定哪些法律），以及回顾性地分析某些政治决策的有效性。在后者中，数据可以与非营利组织一样使用，从而获得最有可能捐赠的捐赠。

保险。保险业是一个财务敏感的行业，依靠精心设置的赌注; 保险公司需要从他们的登记参与者那里赚到足够的钱来弥补他们最终的支出，这意味着他们需要密切了解每个新注册参与者所涉及的风险。大数据可以帮助他们比以往更准确地了解每个新订户的潜在风险和回报。

农业。在农业产业化，也有很大的受益于使用大数据。农民依靠收益率继续赚钱（更不用说为人口提供合适的食物供应），而且这些收益率因无数独立因素而异。通过大数据，农业专家可以准确地确定哪些是正确的，哪些是出错的，以及如何做以弥补这些品质 - 再次，比以往更准确。

规划和执行

如果企业或组织属于这些行业之一，则需要使用大数据来支持工作。但它并不像翻转开关那么简单。尽管数据分析和可视化工具在过去十年中取得了长足的进步，但大数据分析仍然依赖于人为干预和协调才能取得成功。

需要知道如何提出正确的问题，如何消除自己的偏见，以及如何形成可操作的见解而不是基本结论; 这需要时间和训练，但正确的焦点你会到达那里。利用大数据的时间越长，工作中的沉浸感越强，获得的收益就越多。

当新技术变得越来越便宜、越来越易用时，各行各业必将随之发生改变。对于即将过去的2017年来说，这门对各行各业“大施魔法”的新技术，显然叫做大数据。今天，我们将盘点一下十二个重要行业如何利用数据，推动了自己的业绩与竞争力。

来自：数据观 https://shujuguan/?from=

医疗保健

大数据正在改变我们诊断和治疗疾病的方式，比如，Nuance Communications（Siri的供应商）就在2017年推出了 “龙医疗虚拟助手”，帮助医生实现临床工作流程自动化。除此之外，还有一些大数据技术被用来改善我们的生存质量，并避免一些可以预防的死亡。“疾在腠里，汤熨可及；疾在骨髓，无奈何也。”如今大数据的使命正是要尽可能更早、更多地了解病患，通过识别严重疾病的早期信号，来降低治疗难度与就医成本。比如，某个早产儿及生病婴儿就诊的科室，就利用大数据技术来监控婴儿的心跳与呼吸模式。使用这些数据，该科室便可以开发算法，在身体症状发生24小时之前就预测出感染。

零售

从以物易物、货币交易再到移动支付，人们购买与销售的方式一直在改变，并且越来越快。一个新现象——无论是在线还是离线，那些采用数据优先策略来理解用户、并且为客户精准匹配产品的零售商门正在获得丰厚的回报。这意味着数据分析已经应用到零售流程的每一个阶段了——通过趋势预测，找到对产品需求最大的市场；通过优化定价，获得竞争优势；通过客户画像，找到打动客户的最优方法，然后，赚走他们的钱，并计划出下一步要卖给他们的商品。

制造业

数据在现代制造工艺中扮演着非常重要的角色。机器人技术的进步和自动化水平的提高正在显著改变制造业的面貌。比如，阿迪达斯就投入巨资，在德国总部园区建造了自动化的“速度工厂”。该工厂启用了一系列的新技术，例如3D打印、机械臂和计算机编织等，去武装小型工人团队，来生产球鞋。以往，这些产品通常由人工进行大规模生产。即使在更传统的制造环境中，数据仍然在发挥作用。通过将传感器嵌入其设备，制造商得以捕获有价值的数据，帮助他们监控机器的健康与效率。传感器也被安装到各种产品当中。现在，从喷气发动机到瑜伽垫，都能找到它们的身影。这让制造商能够收集到产品的表现情况，以及被使用的真实状况。

金融服务，银行和保险

在金融业，数据的应用非常广泛，绝不仅限于高科技、大资金的交易范围。比如，大数据正在帮助像美国运通这样的信用卡公司检测欺诈性交易，并为企业提供趋势分析服务。保险方面，大数据技术已被用于帮助保险公司设定更公平、精确的保单保费，识别欺诈性索赔并改善其营销工作等方面了。像Progressive和Aviva这样的公司，还通过向驾驶者提供折扣，以获得通过手机app或车载设备监控他们驾驶行为的许可。这样，保险公司就能够观察到司机驾驶的真实情形了。

教育

我们的学习过程目前正在制造海量的数据。而教育机构则开始将这些数据转化为洞察，比如，用来识别更好的教学策略、突出显示学生可能没有有效学习的领域，以及改变教育的传递方式。当然，知识付费的年代，并非所有教育都是在教室中进行的。在线课程的蓬勃发展还为人们带来了个性化学习、自适应学习的巨大进步。

运输，供应链管理和物流

在仓库中，数码摄像头用于检测库存水平，并在需要补货时预进行警。预测则更进一步——同样的数码摄像头数据，加上一些机器学习的算法，可以教会智能库存管理系统预测出补货的时间。在不远的将来，仓库与配送中心将脱离频繁的人机互动，有效地自动运行。在交通领域，公司正在收集和分析车辆的远程信息数据，并利用这些数据改善驾驶行为，优化交通路线，改善车辆维护。

农业

即使是非常传统的行业，如今也在拥抱数据的力量。美国农业生产商约翰·迪尔（John Deere）打造出了精准农业系统，让农场主、操作者与相应的农业专家可以针对开放的数据信息，实现对农业耕种过程中的分析、讨论及决策。

能源

石油和天然气开采成本不断上升，能源行业正在从数据中寻找解决方案。例如，荷兰皇家壳牌（Royal Dutch Shell）一直在开发“数据驱动的油田”，以降低石油钻探的成本。在更小、但同样重要的领域，大数据与物联网正在改变家庭使用能源的方式。智能家居已然崛起，仅仅是Google的Nest智能恒温器，已经可以帮助家庭在生活得更加舒适的同时，减少能源浪费。

政府和公共部门的服务

目前许多城市都在向“智慧城市”转型，这就需要将数据分析、数据收集、物联网等技术相结合，打造相应的公共服务与设施。通过使用智能、互联、数据驱动的技术，可以改善城市的公共服务。比如，在回收中心安装传感器网络，可以帮助简化垃圾的收集服务。货车可以优先处理垃圾最饱和的回收中心，并跳过那些几乎没有任何垃圾的回收中心。

酒店

传统的酒店和休闲运营商正在转向高级分析，以寻求让客户满意的线索。最常见的分析方法主要围绕收益管理。目的是确保每个房间都以最佳价格卖出。这就需要考虑全年的需求低谷与高峰，还有影响客人数量与类型的其他因素，例如天气以及当地事件等。

专业服务

当我们谈论机器人与算法即将替代人工时，我们首先想到的都是类似于工厂工人、出租车司机等蓝领工作。但是，即使是高技能的专业服务，比如会计、法律与建筑业，也因为数据、分析、机器学习、机器人以及AI的发展而经历着巨大的变化。比如在会计方面，软件已经可以自动导入交易信息、跟踪数字收据、自动处理工资并追踪税收了。不过，即使是更复杂的任务，比如审计、法规遵从和趋势分析等，现在也已经可以由计算机来执行了。

体育

大多数精英运动现在都采用数据分析。比如英超球赛就在现场安装了一套摄像头，使用模式识别技术来跟踪每个球员，而平均每个球员每秒钟都会产生超过25个数据点。 NFL（美国职业橄榄球大联盟）球员已经在肩垫上安装了传感器，以收集比赛中的表现。数据分析还帮助英国的赛艇运动员们拿到了奥运金牌。

建立在数据上的企业

如今，数据已成为企业越来越重要的资产，被数据驱动的平台业务是世界上最成功的企业之一。例如，苹果就是在整个业务中使用数据来推动成功。而Google，据说可以比我们的爱人更了解我们。数据也是共享经济的核心，比如Uber。这些公司创新式地通过高效利用数据，随时随地为人们提供所需要的服务。

更多分析内容，敬请关注shujuguan，从理论到实践，数据观将帮助您将数据变为商业价值。

近年来，随着互联网和智能硬件的快速普及，数据以爆炸方式增长，数据量已经从TB级别跃升到PB乃至ZB级别。全球数据总量增长率将维持在50%左右；到2020年，全球的数据总量将达到40ZB。 参考中国报告网发布《2018年中国大数据市场分析报告-行业深度分析与投资前景研究》 随着一系列政策的出台，大数据国家战略正在加速落地，大数据产业发展机遇空前。2016年，继国家发改委印发了《关于组织实施促进大数据发展重大工程的通知》后，环保部、国务院办公厅、国土资源部、国家林业局、煤工委、交通运输部、农业部均推出大数据发展意见和方案，大数据政策从全面、总体规划逐渐朝各大产业、各细分领域延伸，大数据产业发展也在逐步从理论研究走向实际应用之路。 2017年，全球大数据产业市场规模达到2100亿美元，我国的大数据产业市场规模为3500亿元，随着互联网+以及人工智能的快速发展，我国的大数据产业将迎来快速发展，预计到2020年将超过一万亿元。

2014-2020年我国大数据产业市场规模预测及增速

数据来源：观研天下数据中心整理

全球大数据市场结构从垄断竞争向完全竞争格局演化。2017年，企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，分别占据35.4%、17.3%、14.7%、12.5%和7.9%的市场份额。云服务的市场份额为6.3%，基础软件占据3.8%的市场份额，网络服务仅占据了2%的市场份额。

我国大数据产业各细分市场分布

数据来源：观研天下数据中心整理

我国大数据产业细分市场规模占比

数据来源：观研天下数据中心整理

随着数据的大量积累以及分析手段的提升，金融、医疗、制造业、物流、交通等领域也将开始借助大数据的力量实现转型升级。此外，汽车、教育、游戏、旅游等行业也将会在大数据的促进下，产生出新的商业模式，并因此保持发展活力。 数据产业的发展离不开宽带、数据中心、新一代信息网络等网络基础设施的发展。随着大数据产业的日趋成熟，上述领域的建设速度也将因此提速，这将大大刺激IT硬件产业的发展，并会对“互联网+”、“中国制造2025”等国家战略起到促进作用。未来几年，我国的大数据行业将在一下几个领域快速发展。 1.大数据应用逐渐加深，“大数据+”成为发展重点 随着我国信息化发展水平的日益提高，对数据资源的采集、挖掘和应用水平也不断深化。根据工信部发布的《大数据产业发展规划（2016-2020年）》，我国政务信息化水平不断提升，全国面向公众的政府网站达8.4万个。智慧城市建设全面展开，“十二五”期间近300个城市进行了智慧城市试点。 2.大数据在移动互联网营销中的运用逐渐成熟，移动营销行业前景可观 广告主对营销有着天然的精准性要求，而大数据产业的发展和数据的不断积累使数据驱动下的互联网营销成为可能。全球互联网广告市场规模将在2018年超过全球电视广告规模，成长前景广阔。 移动广告市场保持高速增长，预计复合增速30%。市场层面来看，目前我国国内移动广告规模仍在高速增长阶段，预计2019年移动广告市场规模为4900亿元，17-19年复合增长率接近30%。

2013-2019年我国移动广告市场规模及预测

数据来源：观研天下数据中心整理

在对月度独立设备覆盖数的统计中，由于更多的头部应用使用了个推推送SDK，在推送类SDK（专业服务商）覆盖设备数的统计中也排名第一。

推送类SDK(专业服务商)覆盖设备数（非去重）

数据来源：观研天下数据中心整理

随着大数据技术的飞速发展，大数据已经融入到各行各业。2018年中国的大数据行业发展趋势是什么?大数据行业整体市场规模如何?大数据行业前景如何?

(一)大数据行业整体市场规模及预测

整体来看，2018中国大数据行业的发展依然呈稳步上升趋势，市场规模达到了327 亿元，和去年相比增速超过 39%。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。

(二)大数据在各行业应用状况

(1)企业哪些方面需要大数据?

根据大数据分析结果，将近一半的企业将大数据运用在企业工商信息管理方面，此外，在社会保障、劳动就业、市政管理、教育科研方面分别占据33.9%，32.7%，29.4%，29%。整体来看，大数据的应用范围广泛。

(2)多少企业应用到了大数据?

大数据分析对企业的发展越来越重要，35.1%以上的企业已经开始在企业内部应用到了大数据;34.2%的企业正在考虑应用大数据，22.9%的企业在未来1年有应用大数据的计划，仅仅有7.8%的企业暂不考虑应用大数据。

(3)这些企业如何使用大数据?

根据数据显示，38.8%的企业使用实时动态处理大数据并提供分析结果;37.5% 的企业分析历史数据;通过机器学习，辅助企业管理者更好地决策的企业占比为22.5% 。

(三)各行业大数据的发展水平如何?

我国行业大数据总体发展水平较好，在各行业都有应用。其中，金融大数据、政务大数据的应用水平高，同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显着提升。

(四)大数据助力企业发展

(1)企业在哪些领域会应用大数据?

大数据应用广泛的top3领域是营销分析、客户分析和内部运营管理。其中，营销分析占比6成以上;50.2%的企业使用大数据进行客户分析;48.4% 的企业运用大数据进行内部运营管理。 大数据应用对企业的影响

(2)这么多企业应用大数据，大数据将会为这些企业带来什么收益呢?

55.8%的企业表示应用大数据后实现了更智能的决策;应用大数据提升了运营效率的企业占比为48.2%，这两个影响较为显着。应用大数据更好的管理风险，创造新的业务收入，增强生产能力的企业也占有一定比重。

从上述数据中，我们可以看出，大数据在各行各业的应用还将继续加强。

End.

作者：夏立城

来源：蓝盟网络运维专家

近期文章推荐

女生读研占比超半数，哪些是热门专业？

Excel、SAS、R、SPSS、Python优势分析

<入职数据分析师>线下分享 · 北京站

文/中关村老李

从2012年的“用户标签”到2014年的“用户画像”，从2015年的“大数据”到2017年的“人工智能”，大数据正在从神坛走向现实。“标签”到“画像”，代表着数据在数量和维度上，逐渐在丰富；“大数据”到“人工智能”，表明从原始数据到本体认知的过渡。无论是数据积累的量变到质变，还是数据到认知层面的过渡，大数据已经开始在一些特定领域和场景下为客户解决实际问题，创造价值。本期数据侠专栏，数据侠中关村老李将从产业链、市场、误区、挑战四个部分对大数据市场现状以及下一步的发展提出自己的观点与洞察。

产业链

在2017年初的时候，根据产业的发展我（笔者：中关村老李）将2016年认为的产业链中四个环节压缩至了两个，即数据服务平台提供商和数据解决方案提供商。

通过过去一年的观察发现，虽然市场上确实以这两种角色为主体，但在具体项目中，这二者并没有形成上下游产业链的局面。在一些行业市场中，数据服务平台提供商向前跨越，直接面对行业客户，向他们提供其所拥有的外部数据（往往本身就拥有海量的2C数据入口，可以源源不断地生产2C数据）的粗加工产品（如用户的标签数据等）；而在另一部分行业市场中，数据解决方案提供商，基本使用用户自身的数据，通过数据处理服务，为行业客户提供某个方向的解决方案。在2017年初的时候，根据产业的发展我将2016年认为的产业链中四个环节压缩至了两个，即数据服务平台提供商和数据解决方案提供商。

上面两个角色之间基本没有合作、没有交集，很少在市场上直接竞争。

究其原因，个人认为有两个方面。一个是市场的成熟度决定的，还有一个就是由法律或者说政策环境决定的。

首先，这是由市场的成熟度决定的。目前行业应用市场还处于早期，部分行业用户的需求集中在外部数据的简单加工层面，还没有渗透到行业纵深，与行业的核心业务没有形成深度耦合，对数据服务提供商还没有很深的行业经验要求；另一方面，现阶段大多数“解决方案”提供商，基本采用客户自身的数据，依靠数据处理能力为客户提供数据集成服务。现在的“解决方案”提供商，大多还停留在数据服务的层面，并没有大量应用外部数据的经验，与行业的深度需求耦合还远远不够，自然也没有形成“杀手”级的产品，行业的可替代性很强，与数据服务平台提供商的能力差异并没有充分表现出来。这些，都从不同程度，反映了市场发展成熟度不足的问题。

其次，数据的交易目前在我国还是一个敏感的话题。虽然数据服务平台提供商拥有海量的2C数据，可如何与第三方合作，为行业客户提供他们所需要的解决方案，还是个无法触碰的禁区。6月1日生效的个人隐私安全法（下面简称隐私法），只说明了“干什么”不行，但并没有规定“如何做”才是可以的。而这个“如何做”才行的体系，需要经过几年时间的建立才可能完成。法律环境的滞后，也限制了行业的进一步发展，资源将进一步向掌握数据的巨头集中。虽然这样做便于管理，数据集中在几个巨头手里好监管，不会产生隐私数据满天飞的乱象，但缺点也是显而易见的。数据无法打通，就会形成一个个信息孤岛；数据无法流动，就使数据应用受到很大局限。这一点，恐怕是监管部门最应该尽快解决的问题。

百行征信的出现从某一个角度说明了解决这个问题的必要。

上图的上半段就是现在实际的产业链情况，而下半段是根据现在市场发展的态势。我认为2018年可能会出现的演进。随着大数据被应用到各行各业，大多数行业的数据准备并不充分，数据基础薄弱。要想使数据产生价值，发挥更大的作用，势必需要大量的数据归集与治理，这就是数据优化商的角色。由于增量市场的出现，仅靠现有的解决方案提供商和数据服务平台提供商自身的力量是不够的，这就为独立的第三方数据优化商出现，并存在创造了客观上的空间。所以说，对于大多数行业而言，要想充分发挥数据的价值，首先要从数据的归集与治理开始，磨刀不误砍柴工！

另一个会发生的变化，是解决方案提供商将逐渐拉开与数据服务平台提供商在行业的差距，向行业纵深走，形成差异化的产品和解决方案，成为真正的某一行业的解决方案提供商。而数据服务平台提供商反而会回缩，专注自己的服务平台，支撑众多方向的解决方案提供商以及客户的需要，逐渐完成与解决方案提供商的上下游产业链。

这都是市场在逐渐成熟的标志，分工进一步细化。

市场

经过了过去4-5年的积累，无论在数据上，还是在数据处理技术上，大数据正在某些局部由量变转为质变。在很多领域和场景下已经可以做出很明显的效果。或者帮助客户解决他们的原来解决不了的问题；或者改善原有的方法，提高效率、降低成本；也或者开辟了新的渠道，形成创新的业务模式。

总之一句话，DT就是生产力！

大数据正在被应用到各个领域。这其中当然有很多乱象，存在着很多“误解”，但数据思维驱动的数据应用是大趋势，不可逆转。

从市场对象来划分，可以分为大B（商业体，Business）和高成长性行业的中小B。无论是解决方案提供商还是数据服务平台提供商大多集中在大B领域，如银行、保险、医疗、教育等。这是由他们的公司体量决定的，必须要做对等体量，且确定性较高的市场，才可能保证固定的产出，这是正确的。

除此之外，另一个群体，高成长性中小B也非常值得关注。高成长性行业虽然有很多不确定性，尤其是在现在的经济环境下，中小企业甚至很难生存，但也不是完全没有机会。就在人们普遍认为BATJ垄断下的互联网很难有新贵出现，但这几年依然出现了今日头条、滴滴。所幸，我就在2016年抓住了出行行业（Uber、易到等）的机会，依靠大数据的反刷单解决方案在这一领域迅速地打开局面，并发展壮大，形成了每年数千万的业务。

这就是高成长性中小B的魅力。首先它增长迅速，也会带动生态链上的其他企业快速增长，想象空间很大；其次，中小B本身没有很复杂的决策链，决策周期很短，一般2-4个月，比较容易试错，这对于初创团队是非常关键的；再者，高成长性中小B在高速发展中，不可能完全依靠自己的力量解决所有的问题，这就为建立生态链创造了客观的土壤。这一点，在去年9月参加的一次大数据峰会上，听到了兴业金服的一位负责人也表达了类似的观点。

大数据不同于以往的IT项目，不能单纯地以甲乙方的形式存在，已经超出了传统的建设和被建设的关系。取而代之的，是一个合作共赢，长期共存的生态链。

由于资源（外部数据）的局限，客户不可能通过服务提供商的一次建设，就能够完全掌握并独立运营。时代的发展也不允许客户有时间去慢慢消化、学习、独立运营所有的系统，他们必须要引入数据服务合作伙伴，整合双方的资源，而迅速地形成生产力。社会的成熟，分工进一步细化，“TIME to Market”决定了你没必要也不可能每一件事儿都自己去做。行业客户将注意力更好地聚焦在自己的主业上，而数据部分，会依赖数据合作伙伴来一起参与，共同经营。

所以，客户对外部数据合作伙伴的诉求，是“外部数据”+数据处理”（包括数据处理系统以及数据处理能力）+“数据融合”（这并不等同于数据处理，主要侧重于数据应用；不但需要数据服务提供商具有丰富的数据应用经验，还需要数据服务提供商具有丰富的行业经验，即真正的数据解决方案提供商）。

误区

在几年的数据应用实践中，发现了很多误区。

一是很多客户认为大数据就等于买数据，在应用的过程中生搬硬套

二是对大数据的不切实际的预期，要么是将其神话，要么就对应用的过程缺乏耐心

三是认为有很多数据就应该能马上产生价值，但实际情况是数据准备不足，基础薄弱

误区一：大数据等于买数据

很多行业客户最初对外部数据的认知是从购买外部数据开始。无论是用户画像，还是做其他用途的数据。客户还延续了IT建设的思维，认为所缺的只是外部的数据。有了外部数据，依靠自身的力量也完全可以完成大数据在所在行业的应用。别人搞大数据做用户画像，就也来画像；别人提大数据能精准营销，那也来搞精准营销。并没有从认知层面建立数据思维，对大数据有一个全面的有高度的理解。这种生搬硬套的做法也从某种程度上导致了数据应用效果不好的局面，没有真正将数据发挥其应有的价值。

外部的数据应用是属于跨域的数据应用，需要很强的专业性。这一工作既需要了解市场上各类数据的属性，也需要了解如何将数据加工才能满足行业的需求。并不是每个数据都能为行业的某个需求做出明显效果的；也不是经过一次的采购就能完成的事情。也许，三五年后，当外部数据种类稳定且成熟，行业内部自身的数据专家也可以主动地去选择外部的数据，依靠自身的力量完成与内部数据的融合，去满足业务的需求；但在今天，可能更多的还要依赖外部专业数据团队的帮助。

误区二：大数据是万能的

在外部数据应用的过程中，还有一个主要的误区就是对数据应用的不切实际的预期。要么是将大数据、人工智能神话，要么就对数据应用的过程缺乏耐心。

首先，大数据本身是一门技术，它与其他技术一样都有着它的局限；大数据不是万能的，但是数据思维是可以创造很大价值的。

其次，外部的数据产生的业务场景与行业不同，因而在使用的过程中，就要仔细甄别，不断调整。距离行业需求越近的数据质量越高，做出的产品就越好。但无论多近，外部数据始终是外部数据，其产生的环境与行业的需求大多不会100%契合，所以就需要专业数据团队的进行加工、处理，经过几个轮回的迭代才可能取得好的效果，要有足够的耐心。

误区三：有大量的数据就马上能产生价值

有很多行业用户，依靠多年的积累形成了大量的数据。他们认为有大量数据就能马上产生价值。先不说这些数据的维度和质量能产生多大价值，首先面对的是大量的数据格式混乱，数据字段不一致，要想发现其价值就如从杂草堆里挑出一根针。

对于大多数行业客户而言，首先都面临数据的归集与治理的工作，磨刀不误砍柴工。

无论是“大数据等于买数据”，还是对“大数据是万能的”，还是“有大量数据就能产生巨大价值”都反映了数据应用在大数据在行业的应用尚属初级阶段。

挑战

一、数据缺失

尽管大数据已经经历了五六年的发展，数据无论在维度上还是数量上都已经比几年前有了很大的改变。但是客观上讲，还没有达到质的飞跃。由于相关的法律建设没有完成，大量数据被滞留在少数流量入口处，形成了一个个数据的孤岛。还没有形成数据的有效打通、流转，更谈不上创造新的价值。

我依然坚持2017年初的判断，数据仅在局部市场，特定的场景已经成熟，可以为客户创造很大的价值。但还没有办法形成规模化市场，这是由于数据发展的成熟度决定的。

数据的缺失，并不能靠高明的算法弥补。这与统计模型，大数据还是人工智能都无关系。只能面对这一现实，去寻找先期成熟的市场，尽可能地立足现在的数据以及算法帮助客户解决他们的实际问题，创造价值，形成商业闭环；同时积极地关注其他市场的成熟。数据应用市场与其他早期市场并没有不同，都是由点及线，最后再到面的。这是个螺旋上升的过程，没有捷径可循。

二、数据思维的建立

与数据的缺失相比，一个更大的挑战在于数据思维的建立。我们正在经历一个从IT到DT的跨越的时代。大数据、机器学习、人工智能都是这一跨越中的工具。但不幸的是，很多用户甚至从业者还是沉迷于技术本身，把大数据等同于一个普通的技术，没有上升到数据思维。

数据思维绝不只是技术部门的事情，而是整体战略的问题。数据思维要渗透到每一个部门，每一个环节，用数据去辅助决策，让数据去重构业务流程，数据应用才能发挥其最大的价值。只有将数据思维贯彻到企业的每一个环节中，数据才能真正转化成生产力，数据的价值才能真正得以体现。

大数据技术是战术，而数据思维是战略。

2017年，产业格局越来越清晰。无论是数据服务平台提供商，还是数据解决方案提供商，都在正确的方向上走出了坚实的一步，其价值已经得到了各自市场的认可，进入了良性的循环。虽然，我认为大数据的真正高潮还未到来，短时间内还处于投入大于产出的局面，但曙光在前，已经在一个量变到质变的积累过程当中。随着技术和数据的进一步成熟，随着行业的深入，相信不远的未来（可能是2-3年）将会迎来数据时代的真正高潮！

注：以上内容根据中关村老李在数据侠线上实验室的演讲实录整理，内容有所删减，已经本人审阅。本文仅为作者观点，不代表DT财经立场。

编辑 |陈枫： chenfeng@dtcj

题图 |视觉中国

▍数据侠门派

中关村老李既有二十余年ICT的经验，又有十多年开拓新市场�...

大数据时代的到来，简单的说是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。

分享之前推荐一个大数据学习交流，未来将是大数据时代，需要学习大数据的抓紧时间学习，群内不定期分享视频资料，欢迎加入关注作者其他文章，可以找到大数据学习群

大数据行业发展现状

1、一些数据的记录是以模拟形式存在，或者以数据形式存在，但是存贮在本地，不是公开数据资源，没有开放给互联网用户，例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大，并且共享到了互联网上，面对所有互联网用户，其数量之大是前所未有。

2、移动互联网出现后，移动设备的很多传感器收集了大量的用户点击行为数据，已知IPHONE有3个传感器，三星有6个传感器。它们每天产生了大量的点击数据，这些数据被某些公司所有拥有，形成用户大量行为数据。

3、电子地图如高德、百度、Google地图出现后，其产生了大量的数据流数据，这些数据不同于传统数据，传统数据代表一个属性或一个度量值，但是这些地图产生的流数据代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值。基于地图产生的数据流是一种新型的数据类型，在过去是不存在的。

4、进入了社交网络的年代后，互联网行为主要由用户参与创造，大量的互联网用户创造出海量的社交行为数据，这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。

5、电商户崛起产来了大量网上交易数据，包含支付数据，查询行为，物流运输、购买喜好，点击顺序，评价行为等，其是信息流和资金流数据。

6、传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。

我们所指的大数据不同与过去传统的数据，其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据，它是全面的数据、准确的数据、有价值的数据。

中国的大数据之路任重而道远

中国目前的大数据应用环境和技术相对于美国而言，在整体技术水平、应用环境、国民意识、商业环境、技术厂商、技术平台上面相差超过5年左右。在大数据应用的国家战略层面落后的也较多。

2012年3月，美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划涉及美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局等6个联邦政府部门，承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力。美国奥巴马政府宣布投资大数据领域，是大数据从商业行为上升到国家战略的分水岭，表明大数据正式提升到战略层面，大数据在经济社会各个层面、各个领域都开始受到重视。

2014年从“两会”的提案、议案看，很多人建议将大数据业务上升为国家战略，互联网领军人物李彦宏在政协记者会上表示，政府应该把更多和人民生活有关的数据资料，公开地放到网络上；雷军则直接建议将大数据纳入国家战略，推动大数据切实地被用起来；科大讯飞刘庆峰建议国家建设声纹数据库进行大数据反恐。张近东、马化腾、杨元庆的提案也与数据应用有着紧密联系。但是在中国大数据国家战略和大数据产业发展发面还没有一个清晰的蓝图。

最后总结一下，大数据时代将会给人类社会带来巨大变化。它是一个好的工具，就像计算机一样，帮助人们提升社会生产效率，了解事物真相，认识客观规律，同时加快进入智慧社会。

以上种种，无不揭示着大数据未来发展的大好前景！时不我待，抓住机遇！

首先问大家一个问题，什么是企业最重要的资产?我想大部分人可能会说是企业的固定资产或劳动力或人员流动之类等等。但是，超过上述所有情况，任何企业或组织最重要的资产都是它的信息，每个企业的未来取决于他们现有的数据和管理的好坏，由此可见数据的重要性，本文就重点讲述数据对于各行各业大小企业的应用。

我们生活在一个数字化的世界里，一切都可以在互联网上找到，根据商业(特别是电子商务和社交媒体)的变化趋势。互联网的使用已经成为每个人日常生活的必需品。现在所有的交易都通过互联网进行。公司最大的挑战是记录客户的每笔交易。难点在于，企业必须记录每天生成的大量数据，而如何合理管理数据是企业最头疼的。而且数据包括各种类型，如非结构化、半结构化和结构化数据更是让各行业数据维护举步维艰。

大数据是什么?

每个企业每天都会生成数据，数据量根据企业业务的复杂度而变化。如果业务量大，我们可以很容易地使用常用的软件工具来管理，但是如果业务体系庞大，那么就将这些数据合理归档整合。这就是我们称之为“大数据”的原因。大数据能让用户处理大量的原始数据，并根据业务需要进行合理分析报表，以备将来参考和预测。大数据有助于管理数据，并为将来的有用目的存储全部数据。数据首先在不同类型中生成，包括非结构化数据、半结构化数据和结构化数据。大数据获取任何原始数据并将其处理成结构化数据。公司利用他们的过去和现在的数据来预测未来。大数据帮助企业获得利润，并在全球范围内扩大业务活动，并提供大数据。它不仅预测了未来的收益，还有助于预测未来的问题和趋势。它有助于企业做出重大决定。

政府行业

政府通常将历来数据进行汇总和分析规划未来发展趋势以及做好预防工作。大数据帮助政府机构为他国家制定计划。如政府利用人口普查来扩大或向全国的每个人提供福利，利用食品溯源管理追踪食品安全等等。

教育产业

教育部门需要不断的改进，为学生提供良好的教育。大数据帮助教育机构利用这些数据来跟踪学生表现的变化，他们使用数据来实现变化。它还有助于设计教育形式，帮助学生更好地让世界变得更好。

医疗保健行业

卫生部门使用其病人记录、治疗计划和过去用于治疗不同疾病的药物，这将有助于该部门改善治疗或向患者提供更好的医疗援助。它还可以提高行政管理、成本管理、人力资源/人员管理和供应管理的效率。

制造业

制造部门必须采购原材料，并维持必要的人员生产高质量的产品和服务。制造业的常规和持续的任务产生大量的数据。大数据可以帮助制造商减少成本和浪费，并帮助他们在更短的时间内制造出高质量的产品。大数据让制造商能够预测未来的需求，基于此，他们能够及时生产和供货，最终带来更高的利润。

零售行业

零售业是与顾客有最终联系的行业。它必须记录客户的数据——包括顾客的品味、偏好和生物数据——以便与他们保持紧密联系。客户关系是在业务开发中发挥关键作用的重要途径之一。大数据提供了解决复杂问题的准确信息，这些问题与零售业有关。我们可以清楚地知道该做什么，什么时候使用大数据。

结论

我们生活在信息时代。信息是任何进一步行动的一个关键方面。定期记录大量的数据需要一个更好更有效的软件工具。大数据是存储高数据量的最终来源，并以一种可以理解的方式处理它，我们可以预测行业未来的动态发展。

更多精彩内容，关注小伍

大数据的概念问世这么多年来，大数据从技术，政策和资本等多个角度已经切入到社会方方面面，未来数据也会成为的经济驱动因素中越来越重要的一部分。对未来而言，大数据的发展将影响到产业、企业和个人。需要学习大数据可以加我QQ群，零基础到项目实战

就产业而言，大数据的未来变化更多的是在各个产业内部。首先大数据产业的边界会消融，大数据也渗透到其他产业中去。这个不难理解，任何一个产业在运行了这么多年的过程中，总是积累了大量的数据。很多情况下，数据过去都在沉睡，只是记录下来了，并没有产生更多价值。然而随着大数据技术的发展，沉淀数据的产业将有机会盘活以往的数据资产，最简单的是引入数据源环节，将自身积累的数据资产对外出售或交换。同时，也可以进入分析实施环节，通过对以往业务流程的改造，把过去的方法总结和创新出定量的模式，从而输出定制化方案或者标准化产品。此外还可能够在数据应用环节发挥作用，利用已有的数据收集，创新发展出新的商业模式，去产生新的价值。

于此同时，大数据产业尽管存在边界消融的情况，然而还是会有现今而言相对未来更传统的大数据产业存在独立，因为伴随着社会、经济的发展，需要有大数据技术的演进来应对未来需求。因此，未来传统意义上的大数据产业将会肩负起开发更先进的软件和硬件的责任。

对企业而言，大数据对影响将会存在于三个层面。第一个层面是在技术上，企业可以引进和开发数据工具，起到提升经营效率的方式，从而优化企业的经营和管理，例如可以购买BI工具，实现管理可视化，从而协助决策。第二个层面是在方法上，这里更需要企业构建大数据实施的能力，并且将构建的能力落实在运营、营销以及战略中去。依靠数据化经营对企业的改良，也会让企业在一定程度上改造自己所在的产业。例如沃尔玛率先在零售行业中使用条形码，使得整个行业依靠条形码能够实时掌握进销存的情况。

对个人而言，大数据的影响则和生活交织得更深。伴随着技术的发展，每个人都会成为数据源，个人的数据会随着自己的行为在不经意间收集，不论是聊天还是搜索，不论是购物还是交通都不可避免地产生大量可以被记录的数据。这里其实是一把双刃剑，一方面让我们生活更加便利，能够享受更好的服务，也能更快地得到想要的产品。然而另外一方面，每个人会有跟多隐私被记录，一旦暴露带来的负面影响也会更大。因此隐私保护和数据安全也是整个大数据产业甚至政策法律中非常重要的一部分。

除此之外，大数据的福泽也会从另外一个方向降临到每个人头上。伴随着技术的发展，大数据不再是深奥和复杂的方法，而会成为简单易学的技能，每个人都能够进行数据分析工作，未来会有大量的傻瓜式数据分析产品产生，不需要写代码，也不需要设公式，只需要简单的拖拽就能够分析数据。这种情况下，每个人都需要学习数据分析的逻辑和通用的方法，每个人也会做自己的数据分析师。

大数据的产业，就像朝阳一样冉冉升起，未来还会有更多的光芒和价值，也会有更多的空间和遐想。对产业可以是依靠数据提升效率，也可以是商业模式颠覆现状，甚至可以是通过数据的为纽带的方式，造就未来产业内部甚至产业之间协同的景象。对企业能够提升经营效率，改良管理水平，创新商业模式。对个人而言，人人都用大数据，人人都是分析师。欢迎加入722680258每天分享学习视频资料

什么是大数据？

这次我们不谈概念，不谈理论，避虚就实，关注大数据在十大行业的实际应用。

从证券行业到医疗领域，越来越多公司意识到大数据的重要性。2015年Gartner调查显示，超过75％的公司正在投资或计划在未来两年内投资大数据。而在2012年进行的类似调查中，仅有58％的公司在未来两年内计划投资大数据。

增强客户体验、降低成本、精准营销以及提高流程效率、数据安全是公司关注大数据的主要目的。本文将研究正在使用大数据的10个垂直行业及面临的挑战，以及大数据如何解决这些难题。

1. 银行和证券

挑战：

通过对10家投行券商的16个项目的研究表明，该行业面临的挑战包括：证券欺诈预警、蜱虫分析、检测卡片欺诈、审计跟踪档案、企业信用风险报告、贸易可视性、客户数据转换、用于交易的社交分析、IT运营分析和IT策略合规性分析等。

应用：

证券交易委员会（SEC）正在使用大数据网络分析和自然语言处理器来捕捉金融市场中的非法交易活动。

商业银行，对冲基金和其他金融公司在高频交易的交易分析，交易前的决策支持分析，情绪测量，预测分析等方向使用大数据。

该行业还严重依赖大数据进行风险分析，这其中包括：反洗钱，企业风险管理，客户画像，以及减少欺诈行为等。

2. 通讯，媒体和娱乐

挑战：

每个观众消费着不同形式的娱乐，以及不同的娱乐设备，因此通信，媒体和娱乐行业正面临以下大数据挑战：

1. 收集，分析和利用消费者习惯

2. 利用移动和社交媒体内容

3. 实时追踪媒体内容使用形式

应用：

公司同时分析客户数据和行为数据，以创建详细的客户档案，可用于：

1. 个性化定制内容

2. 按需推荐内容

3. 衡量内容结果

一个典型的例子是国外视频网站YouTube上的温网比赛，它利用大数据实时向电视、移动和网络用户提供网球比赛的详尽的情感分析。亚马逊Prime大量使用大数据，在一站式商店提供视频，音乐和Kindle书籍来提供卓越的客户体验。

3. 医疗领域

挑战：

医疗保健行业可以获取大量数据，但由于医疗成本上升、医疗系统效率较低，大量数据没能得到有效利用。抛弃患者的数据精准度弱化、以及不同传感器的数据差异均是医疗行业所面临的困难。

应用：

一些医院正在使用从数百万患者手机应用程序收集的数据，允许医生使用循证医学，而不是对所有去医院的患者均进行多次医学检查。佛罗里达大学运用免费的公共健康数据和谷歌地图创建了视觉数据，以便更快地识别和有效分析医疗信息，用于跟踪慢性病的传播。

4. 教育

挑战：

从技术角度来看，教育行业面临的主要挑战是整合不同来源的大数据，并在统一平台上使用它，有时这些数据并非是相互协作的。从实际角度来看，教师和机构必须学习新的数据管理和分析工具。在政治上，用于教育目的的大数据相关的隐私和个人数据保护也是一个问题。

应用：

大数据在高等教育中的使用非常多。例如，一所拥有超过26000名学生的澳大利亚大学已经部署了学习和管理系统，该系统可以跟踪学生登录系统时，在系统中不同页面上花费的时间以及学生的整体学习进度等。

大数据还用于衡量教师的教学有效性，以确保学生和教师的良好体验。教师的表现可以根据学生数量，主题，学生人口统计，行为分类和其他几个变量进行微调和衡量。

5. 制造业和自然资源

挑战：

石油、农产品、矿物、天然气、金属等自然资源的需求不断增加，导致数据数量、复杂性增加。制造业的大量数据尚未开发。这些信息的利用不足会妨碍产品质量、能效、可靠性和更高的利润空间。

应用：

在自然资源行业中，大数据允许预测建模以辅助决策制定，从地理空间数据，图形数据，文本和时间数据中摄取和集成大量数据。使用领域包括：地震解释和油藏描述。

6. 政府

挑战：

在政府领域，最大的挑战是跨政府部门和组织的大数据集成和数据的互兼容性。

应用：

在公共服务领域，大数据的应用范围非常广泛，包括：能源勘探，金融市场分析，欺诈检测，健康相关的研究和环境保护。美国社保局使用大数据分析大量的社会残疾索赔数据，用于快速有效地处理医疗信息，以便更快地做出决策并检测可疑的或欺诈性索赔。美国食品和药物管理局（FDA）正在利用大数据来检测和研究食品中毒等疾病的模式。大数据让响应更快，治疗更快和死亡更少。

7. 保险

挑战：

缺乏个性化服务，缺乏个性化定价以及针对新细分市场和特定细分市场的服务。

应用：

通过从社交媒体，GPS设备和摄像头获得的数据预测客户行为，大数据已被业内用于为简单的产品提供客户见解。大数据还可以让保险公司更好地保留客户。在索赔管理方面，大数据的预测分析可以加快服务速度，因为可以分析大量数据，特别是在承保阶段。

8. 零售和整体销售贸易

挑战：

从传统的实体零售商和批发商到当今的电商，该行业随着时间的推移累计了大量数据。这些数据来自客户会员卡，POS扫描仪，RFID等，其用途不足以改善客户体验。

应用：

零售商和批发商收集来自客户忠诚度数据，POS，商店库存，本地人口统计数据的大数据。在2014年纽约Big Show零售会议上，微软，思科和IBM等公司提出零售行业需要利用大数据进行分析和其他用途，包括：通过购物模式、本地活动等数据优化人员配备，减少欺诈、及时分析库存

社交媒体的使用也有很多潜在的用途，正在被实体商店采用。社交媒体用于客户拉新、客户留存、产品推广等。

9. 运输

挑战：

最近，基于物流的社交网络的大量数据和来自电信的高速数据已经影响了人们的出行选择。遗憾的是，了解出行行为的研究并没有那么快。在大多数地方，对社交媒体结构的理解不够输出的需求模型往往不实用。

应用：

政府、私企和个人对大数据的应用包括：

1. 政府大数据：交通控制，路线规划，智能交通系统，拥堵管理

2. 私营部门在运输中使用大数据：收入管理，技术改进，物流和竞争优势

3. 个人使用大数据：节省燃料和时间的路线规划、出行安排等

10. 能源和公用事业

挑战：

60%电网资源十年内需要替换。

应用：

智能抄表器几乎每15分钟就能收集一次数据，而不是每天使用旧抄表器收集数据。这种精细数据被用于更好地分析公用事业的消耗，从而改善客户反馈并更好地控制公用资源的使用。

在公共机构中，大数据的使用还允许更好的资产和劳动力管理，这对于识别错误并在经历完全故障之前尽快纠正它们是有用的。

结论

经历了10个行业垂直行业，包括大数据如何在这些行业中发挥作用，这里有几个关键的要点：

1. 熟悉并了解行业特定的挑战

2. 了解或了解每个行业的数据特征

3. 了解支出地点

4. 将市场需求与您自己的能力和解决方案相匹配

5. 垂直行业专业知识是有效和高效利用大数据的关键