▌ 什么是大数据?

随着大数据时代的到来，AI 概念的火热，人们的认知有所提高。为什么说大数据有价值?这是不是只是一个虚的概念?大家怎么考虑数据驱动问题?为什么掌握更多的数据就会更有效?这些问题很难回答，但是，大数据绝不是大而空洞的。

信息论之父香农曾表示，信息是用来消除不信任的东西，比如预测明天会不会下雨，如果知道了今天的天气、风速、云层、气压等信息，有助于得出更准确的结论。所以大数据是用来消除不确定性的，掌握更多的有效数据，可以驱动企业进行科学客观的决策。

桑文锋对大数据有着自己的理解，数据采集遵循“大”、“全”、“细”、“时”四字法则。

“大”强调宏观的“大”，而非物理的“大”。大数据不是一味追求数据量的“大”。比如每天各地级市的苹果价格数据统计只有 2MB，但基于此研发出一款苹果智能调度系统，就是一个大数据应用，而有些数据虽然很大，却价值有限;

“全”强调多种数据源。大数据采集讲求全量，而不是抽样。除了采集客户端数据，还需采集服务端日志、业务数据库，以及第三方服务等数据，全面覆盖，比如美国大选前的民意调查，希拉里有70%以上胜算，但是川普成为了美国总统，因为采样数据有偏差，支持川普的底层人民不会上网回复。

“细”强调多维度数据采集，即把事件的维度、属性、字段等都进行采集。如电商行业“加入购物车”的事件，除了采集用户的 click 数据，还应采集用户点击的是哪个商品、对应的商户等数据，方便后续交叉分析。

“时”强调数据的时效性。显然，具有时效性的数据才有参考价值。如国家指数，CPI 指数，月初收集到信息和月中拿到信息，价值显然不同，数据需要实时拿到，实时分析。

从另一个视角看待数据的价值，可以分为两点，数据驱动决策，数据驱动产品智能。数据的最大价值是产品智能，有了数据基础，再搭建好策略算法，去回灌产品，提升产品本身的学习能力，可以不断迭代。如今日头条的新闻推荐，百度搜索的搜索引擎优化，都是数据驱动产品智能的体现。

▌ 数据分析四个关键环节

桑文锋把数据分析分为四个环节，数据采集、数据建模、数据分析、指标。他提出了一个观点，要想做好数据分析，一定要有自底向上的理念。很多公司的数据分析自顶向下推动，用业务分析指标来决定收集什么数据，这是需求驱动工程师的模式，不利于公司长久的数据采集。而一个健康的自底向上模式，可以帮助公司真正建立符合自己业务的数据流和数据分析体系。

一、数据采集

想要真正做好大数据分析，首先要把数据基础建好，核心就是“全”和“细”。

搜集数据时不能只通过 APP 或客户端收集数据，服务器的数据、数据库数据都要同时收集打通，收集全量数据，而非抽样数据，同时还要记录相关维度，否则分析业务时可能会发现历史数据不够，所以不要在意数据量过大，磁盘存储的成本相比数据积累的价值，非常廉价。

常见的数据采集方式归结为三类，可视化/全埋点、代码埋点、数据导入工具。

第一种是可视化/全埋点，这种方式不需要工程师做太多配合，产品经理、运营经理想做分析直接在界面点选，系统把数据收集起来，比较灵活。但是也有不好的地方，有许多维度信息会丢失，数据不够精准。

第二种是代码埋点，代码埋点不特指前端埋点，后端服务器数据模块、日志，这些深层次的都可以代码埋点，比如电商行业中交易相关的数据可以在后端采集。代码埋点的优势是，数据更加准确，通过前端去采集数据，常会发现数据对不上，跟自己的实际后台数据差异非常大。可能有三个原因：第一个原因是本身统计口径不一样，一定出现丢失;第二点是流量过大，导致数据丢失异常;第三点是SDK兼容，某些客户的某些设备数据发不出去，导致数据不对称。而代码埋点的后台是公司自己的服务器，自己核心的模拟可以做校准，基本进行更准确的数据采集。

第三种是通过导入辅助工具，将后台生成的日志、数据表、线下数据用实时批量方式灌到里面，这是一个很强的耦合。

数据采集需要采集数据和分析数据的人共同参与进来，分析数据的人明确业务指标，并且对于数据的准确性有敏感的判断力，采集数据的人再结合业务进行系统性的采集。

二、数据建模

很多公司都有业务数据库，里面存放着用户注册信息、交易信息等，然后产品经理、运营人员向技术人员寻求帮助，用业务数据库支持业务上的数据分析。但是这样维护成本很高，且几千万、几亿条数据不能很好地操作。所以，数据分析和正常业务运转有两项分析，数据分析单独建模、单独解决问题。

数据建模有两大标准：易理解和性能好。

数据驱动不是数据分析师、数据库管理员的专利，让公司每一个业务人员都能在工作中运用数据进行数据分析，并能在获得秒级响应，验证自己的新点子新思维，尝试新方法，才是全员数据驱动的健康状态。

多维数据分析模型(OLAP)是用户数据分析中最有效的模型，它把用户的访问数据都归类为维度和指标，城市是维度，操作系统也是维度，销售额、用户量是指标。建立好多维数据分析模型，解决的不是某个业务指标分析的问题，使用者可以灵活组合，满足各种需求。

三、数据分析

数据分析支持产品改进

产品经理在改进产品功能时，往往是拍脑袋灵光一现，再对初级的点子进行再加工，这是不科学的。《精益创业》中讲过一个理念，把数据分析引入产品迭代，对已有的功能进行数据采集和数据分析，得出有用的结论引入下一轮迭代，从而改进产品。在这个过程中大数据分析很关键。

Facebook 的创始人曾经介绍过他的公司如何确定产品改进方向。Facebook 采用了一种机制：每一个员工如果有一个点子，可以抽样几十万用户进行尝试，如果结果不行，就放弃这个点子，如果这个效果非常好，就推广到更大范围。这是把数据分析引入产品迭代的科学方法。

桑文锋在 2007 年加入百度时，也发现了一个现象，他打开邮箱会收到几十封报表，将百度知道的访问量、提问量、回答量等一一介绍。当百度的产品经理提出一个需求时，工程师会从数据的角度提出疑问，这个功能为什么好?有什么数据支撑?这个功能上线时如何评估?有什么预期数据?这也是一种数据驱动产品的体现。

数据驱动运营监控

运营监控通常使用海盗模型，所谓的运营就是五件事：触达是怎么吸引用户过来;然后激活用户，让用户真正变成有效的用户;然后留存，提高用户粘性，让用户能停留在你的产品中不断使用;接下来是引荐，获取用户这么困难，能不能发动已有的用户，让已有用户带来新用户，实现自传播;最后是营收，做产品最终要赚钱。要用数据分析，让运营做的更好。

数据分析方法

互联网常见分析方法有几种，多维分析、漏斗分析、留存分析、用户路径、用户分群、点击分析等等，不同的数据分析方法适用于不同的业务场景，需要自主选择。

举个多维分析的例子，神策数据有一个视频行业的客户叫做开眼，他们的软件有一个下载页面，运营人员曾经发现他们的安卓 APP 下载量远低于 iOS，这是不合理的。他们考虑过是不是 iOS 用户更愿意看视频，随后从多个维度进行了分析，否定了这个结论，当他们发现某些安卓版本的下载量为零，分析到屏幕宽高时，看出这个版本下载按钮显示不出来，所以下载比例非常低。就这样通过多维分析，找出了产品改进点。

举个漏斗分析的例子，神策数据的官网访问量很高，但是注册-登录用户的转化率很低，需要进行改进。所以大家就思考如何把转化漏斗激活地更好，后来神策做了小的改变，在提交申请试用后加了一个查看登录页面，这样用户收到账户名密码后可以随手登录，优化了用户体验，转化率也有了可观的提升。

四、指标

如何定义指标?对于创业公司来说，有两种方法非常有效：第一关键指标法和海盗指标法。

第一关键指标法是《精益数据分析》中提出的理论，任何一个产品在某个阶段，都有一个最需要关注的指标，其他指标都是这个指标的衍生，这个指标决定了公司当前的工作重点，对一个初创公司来说，可能开始关注日活，围绕日活又扩展了一些指标，当公司的产品成熟后，变现就会成为关键，净收入(GMV)会变成第一关键指标。

　　【IT168 专稿】导语：IDC发布的预测报告显示，到2021年中国数字经济的比重将达55%。中国的人口和经济规模决定了中国的数据资产规模冠于全球。这不仅为大数据技术的发展提供了演练场，同时也提出了更多、更高的要求。

　　大数据领域每年都会涌现出大量新的技术，成为大数据获取、治理、存储、分析或可视化的有效手段。而创业公司正在成为大数据技术创新的中坚力量，他们正在不断开发更多更加先进的软件或系统来满足这些大数据需求。

　　2017年，国内大数据领域就有这样10家创业公司吸引了我们的注意。(排名不分先后)

　　星环

▲CEO：孙元浩

　　星环的研发团队是国内最早的大数据Apache Hadoop发行版团队，专注于大数据和人工智能基础平台研发，主打产品一站式大数据综合平台(TDH)和通用人工智能平台Sophon。产品虽然源于Hadoop，但超越了Hadoop，特别是在分析型数据库、流处理技术、大规模分析型搜索引擎以及图形化的大数据开发工具套件方面，已经完全重构。

　　通过自主研发，星环实现了多项技术的突破， 如基于Hadoop平台构建数据仓库，实现利用Hadoop技术替代传统数据仓库案例;实时计算引擎，融合了低延时的事件驱动机制和复杂批处理编程模型的流处理引擎，支持复杂SQL、CEP复杂时间规则和机器学习，和Spark Streaming相比，星环Slipstream延时低至10ms;大规模搜索引擎，实现PB数量级上秒级延迟，同时具备搜索和统计分析能力。

　　2017年发布的TDH5.0，让基于容器化进行部署大数据平台成为可能。Sophon支持图形化拖拽式的统计分布式机器学习和深度学习的模型开发以及自动建模。

　　TDH社区版目前向所有人免费开放，在星环官网或腾讯云上都可以下载使用。

　　星环成立于2013年，总部位于上海。在Gartner发布的2016版数据仓库及数据管理解决方案市场的魔力象限中，星环是唯一上榜的中国公司。今年10月，在IDC发布的《IDC MarketScape：中国大数据管理平台厂商评估，2017》报告中被评为领导者。

　　融资方面，2017年5月，星环完成了由腾讯领投的C轮2.55亿融资。 6月在全球著名的第三方评测组织TPC上发布的TPCx-HS10TB测试结果，位列全球第一。

　　百分点

▲CEO：苏萌　　

　　百分点成立于2009年，总部位于北京，是一家大数据与人工智能解决方案提供商。产品线全面涵盖大数据技术、管理、应用各个层面，其核心产品包括技术层的大数据操作系统(BD-OS)，管理层的用户画像标签管理系统，以及应用层的推荐引擎、分析引擎和营销引擎。

　　2017年12月百分点发布Deep Matrix AI决策系统，通过该系统，用户可以进行复杂业务问题的自动识别、判断并做出前瞻或实时决策。

　　从百分点公开案例数据显示， 国家质检总局凭借这套智能决策系统进行召回判断，由每季度组织十多名专家耗费数百小时的会商制度转变为“1人+机器协同”的实时决策。上线1年，百分点这款产品已经处理了1000多起汽车召回案例，也协助完成了5000多万辆汽车的召回。

　　在Gartner发布的“2016 China Cool Vendor”评选榜单中，百分点曾作为唯一一家大数据公司入选。2017年，又被APAC CIO Outlook杂志评选为2017年亚太区大数据企业25强。

　　在融资方面，百分点已完成D轮融资，累计融资额10亿元人民币，创企业级大数据领域融资最高记录。2017年12月29日，百分点还宣布，全资并购在线调研公司极速洞察。

　　与大部分大数据创业公司业务都在国内不同，百分点还在积极开拓海外市场，其产品在非洲、拉美以及更多国家和地区都有落地。

　　明略数据

▲CEO：吴明辉

　　明略数据成立于2014年，总部位于北京，是行业大数据和行业人工智能的解决方案提供商，技术能力较强，无论是大数据还是人工智能，都有自己的核心产品，并由这些产品构成自己的解决方案。

　　2017年上半年，明略数据发布了行业人工智能大脑“明智系统”，知识图谱数据库“蜂巢”和智能决策支持问答系统“小明”。通过以上产品，用户可以较为容易的构建特定行业领域的知识图谱，并实现人机交互，从而提高企业决策的精度、速度、敏捷度，降低知识劳动力成本。

　　明略数据核心业务有三个板块：公安、金融、工业。虽然不多，但每一个行业做得都很深， 2017年，明略数据获“德勤—华兴中国明日之星”，其公安情报大数据系统还入选数博会“十佳大数据案例”等。

　　在融资方面，据了解，明略数据2017年已经完成C轮融资，但并未对外发布，具体金额不详。

　　天眼查

▲CEO：柳超

　　天眼查成立于2014年，是一个以公开数据为切入点，以关系为核心的大数据产品平台。其使命是“通过技术让每个人公平地看清这个世界”。

　　目前，天眼查收录了全国超1.4亿家市场主体，80多种数据维度信息。不仅可以可视化呈现复杂的商业关系，还能深度挖掘和分析相关数据，预警风险等。其核心功能为“查公司”、“查老板”、“查关系”。

　　天眼查产品能广泛服务于政府机构、泛金融、泛法律、泛商务等领域，应用于金融信贷、风险控制、 项目尽调、商业合作、信用评级、精准决策、客户营销等各类场景。

　　融资方面，2017年3月，天眼查完成A轮1.3亿人民币融资，这超过了世界上95%的A轮融资额度，也是商业调查工具行业至今最高额度的投资。

　　神策数据

▲CEO：桑文锋

　　神策数据成立于2015年，总部位于北京，是一家大数据分析服务公司。主打产品神策分析(Sensors Analytics)，是一款用户行为分析产品，主要针对营销渠道效果评估、精细化运营改进、产品功能及用户体验优化、辅助管理层决策等典型业务场景。提供私有化部署和SaaS两种部署方式、实现基础数据采集与建模，并可作为 PaaS 平台支持二次开发。

　　该公司特色是技术团队对众多开源技术平台进行了重写，如对Impala查询引擎等技术的重构，通过数十万的代码的重写实现了真正海量数据秒级查询，这在国内的大数据领域独树一帜。

　　神策分析能有效帮助企业用户节省数据团队与业务团队之间的沟通成本与人力成本，同时使一些不具备设立数据团队的创业公司有了自己的数据资产累积平台，从而提升了企业决策效率。

　　融资方面，2017年，神策数据完成1100万美元B轮融资。

　　PingCAP

▲CEO：刘奇

　　PingCAP 是开源的分布式关系型数据库提供商，核心产品 TiDB 是一款定位于在线事务处理/在线分析处理的融合型数据库产品，该产品从根本上解决了传统单机关系型数据库的水平扩展问题。

　　TiDB 模型参考了 Google 最新的全球分布式数据库 Spanner/F1，具备一键水平伸缩，强一致性的多副本数据安全，分布式事务，实时 OLAP 等特性，同时兼容 MySQL 协议和生态，迁移便捷，运维成本低。

　　据了解，目前准生产测试用户约 500 余家，其中摩拜单车、同程旅游、360 金融、游族网络，去哪儿网等数十家不同行业的领先企业已经应用在实际生产环境，涉及互联网、游戏、金融、政府、电信、制造业等多个领域，帮助企业解决了海量数据存储、超大规模并发访问及交易问题。

　　PingCAP 总部位于北京，成立于 2015 年。融资方面，2017 年，PingCAP 完成了 1500 万美元的 B 轮融资;2017年，PingCAP还完成与腾讯云、UCloud 等大型公有云平台深度集成。

　　爱可生

▲CEO：李恒　　

　　爱可生成立于2003年，总部位于上海，定位于开源数据库整体解决方案和行业数据应用。相关数据技术已服务于中国银行、招商银行、中国人保、航天科技、金风科技、中国移动等众多金融、智能制造、电力、电信等行业大型企业。

　　爱可生的云树产品系列具备自主研发的分布式技术和私有云数据库(RDS)核心技术， 并入围了央采2017年度软件招标名录。 产品满足了金融行业对开源数据库高可用、扩展性、容灾的严苛需求以及金融体系运维体系规范要求。产品已在线上系统中支撑了众多金融等行业的核心交易系统，并支持了数千个开源数据库实例的大体量运维管理。

　　行业数据应用方面，爱可生基于对智能制造、电力行业等工业互联网场景需求理解，融合结构化和非结构化的数据处理技术，帮助用户建立统一数据管理和服务平台，在多场景下的基于数据的决策或预测模型已形成可落地的解决方案。

　　融资方面，爱可生是新三板创新层企业，2017年完成了B轮融资，融资金额5065万元，投资方为达晨创投、毅达资本以及创合汇。

　　2017年，爱可生在“融资中国资本年会”上荣获 “年度最具投资价值新三板公司”。

　　瀚思科技

▲CEO：高瀚昭

　　瀚思科技成立于2014年，总部位于北京，是一家大数据安全公司，拥有整套自主研发的基于大数据的信息安全产品，通过以HanSight Enterprise产品为核心的各个产品相互配合、补充，形成完整的信息分析的平台，来满足用户信息安全需要。

　　基于大数据的安全分析， 机器学习的用户行为分析，深度学习的未知病毒木马检测引擎DeepSense等技术，瀚思科技能大量缩减企业威胁的发现和处置时间，并通过自动化分析处置流程提高威胁分析处理效率，帮助企业降低安全风险。

　　融资方面，2017年 ，瀚思科技获得国科嘉和、IDG领投资的人民币1亿元B轮融资。

　　2017年，瀚思科技入围央采2017年度软件招标名单，并连续三季度入选Cybersecurity Ventures2017网络安全全球500强，在入围的中国安全企业中排名第三，同期入围《安全牛》发布的2017中国网络安全企业50强，位列第38位。

　　SequoiaDB巨杉数据库

▲CEO：王涛　　

　　巨杉数据库成立于2011年，总部在广州，是分布式数据库提供商。主要产品有两个：企业级分布式数据库SequoiaDB巨杉数据库，以及分布式企业内容管理软件SequoiaCM。

　　其核心数据库产品目前实现了分布式OLTP，分布式对象存储以及分布式NoSQL实现全类型数据的覆盖。技术上具备分布式架构、多模数据管理(Multimodel)、标准化数据访问、数据安全双活容灾、与混合负载HTAP等几个重要的技术特性。

　　巨杉一大特点是坚持自主研发， 其产品在稳定性和企业级支持服务、开发应用友好度、性价比和高可用安全等方面的口碑不错。目前其产品不仅在超过20家银行用户上运行。还拥有近百家的企业用户。

　　2017年，巨杉数据库入选Gartner数据库报告，这是中国数据库产品的首次入选，一同入选的还有南大通用和阿里云。

　　据了解，目前，巨杉数据库除了国内市场外还在积极布局海外市场。

　　热云数据

▲CEO：白冬立　　

　　热云数据成立于2013年11月，总部在北京，是一家定位移动互联网领域的第三方大数据服务商。通过精准的人群定位、全面的用户画像及实时的广告效果监测来帮助广告主优化广告投放策略、投放质量、从而节约广告投放成本，提高运营效率。

　　自主开发了游戏运营支撑平台、防作弊监测技术、移动广告效果监测平台、用户流失预测模型、移动DMP、移动大数据标签系统、渠道数据分析系统等技术产品。

　　热云数据在数据分析技术方面较为领先，独创的防作弊技术、防刷量和去重等机制，能帮助移动互联网企业在投放过程发现作弊和刷量等点击数据，真实反馈用户的真实行为，减少投放浪费，高效获取真实的用户。

　　在融资方面，2017年5月热云数据完成B轮1亿元人民币融资。2017年，热云数据还牵头成立了“中国诚信移动广告联盟”-CMAA。

互联网时代，最明显的一个特征就是绝大多数信息都是以数据的形式进行记录，可以说数据就是信息的载体，也是知识的来源。数据体量呈现出爆发式增长，人们在笑谈大数据时代“你的信息只值五毛钱”的时候，不得不重新认真思考它的价值。

大数据有没有价值，在于是否应用得当

随着国家将大数据战略提升到国家战略高度，将大数据视为经济发展和转型的重要科技依据，越来越多的企业组织已将数据视为重要资产，着手开展数字化转型的系列举措，以期全面提升客户体验，推动经济增长。

无疑，大数据时代，数据资产已成为一个企业的核心竞争力。但数据在手，不会运用它，就会毫无价值。在当下企业数字化浪潮中，数据是企业转型的基础元素，如何将企业不同业务、类型的数据应用起来，推动企业运营，增加收入、降低成本、提高效率，控制风险等，是企业现在面临的难点。

用友云分析服务针对企业数据分析的关键技术及应用场景等推出了《分析云技术白皮书》，助力企业走出数据分析的盲区，实现数据化管理与运营。用友云分析服务支持将多个不同的数据源汇总到数据共享中心的大数据平台。通过内置的用友DI数据集成平台将企业各业务系统的数据进行采集，再加载到用友云分析服务的大数据平台。经过元数据管理系统的比对、校验、转换得到一致的数据。从而进行数据整合，根据不同的需求，提供差异化服务。

应用越广泛，受到的安全挑战越大

大数据技术，悄然渗透到各个行业领域，逐渐成为一种生产要素并发挥着重要作用。然而，大数据技术使得产率提高和改变生活方式的同时，随之而来的安全挑战也日益显现。

例如，政务大数据覆盖行业范围广泛、数据结构多样、关联关系复杂，而且涉及大量个人隐私数据、国家敏感数据等重要数据。因此在开展政务大数据应用的同时，数据和平台安全尤为重要。

值得一提的是，3月25日，华为云数据库安全服务正式上线，以期打造高效云上数据防护体系。华为云数据库安全服务，通过三步走的数据库安全防护设计，保障数据系统安全。第一步：定位敏感数据在数据库中所处的位置，通过构建安全策略来提早防护。第二步：通过定义基于多维度的策略，阻止应用直接访问数据、利用操作系统和第三方应用程序漏洞的攻击。第三步：一旦发现入侵行为，采取必要措施进行封堵，以回溯和确认攻击源头，还原恶意行为的蛛丝马迹，从而进行管理措施。

大数据与人工智能携手发展

大数据与人工智能相互依托，有着紧密的联系。巨大的数据量为人工智能提供了发展空间。从早期的支持向量机、决策树，到近期的人工智能神经网络，数据越多越有助于人工智能的发展。同时，大数据也需要更新的模式来处理它，通过这个过程发现更多隐含规律。

在当下，在未来，或许人们已经不能忽略“大数据与人工智能”这两个重要的技术协同运用所带来的具大效应。人心齐，泰山移。独脚难行，孤掌难鸣。在互联网时代，一味地竞争已经没有未来。只有携手共求发展，或许才能创造出一个大国品牌。

（文/红薯）

现在谈论大数据已经没有新意了，形形色色的产品、平台和公司都贴满大数据标签，但大数据却并没有掀起预期飓风，甚至还被冠以“伪命题”污名。

大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。大数据在核心领域的渗透速度有目共睹，然而调查显示，未被使用的信息比例高达99.4%，很大程度都是由于高价值的信息无法获取采集。

因此在大数据时代背景下，如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一，数据采集才是大数据产业的基石。那么什么是大数据采集技术呢？

什么是数据采集？

数据采集(DAQ)， 又称数据获取，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据分类新一代数据体系中，将传统数据体系中没有考虑过的新数据源进行归纳与分类，可将其分为线上行为数据与内容数据两大类。

线上行为数据：页面数据、交互数据、表单数据、会话数据等。

内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。

大数据的主要来源：1）商业数据 2）互联网数据 3）传感器数据

传统数据采集的不足

传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处理速度方面而言，传统的并行数据库技术追求高度一致性和容错性，根据CAP理论，难以保证其可用性和扩展性。

大数据采集新的方法

以博为软件101异构数据采集技术为例：通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，基于底层IO请求与网络分析等技术，采集目标软件产生的所有数据，将数据转换与重新结构化，输出到新的数据库，供软件系统调用。

技术特点如下：

1. 无需原软件厂商配合；

2. 实时数据采集，数据端到端的响应速度达秒级；

3. 兼容性强，可采集汇聚Windows平台各种软件系统数据；

4. 输出结构化数据，作为数据挖掘、大数据分析应用的基础；

5. 自动建立数据间关联，实施周期短、简单高效；

6. 支持自动导入历史数据，通过I/O人工智能自动将数据写入目标软件；

7. 配置简单、实施周期短。

优点：其优势在于不需要“接口”配合，这就摆脱了对软件厂商的依赖。特别是在在需要集成多个系统数据时，不仅能节省大量时间、人力与资金，实现“一站式”完成；还避免了因个别系统开发团队解体、源代码丢失等原因导致系统数据集成出现烂尾的情况。

缺点：只采集Windows平台的各软件系统数据

版权声明：本文部分来自网络，如有侵权，请联系删除!

在工业大数据领域的从业者有很大一部分是传统IT从业人员，对于工业控制协议比较陌生，因此再做工业大数据采集时，对于各类工业协议有时容易搞不清楚，我简单把在做工业大数据采集时常见的几种工业协议整理了一下，以便搞清这些工业协议的概念和区别。

为了容易理解，我把常见的工业协议按照OSI（Open System Interconnect）参考模型分到了不同层次，注意，这只是为了容易理解和区分各类协议，实际上，随着各种协议的发展，很多自身都跨越了很多层次，能够实现多层协议的功能，我们做的划分只是它最重要的功能所处的协议层。

接下来，按照从低到高的顺序，介绍一下上面图中这几种常见的工业协议。

1、RS232

在串行通讯时，要求通讯双方都采用一个标准接口，使不同的设备可以方便地连接起来进行通讯。RS-232-C接口是目前最常用的一种串行通讯接口。RS-232-C是美国电子工业协会EIA（Electronic Industry Association）制定的一种串行物理接口标准。RS是英文“推荐标准”的缩写，232为标识号，C表示修改次数（“RS-232-C”中的“-C”只不过表示RS-232的版本，所以与“RS-232”简称是一样的） 。。RS-232-C总线标准设有25条信号线，包括一个主通道和一个辅助通道。工业控制的RS-232口一般只使用RXD、TXD、GND三条线。通常 RS-232 接口以9个引脚 (DB-9) 或是25个引脚 (DB-25) 的型态出现，一般个人计算机上会有两组 RS-232 接口，分别称为 COM1 和 COM2。

2、RS485

随着企业信息化法发着的需要，企业在仪表选型时其中的一个必要条件就是要具有联网通信接口。最初是数据模拟信号输出简单过程量，后来仪表接口是RS232接口，这种接口可以实现点对点的通信方式，但这种方式不能实现联网功能。随后出现的RS485解决了这个问题。

485通讯接口一个对通讯接口的硬件描述，它只需要两根通讯线，即可以在两个或两个以上的设备之间进行数据传输。这种数据传输的连接，是半双工的通讯方式。在某一个时刻，一个设备只能进行发送数据或接收数据。而RS232是全双工，最少3条通信线（RX,TX,GND），因为使用绝对电压表示逻辑，由于干扰，导线电阻等原因，通讯距离不远，低速时几十米也是可以的。

在RS232或RS485设备联成的设备网中，如果设备数量超过2台，就必须使用RS485做通讯介质，RS485网的设备间要想相互通信息只有通过“主（Master）”设备中转才能实现，这个主设备通常是PC，而这种设备网中只允许存在一个主设备，其余全部是"从（Slave）"设备。而现场总线技术是以ISO/OSI模型为基础的，具有完整的软件支持系统，能够解决总线控制、冲突检测、链路维护等问题 。

3、CAN

控制器局域网CAN（ Controller Area Network）属于现场总线的范畴，是一种有效支持分布式控制系统的串行通信网络。是由德国博世公司在20世纪80年代专门为汽车行业开发的一种串行通信总线。由于其高性能、高可靠性以及独特的设计而越来越受到人们的重视，被广泛应用于诸多领域。CAN协议分为二层：物理层和数据链路层。CAN的信号传输采用短帧结构，传输时间短，具有自动关闭功能，具有较强的抗干扰能力。CAN支持多主工作方式，并采用了非破坏性总线仲裁技术，通过设置优先级来避免冲突，通讯距离最远可达10KM/5Kbps/s，通讯速率最高可达40M /1Mbp/s，网络节点数实际可达110个。

由于CAN总线本身的特点,其应用范围目前已不再局限于汽车行业,而向自动控制、航空航天、航海、过程工业、机械工业、纺织机械、农用机械、机器人、数控机床、医疗器械及传感器等领域发展。

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。

在尝试应对收集和分析大数据的挑战时，小型企业可能会觉得自己陷入了困境。不过，即使财富500强的IT预算比小企业过去的十年的收入还要多，小企业也不会被这些大公司远远地甩在后面。

而目前小企业利用大数据的机会从来没有这么好。多家企业已经在SaaS(软件即服务)平台上推出了大型数据收集和分析工具。这意味着小企业不需要投资昂贵的硬件，聘请昂贵的数据专家，然后自行部署复杂的算法。

但即使是SaaS大数据平台，企业仍然需要高质量的数据来帮助达成数据驱动的决策。再次，深吸一口气。虽然很多企业收集了大量的数据，但必须认识到要让信息能够为未来的分析进行正确分类。

1.交易数据

数据存储中最重要的一件事是场景数据。这些是包含多个变量的数据点。当顾客为你支付货物和服务时，企业需要知道：

他们消费了多少他们购买了什么他们什么时候购买什么促销或优惠券促使他们购买他们是如何支付的。如果企业部署了正确的POS软件，将能够自动将这些信息存储在CRM(客户关系管理)软件中。虽然存储客户支付细节有些不当，但是为了方便支付处理，除了在加密的数据库中，企业可以创建一个详细的非支付工具交易数据库，以便将来进行挖掘。

2.店内运营监控

大数据分析正在改变零售商经营店铺的方式。随着企业采用部署运动传感器的安全系统，可以跟踪客户在整个商店中移动的位置。企业将无法确定哪个客户的身份，但是企业能够了解每个部门有多少客户购物。

这些数据可以用来创建可以指导员工选择的趋势。对于没有部署特定人员的小型商店，需要的只是门口的柜台。

3.在线营销分析

当客户访问企业商店的网站时，谷歌分析应该能够为每位访客提供人口统计数据。这些信息可以帮助指导企业如何准备营销活动，以及网站的哪些方面最受关注。

网站热点图可以帮助企业了解网站上每个网页的哪些部分有着最多的鼠标者，强大的Facebook营销工具可以帮助企业向读者反映当前的关注点。

可以从网上与企业的品牌互动收集的数据量几乎是无限的。企业明智的做法是指导在线营销团队安装和定制插件和程序，将这些数据收集并存储在安全的地方供将来分析是明智之举。

4.客户回报计划

有没有想过为什么大型超市愿意给顾客提供折扣，只需要输入其电话号码或扫描奖励卡?因为客户购物档案对他们很有价值。根据其地址和消费习惯，他们可以估计顾客的年收入。

商家需要为自己的客户创建一个奖励计划。奖励计划将通过鼓励重复购物来提高商家的整体销售额。此外，还可以获取客户级别的数据，了解客户的购买方式、时间和内容。如果商家可以与电子商务网站同步，就可以获得额外的点数，以便在网上或在网上进行最终购买之前了解客户浏览商品的更多数据。

5.第三方促销

企业可以创建多个第三方忠诚计划，并与自己的个人会员计划配合使用。例如，Shopkick在进入商店时会以积分奖励购物者，拍摄赞助产品的照片，并使用链接的借记卡或信用卡来完成参与商店的购物。

首先，许多企业这些类型的节目愿意支付费用，以促进他们的商店和产品的销售。其次，所有这些数据都可以从管理移动应用程序的公司购买，这些数据将包括参与该计划的每家商店的旅行习惯和购买习惯。

这种数据可以帮助商家更好地分析未来的促销活动和捆绑优惠。

个性化是最终目标

当企业开始建立一个客户档案时，其营销团队深入到统计数据中是很重要的。企业对客户了解得越多，其个性化推广就越有效。采用电子邮件推销，以及采用标准化的线上和线下促销现在很难有更好的效果。

当客户感觉正在谈论自己的独特需求时，企业将体验到消费水平、购买频率，以及整体客户价值的巨大增长。这将有助于将投资于大数据收集和分析工具的成本分摊到大量的客户交易中，从而创建一个数据驱动的指导系统。

总之，各种规模的商店和企业可以采集大量数据。而得益于大数据SaaS平台，企业不再需要拥有内部数据收集和分析团队。通过配置现代POS软件来收集客户的非财务数据，可以将这些数据与所有其他数据源相关联。

随着客户与厂商进行互动，从研究到最终购买，企业将深入了解如何提供个性化的报价，这是产生客户忠诚度的关键因素。随着企业的发展与所观察到的市场需求进行对话，将发现扩展或将企业的产品和服务集中在对赢利产生最大影响的机会。

来源：互联网

国内大数据服务企业主力阵营：

1、TakingData

TakingData以SmartDP为核心的数据智能应用生态为企业赋能，帮助企业逐步实现以数据为驱动力的数字化转型。

2、友盟+

友盟+基于全域数据、数据技术和商业场景，构建以7亿消费者为核心，覆盖数据化运营、数据营销、新零售数据服务、金融及手机解决方案的数据智能服务体系，驱动业务持续增长。

3、精准科技

精准科技是一家以用户画像为特色的大数据技术公司，致力于推动大数据在营销场景中的使用，业务主要涵盖汽车、金融、房产三大领域。

4、浪潮

浪潮互联网大数据采集中心已经采集超过2PB数据，并已建立5大类数据分类处理算法。近日成功发布海量存储系统的最新代表产品AS130000。

5、腾讯

腾讯拥有用户关系数据和基于此产生的社交数据，腾讯的思路主要是用数据改进产品，注重QZONE、微信、电商等产品的后端数据打通。

6、 探码科技

探码科技自主研发的DYSON只能分析系统，可以完整的实现大数据的采集、分析、处理。一直做的国外项目美国最大的律师平台、医生平台和酒店、机票预订平台的数据采集、分析、处理。将在国内推出一系列面向政务、企业的创新型大数据研究项目与合作，为各大企业提供高端信息技术咨询服务。

7、中兴通讯

中兴通讯推出的“聚焦ICT服务的高效数据中心整体服务解决方案”，可帮助运营商有效解决大数据时代建设IDC面临的大部分问题，提升运营商ICT融合服务能力。

8、神州融

神州融整合了国内权威的第三方征信机构和电商平台等信贷应用场景的征信大数据，通过覆盖信贷全生命周期管理的顶尖风控技术，为微金融机构提供大数据驱动的信贷风控决策服务。

9、中科曙光

中科曙光XData大数据一体机可实现任务自动分解，并在多数据模块上并行执行，全面提高了复杂查询条件下的效率。

10、华胜天成

华胜天成自主研发的大数据产品“i维数据”，颇具创新，近期又与IBM达成战略合作关系，涵盖Linux on Power市场、智慧城市、存储业务、管理服务、咨询与应用管理服务。

11、神州数码

“神州数码”启动了“智慧城市”战略布局，先后推出了市民融合服务平台、自助终端服务平台等产品，并在佛山、武汉等“智慧城市”建设中实践运用。

12、用友

用友在商业分析、大数据处理等领域进行研发，先后推出了用友BQ、用友AE等产品。

13、东软

东软大数据战略以医疗行业为突破口，凭借在社保、医疗行业积累的资源，搭建了东软熙康这一智慧医疗平台。

14、金蝶

金蝶KBI与金蝶ERP无缝集成，实现BI数据采集——集成——分析决策支持的一体化应用。

15、宝德

宝德大数据云备份，是一个专为大数据而设的云备份方案，支持实体机及虚拟机备份，而且具有无限扩充的可能，并且完全自动。

16、启明星辰

大数据时代的IP治理和审计，启明星辰提供了终端审计、终端数据防泄露、日志审计，通过综合审计平台来帮助用户解决IP治理需求等解决方案。

17、拓尔思

拓尔思通过收购天行网安，可以拓展在公安行业的应用，目前正着力开拓行业应用市场，挖掘各个产业链中的大数据价值。

18、荣之联

零售、证券、生物、政府等都是荣之联大数据业务的主要目标行业，已为零售业提供了大数据分析的解决方案，解决了库存问题。

19、中科金财

中科金财作为国内领先的高端IT综合服务商，主要服务于金融业的大数据。

20、美亚柏科

美亚柏科专注于公安市场，其业务包括电子数据取证、电子数据鉴定、网络舆情分析、数字维权、公证云、搜索云以及取证云服务。

21、赛思信安

国内存储技术与服务供应商赛思信安推出了自主研发的大数据管理系统，适用范围包括互联网、公众服务、商业智能、金融、医疗卫生、能源等多个行业。

22、华宇软件

华宇软件作为大数据、食品安全、法务软件等相关热门行业软件，同时也是公安领域大数据的上市公司。

23、天玑科技

天玑科技的数据中心运维管理服务，为大数据的分析能力提供了强大的后台支撑和保障。

24、东方国信

东方国信主营业务为企业商业智能软件及系统解决方案，收购北科亿力和科瑞明，有效拓展了工业和金融大数据领域。

25、华三

华三全融合虚拟化网络技术能够极大简化网络结构，减轻网络管理和维护量，为企业数据中心大规模建设提供最强有力的技术支持。

26、海康威视

海康威视基于英特尔Hadoop发行版，并融合可以灵活按需调配IT资源对应用和服务进行支持的开放架构云计算技术，打造出了视频智能云计算方案。

27、高德

高德与阿里将在地图搜索、产品商业化、数据共享、云计算等领域展开合作，特别是在数据共享方面，高德和阿里巴巴将共建一个大数据服务体系，

28、四维图新

作为提供导航地图、地理信息系统软件建设的内容提供商，现在已尝试使用大数据为政府部门提供决策。

29、海捷科技

专注于商业智能领域(BI)、数据仓库领域、数据库领域的专业咨询、项目实施、软件开发、系统集成等方面，为金融、电信、快速消费品等行业提供相应方案。

30、北京信合运通

信合运通专注于为运营商和行业客户提供基于大数据的深度分析和挖掘技术、渠道支撑服务及行业解决方案。

31、海云数据

海云数据专注于从事数据可视化，可为客户提供数据可视化的创意设计、制作和软硬件集成系统服务。

32、九次方金融数据

九次方金融数据在国内唯一以企业大数据分析的角度对有投资价值和并购价值的企业进行价值判断，持续跟踪企业动态变化的金融大数据公司。

33、永洪科技

永洪BI通过完全自主知识产权的数据集市产品(Z-Data Mart)支持大数据，Z-Data Mart汇聚了数十项自有专利，涵盖了分布式存储和计算、分布式传输和实时通信等关键领域。

34、集奥聚合

集奥聚合作为大数据服务提供商，其DataQuate解决方案主要用于解决运营商大数据的接入、挖掘及应用，为运营商大数据的价值转化提供端到端服务。

35、华院数云

华院数云以数据挖掘为核心、以商业智能和精准营销为主线、以SAAS云平台为主要服务模式，目前专注于电商领域，为客户提供行业领先的数据分析和精准营销平台服务。

36、杭州诚道科技

杭州诚道科技致力于为浙江、全国公安交通管理行业提供一流的信息化服务、产品和方案解决能力，其借助英特尔Hadoop分发版，已解决了大数据的采集和处理问题。

37、勒卡斯

勒卡斯是致力于为客户提供全方位直复营销解决方案和服务的大数据公司，主要有潜客沟通、会员管理、CRM软件定制及客户市场调研四大业务。

38、北京阿尔泰科技

北京阿尔泰科技专业数据采集系统的制造商。

39、智拓通达

智拓通达主要做中国主流社交平台的“大数据”分析，通过整合各大社交平台的用户数据、行为数据和 UGC 内容，为企业和个人用户提供定制化服务。

40、国双科技

国双科技数据中心拥有基于OLAP技术的强大交互式数据挖掘平台，可提供不同深度的分析报告，满足不同视角的数据挖掘和分析需求。

41、时云医疗科技

时云医疗科技今日发布了医疗领域的大数据“未病”预警云服务“康诺云”，有针对个人健康管理而设计的云律血压节律仪、云悦体质分析仪和云动智能健康监测腕表3款智能硬件。

42、百分点

百分点主要为电子商务企业提供站内流量转化和商业智能分析的整体优化解决方案，旗下有推荐引擎技术平台以及跨网站消费偏好平台。产品主要有BRE和BAE。

43、精硕科技

精硕科技是国内少有的第三方数字营销监测和调研机构，专注于为广告主提供全流程的网络广告效果监测、分析评估、媒介优化咨询和技术解决方案等服务。

44、神策数据

神策数据立足大数据及用户行为分析的技术与实践前沿，业务现已覆盖以互联网、金融、零售快消、高科技、制造等为代表的十多个主要行业、并可支持企业多个职能部门。

45、百度

百度的优势体现在海量的数据、沉淀十多年的用户行为数据、自然语言处理能力和深度学习领域的前沿研究。近来百度正式发布大数据引擎，将在政府、医疗、金融、零售、教育等传统领域率先开展对外合作。

46、阿里巴巴

阿里巴巴拥有交易数据和信用数据,更多是在搭建数据的流通、收集和分享的底层架构。

47、华为华为云服务

整合了高性能的计算和存储能力，为大数据的挖掘和分析提供专业稳定的IT基础设施平台，近来华为大数据存储实现了统一管理40PB文件系统。

48、同盾科技

同盾科技将人工智能与业务场景深度结合，为银行、保险、汽车金融、非银行信贷、基金理财、三方支付、航旅、电商、O2O、游戏、社交平台等十余个行业客户提供高效智能的风控、反欺诈及营销分析服务。

49、国双科技

国双科技是中国的企业级大数据和人工智能解决方案提供商。

50、智慧足迹

智慧足迹是由中国联通和西班牙电信合资成立的专业大数据公司，依托中国联通的数据能力，提供位置信息洞察及相关大数据业务。

做网络营销

不论是个人还是公司都想要实现产品的渠道拓展和推广宣传

但绝大多数的企业都不能达成想要的效果

其实原因有很多

一、想要做好网络营销

客户是王道

没有强大的客户群做后盾

网络营销的销量不过是空想罢了

当下客户渠道大多以网络大数据信息采集的方式来获取

如云速数据挖掘

通过输入行业关键字

就能一键采集指定区域的客户信息和联系方式

省时高效

二、通过客户信息

从分考虑分析目标群体的生活轨迹和习惯

来预测客户下一步的消费行为

以正确的时间正确的方式传达产品信息

从而完成营销活动

三、产品文案的策划一定要以客户需求为重点

并且简单易懂、快速吸引客户眼球

才能使转化率达到最佳