对中小企业的发展来看，目前面临的四大核心问题是：第一是如何获得精准的目标客户，对于中小企业来说获得客户很大部分都是依靠黄页，地毯式扫楼，或者朋友介绍，这存在的一个问题就是效率低而且成本高；第二是如何有效地对老客户进行维护，企业CRM上冗杂的信息缺少优化的工具，难以从中筛选出有限营销线索；第三是如何提升业务能力，客户的获取以及老客户的维护难，直接导致了业务能力的下降；第四是如何提升企业在行业当中的品牌竞争力。

针对中小企业面临的痛点和难点探码科技开发一款适用于中小企业的企业大数据营销获客平台——数塔Datale。数塔是一个基于Datale大数据采集、机器学习、模型算法、知识图谱、时序分析等人工智能技术的企业大数据SAAS工具平台，通过分析和挖掘全网在线企业数据信息，再结合企业内部的CRM系统，为2B企业精准挖掘潜在企业客户。

从另一个层面来看Datale数塔提供浅显易懂的大数据接入方法，从企业查询、获客、成长性评价、授信分析、舆情预警等业务场景出发，开创性的应用机器学习等人工智能技术、评估企业成长价值和投资价值、预测企业全生命周期经营状况，为中小企业提供各种专业的大数据智能服务。

datale的数据挖掘主要来源于三个方面

第一是datale跟天眼查、企查查等工商大数据平台建立了深度合作关系，相互打通API接口调取数据;第二是datale开放了企业填报端口，授权企业可以直接填报信息到平台上来，形成数据自用和数据自治；第三是datale依托探码Dyson Web大数据采集系统，构建了一个庞大的网络爬虫24小时自动运转。

基于中国企业的特点，数塔建立了统一的后台线索库。目前累积已有3000万+企业大数据，数据来自于全网的企业信息、第三方数据以及工商系统，包含工商信息、销售信息、知识产权、团队招聘、新闻舆情等；多维度展示，多数据洞察，一键查尽企业数据。此外，数塔也会根据网上的即时信息和用户的实际使用情况，自动更新、补全数据库。

在搭建企业大数据平台上Datale数塔历经了四个时间段的沉淀

第一个阶段2015年行业信息数据采集.与美国多家初创企业合作构建了律师大数据、医生大数据、企业网站资源采集大数据等项目，积累了部分数据资源。第二个阶段2016年启动网络舆情采集以及构建企业数据库系统.启动基于Datale的企业舆情大数据集群系统，采集网络舆情数据并实现商业化。同时开始构建国内企业信息数据库，包括工商数据合作，企业信息收集，网络数据爬虫。第三个阶段2017年企业数据库达到1000+万.进行多源数据采集，使国内企业数据量增加到千万级别，达到500TB的数据存量。第四个阶段2018年完成企业成长性模型构建.完成企业成长性模型的测试和上线，实现100多个数据节点的多维建模，植入机器学习算法。

数塔除了工商数据挖掘之外，还有互联网信息的爬取,其次，数塔通过数据清洗、采集、规整和入库等数据处理步骤搭建数据库和企业知识图谱，并根据这个图谱为客户进一步匹配优质的潜在客户。可以说数塔是专注中小企业大数据领域的内容营销和企业大数据个性化定制。

对于大数据的理解

大多人还停留在很大的数据这一概念上

其实不然

大数据指的是存在于网络上的海量的信息碎片

通过类似云速数据挖掘这种先进的技术将其采集、整合、

从而发现隐藏于其中的关联信息

下面通过三个核心来解读什么是大数据信息采集

一、大数据营销是将所有营销行为和销售行为数据化

将这些可挖掘、整理的数据作为营销活动的核心部分

贴合需求打造符合市场及消费需求的商业模式、

二、大数据信息采集实现线上线下结合的网络营销时代

线上的营销活动不受时间空间限制

将线上数据与传统模式结合起来

打通数据库实现技术共享

将是未来营销工作的首要重点

三、大数据信息采集实现企业高效转化

大数据营销的核心意在大规模的个性化互动

指的是有针对性的传播内容

更加人性化的服务

而实现这以核心的基础就是大数据信息采集

国内大数据服务企业主力阵营：

1、TakingData

TakingData以SmartDP为核心的数据智能应用生态为企业赋能，帮助企业逐步实现以数据为驱动力的数字化转型。

2、友盟+

友盟+基于全域数据、数据技术和商业场景，构建以7亿消费者为核心，覆盖数据化运营、数据营销、新零售数据服务、金融及手机解决方案的数据智能服务体系，驱动业务持续增长。

3、精准科技

精准科技是一家以用户画像为特色的大数据技术公司，致力于推动大数据在营销场景中的使用，业务主要涵盖汽车、金融、房产三大领域。

4、浪潮

浪潮互联网大数据采集中心已经采集超过2PB数据，并已建立5大类数据分类处理算法。近日成功发布海量存储系统的最新代表产品AS130000。

5、腾讯

腾讯拥有用户关系数据和基于此产生的社交数据，腾讯的思路主要是用数据改进产品，注重QZONE、微信、电商等产品的后端数据打通。

6、 探码科技

探码科技自主研发的DYSON只能分析系统，可以完整的实现大数据的采集、分析、处理。一直做的国外项目美国最大的律师平台、医生平台和酒店、机票预订平台的数据采集、分析、处理。将在国内推出一系列面向政务、企业的创新型大数据研究项目与合作，为各大企业提供高端信息技术咨询服务。

7、中兴通讯

中兴通讯推出的“聚焦ICT服务的高效数据中心整体服务解决方案”，可帮助运营商有效解决大数据时代建设IDC面临的大部分问题，提升运营商ICT融合服务能力。

8、神州融

神州融整合了国内权威的第三方征信机构和电商平台等信贷应用场景的征信大数据，通过覆盖信贷全生命周期管理的顶尖风控技术，为微金融机构提供大数据驱动的信贷风控决策服务。

9、中科曙光

中科曙光XData大数据一体机可实现任务自动分解，并在多数据模块上并行执行，全面提高了复杂查询条件下的效率。

10、华胜天成

华胜天成自主研发的大数据产品“i维数据”，颇具创新，近期又与IBM达成战略合作关系，涵盖Linux on Power市场、智慧城市、存储业务、管理服务、咨询与应用管理服务。

11、神州数码

“神州数码”启动了“智慧城市”战略布局，先后推出了市民融合服务平台、自助终端服务平台等产品，并在佛山、武汉等“智慧城市”建设中实践运用。

12、用友

用友在商业分析、大数据处理等领域进行研发，先后推出了用友BQ、用友AE等产品。

13、东软

东软大数据战略以医疗行业为突破口，凭借在社保、医疗行业积累的资源，搭建了东软熙康这一智慧医疗平台。

14、金蝶

金蝶KBI与金蝶ERP无缝集成，实现BI数据采集——集成——分析决策支持的一体化应用。

15、宝德

宝德大数据云备份，是一个专为大数据而设的云备份方案，支持实体机及虚拟机备份，而且具有无限扩充的可能，并且完全自动。

16、启明星辰

大数据时代的IP治理和审计，启明星辰提供了终端审计、终端数据防泄露、日志审计，通过综合审计平台来帮助用户解决IP治理需求等解决方案。

17、拓尔思

拓尔思通过收购天行网安，可以拓展在公安行业的应用，目前正着力开拓行业应用市场，挖掘各个产业链中的大数据价值。

18、荣之联

零售、证券、生物、政府等都是荣之联大数据业务的主要目标行业，已为零售业提供了大数据分析的解决方案，解决了库存问题。

19、中科金财

中科金财作为国内领先的高端IT综合服务商，主要服务于金融业的大数据。

20、美亚柏科

美亚柏科专注于公安市场，其业务包括电子数据取证、电子数据鉴定、网络舆情分析、数字维权、公证云、搜索云以及取证云服务。

21、赛思信安

国内存储技术与服务供应商赛思信安推出了自主研发的大数据管理系统，适用范围包括互联网、公众服务、商业智能、金融、医疗卫生、能源等多个行业。

22、华宇软件

华宇软件作为大数据、食品安全、法务软件等相关热门行业软件，同时也是公安领域大数据的上市公司。

23、天玑科技

天玑科技的数据中心运维管理服务，为大数据的分析能力提供了强大的后台支撑和保障。

24、东方国信

东方国信主营业务为企业商业智能软件及系统解决方案，收购北科亿力和科瑞明，有效拓展了工业和金融大数据领域。

25、华三

华三全融合虚拟化网络技术能够极大简化网络结构，减轻网络管理和维护量，为企业数据中心大规模建设提供最强有力的技术支持。

26、海康威视

海康威视基于英特尔Hadoop发行版，并融合可以灵活按需调配IT资源对应用和服务进行支持的开放架构云计算技术，打造出了视频智能云计算方案。

27、高德

高德与阿里将在地图搜索、产品商业化、数据共享、云计算等领域展开合作，特别是在数据共享方面，高德和阿里巴巴将共建一个大数据服务体系，

28、四维图新

作为提供导航地图、地理信息系统软件建设的内容提供商，现在已尝试使用大数据为政府部门提供决策。

29、海捷科技

专注于商业智能领域(BI)、数据仓库领域、数据库领域的专业咨询、项目实施、软件开发、系统集成等方面，为金融、电信、快速消费品等行业提供相应方案。

30、北京信合运通

信合运通专注于为运营商和行业客户提供基于大数据的深度分析和挖掘技术、渠道支撑服务及行业解决方案。

31、海云数据

海云数据专注于从事数据可视化，可为客户提供数据可视化的创意设计、制作和软硬件集成系统服务。

32、九次方金融数据

九次方金融数据在国内唯一以企业大数据分析的角度对有投资价值和并购价值的企业进行价值判断，持续跟踪企业动态变化的金融大数据公司。

33、永洪科技

永洪BI通过完全自主知识产权的数据集市产品(Z-Data Mart)支持大数据，Z-Data Mart汇聚了数十项自有专利，涵盖了分布式存储和计算、分布式传输和实时通信等关键领域。

34、集奥聚合

集奥聚合作为大数据服务提供商，其DataQuate解决方案主要用于解决运营商大数据的接入、挖掘及应用，为运营商大数据的价值转化提供端到端服务。

35、华院数云

华院数云以数据挖掘为核心、以商业智能和精准营销为主线、以SAAS云平台为主要服务模式，目前专注于电商领域，为客户提供行业领先的数据分析和精准营销平台服务。

36、杭州诚道科技

杭州诚道科技致力于为浙江、全国公安交通管理行业提供一流的信息化服务、产品和方案解决能力，其借助英特尔Hadoop分发版，已解决了大数据的采集和处理问题。

37、勒卡斯

勒卡斯是致力于为客户提供全方位直复营销解决方案和服务的大数据公司，主要有潜客沟通、会员管理、CRM软件定制及客户市场调研四大业务。

38、北京阿尔泰科技

北京阿尔泰科技专业数据采集系统的制造商。

39、智拓通达

智拓通达主要做中国主流社交平台的“大数据”分析，通过整合各大社交平台的用户数据、行为数据和 UGC 内容，为企业和个人用户提供定制化服务。

40、国双科技

国双科技数据中心拥有基于OLAP技术的强大交互式数据挖掘平台，可提供不同深度的分析报告，满足不同视角的数据挖掘和分析需求。

41、时云医疗科技

时云医疗科技今日发布了医疗领域的大数据“未病”预警云服务“康诺云”，有针对个人健康管理而设计的云律血压节律仪、云悦体质分析仪和云动智能健康监测腕表3款智能硬件。

42、百分点

百分点主要为电子商务企业提供站内流量转化和商业智能分析的整体优化解决方案，旗下有推荐引擎技术平台以及跨网站消费偏好平台。产品主要有BRE和BAE。

43、精硕科技

精硕科技是国内少有的第三方数字营销监测和调研机构，专注于为广告主提供全流程的网络广告效果监测、分析评估、媒介优化咨询和技术解决方案等服务。

44、神策数据

神策数据立足大数据及用户行为分析的技术与实践前沿，业务现已覆盖以互联网、金融、零售快消、高科技、制造等为代表的十多个主要行业、并可支持企业多个职能部门。

45、百度

百度的优势体现在海量的数据、沉淀十多年的用户行为数据、自然语言处理能力和深度学习领域的前沿研究。近来百度正式发布大数据引擎，将在政府、医疗、金融、零售、教育等传统领域率先开展对外合作。

46、阿里巴巴

阿里巴巴拥有交易数据和信用数据,更多是在搭建数据的流通、收集和分享的底层架构。

47、华为华为云服务

整合了高性能的计算和存储能力，为大数据的挖掘和分析提供专业稳定的IT基础设施平台，近来华为大数据存储实现了统一管理40PB文件系统。

48、同盾科技

同盾科技将人工智能与业务场景深度结合，为银行、保险、汽车金融、非银行信贷、基金理财、三方支付、航旅、电商、O2O、游戏、社交平台等十余个行业客户提供高效智能的风控、反欺诈及营销分析服务。

49、国双科技

国双科技是中国的企业级大数据和人工智能解决方案提供商。

50、智慧足迹

智慧足迹是由中国联通和西班牙电信合资成立的专业大数据公司，依托中国联通的数据能力，提供位置信息洞察及相关大数据业务。

1数据星河大数据平台

全球首款大数据产业链生态平台，大数据界的App store。

实现数据模型、可视化引擎工具、应用场景、采集爬虫工具、清洗脱敏工具、数据分析平台、数据开发平台、数据管理平台、数据安全组件等大数据资产的分类展示、检索和使用。

一站式服务，快速实现大数据应用设计，同时可在平台进行应用产品交易。

2大数据可视化平台

标准的、友好易用、具备丰富展示形式、与底层数据分析实现解耦。

提供丰富的专业级可视化图表组件，在线进行图表配置、导出，提供使用指导。

提供可视化产品工厂，以及Dashboard自定义布局。

具备可视化编程能力，供用户快速开发可视化图表应用。

3企信宝APP

拥有约9000万海量企业信息数据。

提供失信企业及失信人查询及公布失信榜单，全国各企业查询，股东高管数据挖掘，企业网站地址查询，企业风险信息监测。

4农业大数据平台

涵盖农业监测预警大数据平台、农产品全产业链追溯预警大数据平台和农业产业链企业信用大数据平台。

覆盖农林牧副渔各行业，贯穿农业生产经营管理服务全过程。

目标群体包括部级农业部门、地方农业部门、涉农企业、农业金融机构等。

5金融大数据——54个九宫格小场景

九宫格应用场景包含四大类别，分别是基础数据库类、决策类、预测类、预警类，基础数据库类场景满足客户对基本数据的查询，决策类场景助理用户根基数据分析得到的价值信息进行有效决策，预测类场景便于用户对于潜在的风险及时规避。同时，用户可以根据自身需求进行场景化自定义组合，以满足个性需求。

6工商大数据平台

包括工商大数据分析展示、企业信用信息大数据监管和市场主体全景谱图大数据分析服务。

一网、一库、一中心、一平台、一门户，提升工商公共服务能力、市场监管能力、辅助决策能力和助推发展能力

7食药监大数据平台

对食品、药品、餐饮、中药材的生产、仓储、分销、物流运输、市场巡检及消费者等信息，以及产品名称、执行标准、配料、生产工艺、标签标识等数据，进行采集、跟踪、分析。

使监管部分实现产品种养、生产、销售、流通、公众服务、物流等环节的整个生命周期的监管

通过互联网等途径，实时呈现给消费者，实现食品药品全过程的全知晓。

8旅游大数据平台

显示最直观的客源、客流、经济收入数据、履约企业运营趋势、市场景气指数等指标。

管理部门可以从宏观角度了解地区旅游产业的整体发展水平和竞争力，辅助管理者制定基于大数据的行业发展决策。

所有数据来源于近五年累计数据（2011-2017），每周更新。

9民意云大数据平台

从海量的数据中分析民意诉求，精准分析民意热点——这是大数据在服务民意诉求中的重要作用。九次方民意云大数据平台，通过提供大数据操作台，方便用户实时全面了解区域内民意变化，根据推送消息进行应急反应。

10传播力监测大数据

根据全网采集的文章标题、作者、来源、时间等信息，计算文章的规范被转载量、非规范被转载量、以及文章的影响地域分析，并将各指标进行加权算法，帮助没提了解具体文章的全网传播详情。

协助监管部门加强没提传播监管和提升媒体机构的传播咯、公信力、影响力和引导力。

提要

本白皮书阐述了微构科技VigorData一站式企业大数据平台的定位与应用场景、系统架构、产品特性。

VigorData满足企业从数据采集、存储、计算、分析挖掘到可视化展示的一站式数据处理需求，并融合前沿AI科技机器深度学习自我进化，直至与企业自身状况深度契合，帮助企业借力大数据优势深化自身业务价值体系。

01产品概述

1.1. 产品目标

一站式企业大数据平台

VigorData提供了端到端一站式数据处理服务,为企业提供从采集、治理、存储、管理、计算、分析、挖掘、可视化展示的全程处理能力，并提供相对应的大数据咨询、开发、实施、培训、运维等全链条业务。

中间件工具平台

VigorData与具体业务实现了松耦合，是一个通用性的中间件大数据分析挖掘平台。通过这个产品所具备的高性能实时和离线计算能力、丰富的统计、分析、挖掘模型,为行业全流程、全周期的生产运营活动提供商业智能支持。

面向多角色的低技术门槛平台

VigorData通过技术封装降低了使用门槛,各层次的人员不需要太多的专业技能就可以使用。使用时多种角色共同协作,实现大数据的应用,包括开发人员、分析人员、运维人员、管理人员等。

1.2. 产品定位

VigorData从产品定位上，主要为行业大数据提供采集、处理、存储、计算、可视化能力，是一个一站式企业大数据平台。因此，VigorData的客户目标定位为具备大数据场景的行业大客户。

1.3. 应用场景

1.3.1 房地产行业

大型房地产企业，手中掌握着多年来积累的数以百万计、千万计的购房者信息，在这个数据起决策主导作用的时代，只有对数据进行精准分析，才能与需求智能匹配，进而发挥数据的最大价值，去积极推动个人和企业决策方式的转变。

产品价值：

系统化的数据治理体系，带来更好的数据质量，拉通传统“烟囱式”IT建设带来的信息孤岛。

全方位洞察受众，转变服务理念，构建用户全景视图，通过对受众的多维度分析，实现企业对特征用户群需求的深度挖掘，促进房地产企业在拿地、户型设计、产品定价、风险控制、获客等方面更加精准，产品贴合受众需求，最大化释放用户价值，提高成单率。

VigorData房地产大数据应用场景：

辅助拿地；

楼盘定价；

楼盘精准营销；

楼盘智能推荐；

房源估价；

社交租房。

更多详情请点此阅读：

大数据时代下房地产市场变革，房产大数据信息化应用简析

1.3.2能源行业

电力行业数据在可获取的颗粒程度，数据获取的及时性、完整性、一致性等方面的表现不尽如人意，数据源的唯一性、及时性和准确性急需提升，部分数据尚需手动输入，采集效率和准确度还有所欠缺，行业中企业缺乏完整的数据管控策略、组织以及管控流程。

多源异构数据缺乏统一管理；

当前数据存储和处理技术遇到瓶颈，缺乏实时计算能力；

未实现跨业务的企业级大数据应用；

产品价值：

VigorData支持PB级数据分布式存储，离线、实时分析，平台使用门槛低，封装多种统计分析和数据挖掘模型， 通过对电力市场个性化需求和企业自身良性发展的挖掘和满足，重塑中国电力工业核心价值，驱动电力企业从“以人为本”的高度重新审视自己的核心价值，由“以电力生产为中心”向“以客户为中心”转变，并将其最终落脚在“如何更好地服务于全社会”这一根本任务上。

应用场景：

用电行为分析；

经营决策系统；

智能调度；

设备异常实时监控；

线损分析。

更多详情请点此阅读：

未来能源互联网技术革命，能源产业大数据应用解析

1.3.2 互联网行业

互联网行业大数据“4V+1S”特性：数据规模大、数据价值稀疏珍贵、数据的多样性、数据的实时性和数据的社会性成就了移动互联网大数据的超凡影响力。

网络和应用的可用性，信息安全、隐私保护，以及对海量数据的存储、管理和挖掘分析等给互联网企业带来巨大挑战。

产品价值：

数据产品化、数据可视化传播；

个性化推荐、客户生命周期管理；

数据挖掘提升活动效果；

自动提取和分析工具；

产品体验分析&口碑监测；

用户唯一ID+用户画像+用户兴趣+用户行为;

数据接入系统&元数据管理系统&计算任务调度系统；

应用场景：

针对互联网行业大数据分析的特点，通过VigorData大数据平台可实现对海量用户点击数据、用户行为数据、用户反馈数据、用户上网数据等的存储和管理，保证互联网海量状态数据的实时性和高效运营。

用户行为属性分析；

用户画像；

精准营销；

用户流失分析；

流量分析。

1.3.3 金融行业

金融业在支付、存贷、汇兑、理财、股票期货等领域积累了海量数据，其数据具备四大特征：

（1）数据量大；

（2）数据质量高；

（3）数据价值大；

（4）数据可定位性好。

目前金融机构并没有充分利用大数据分析产生价值，原因是多方面的，除了体制的沉重镣铐，还缺乏一套严格的制度去量化各类数据的价值，缺乏大数据深度分析的能力和大数据创新应用的理念，缺乏收集建立有战略辅助价值的金融行业外大数据的理念。

因此，大数据理念、方法和创新商业模式的引入，有望颠覆传统金融业，产生巨大的价值。

产品价值：

多源异构数据的融合，为未来更准确的数据分析建立基础。

图形化的数据迁移方案，更强大，更易用，效率更高。

系统化的数据治理体系，带来更好的数据质量，拉通传统“烟囱式”IT建设带来的信息孤岛。

基于融合治理后的数据，依托VigorData大数据平台提供的分析计算能力，根据客户的业务需求，更好的提供贴近客户业务需求的分析挖掘服务。

深入治理后的数据，建立用户全景视图，更全面掌握用户情况，适时预测用户行为，发现并预警风险、提升关联交易，增加营收。

VigorData金融大数据应用场景：

用卡欺诈行为识别；

交易风险预判；

客户画像；

实时服务；

用户信用体系。

更多详情请点此阅读：

DT时代商业革命，大数据金融行业应用发展分析

02产品功能介绍

2.1. 功能架构

VigorData平台由Intergration（采集、清洗、加载）、Platform（存储、计算、服务）、DeepMiner (深度学习)、Self Analysis Service(自助分析工具） 四大部分组成。

2.2. 功能描述

2.2.1安装部署工具

基于Docker封装平台镜像，利用流程向导模式，实现拷贝式部署。通过这种模式，也可以实现更高效、更迅速的迁移和扩展。真正做到向导式安装， 无人值守式安装。

2.2.2运营管理平台

2.2.2.1管理子系统

管理子系统是整个系统信息的汇聚点，通过管理子系统获取的信息可以知道系统的总体运行情况，并且通过管理子系统的信息呈现，用户可以清晰地知道当前系统运行的现状及变化趋势，从而把握系统的稳定性及健康状况。管理子系统包括集群管控、数据管理、任务管理、作业管理、数据服务、系统管理六个功能模块。

2.2.2.2服务配置工具

通过界面配置式开发，实现数据的逻辑转换与计算，大大降低了平台实施和使用的技术门槛。大部分二次开发不再需要专业的开发人员，业务人员就可以实现对数据计算的定义、脚本实现并通过定义规则驱动数据计算。

2.2.2.3 调度子系统

通过调度子系统对平台内的各类任务（ETL任务，实时计算任务，离线计算任务、内存计算任务、数据服务任务）进行统一的调度和监控管理。

2.2.2.4 数据服务子系统

数据服务子系统对外提供各种数据服务，开放多种数据接口，外部系统/用户可通过服务认证、数据API等方式按权限访问相应的数据。

2.2.3采集平台

Vigor Data Intergration采用元数据驱动的方式提供强大的数据抽取、转换和加载能力。适配多种数据源（DB/文件/log/数据流），适配多种数据抽取方式（离线/实时），提供了直观的图形界面设计器，大大缩短数据预处理的开发周期，并且容易维护。

设计界面友好，提供了工作流设计模式，能满足各种场景的实现。

2.2.4 管理分析平台

Vigor Data Platform是一个跟具体行业业务无关的、通用性的基于大数据的管理分析工具化产品，通过这个产品所具备的高性能实时和离线计算能力、丰富的统计、分析、挖掘模型，为行业全流程、全周期的生产运营活动提供商业智能支持。

2.2.4.1分布式计算子系统

以Hortonwoks HDP为底层大数据平台，使用Ambari统一集成监控管理各种计算组件，包括HDFS、Hive、Spark、Hbase、Strom、Kafka等。全方位支持OLTP和OLAP服务，让基于传统SQL的应用可以无缝迁移到大数据平台。统一的调度、适配和管控离线计算任务、流式计算任务、内存计算任务。

2.2.4.2 函数模型库

将常用统计、分析、挖掘的模型进行插件式封装，用户实现统计实例无需再进行底层的编程，只需要按照计算模式的参数输入约定，即可完成实例的开发定义；不常用的计算模型，按需实现插件式开发，开发后部署到计算模型库中，逐步丰富计算模型库。

2.2.5 自助分析工具

Vigor Data Self Analysis Service支持灵活的业务组合分析和任意的时间窗口分析；无缝整合数据运营中需要的全部核心组件，提供一致的用户体验和极低的维护成本；结合深度分析算法，帮助用户洞察无法直接观测到的数据背后的关联、趋势和逻辑。

2.2.6 深度学习

Vigor DeepMiner基于VigorData大数据平台之上具有完备的数据准备、数据处理、算法管控、模型管控、模型管理和结果展现功能，集成TensorFlow、Caffe等深度学习框架。通过建立各种不同类型的业务模型，帮助企业梳理海量的业务数据提供偏好预测、风险评估、交易预测等结果。

03产品技术架构与特性

3.1. 产品整体技术架构

3.2. 组件介绍

组件

说明

Vigor

OLAP

为Hadoop等大型分布式数据平台之上的超大规模数据集通过标准SQL查询及多维分析功能，提供亚秒级的交互式分析能力。直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型。

Vigor

OLTP

提供可以在Hadoop大数据环境中进行事务操作的解决方案；支持完整的ANSI SQL标准；提供完善的企业大数据事务解决方案，完美解决了数据弱一致性的问题。

Hive

建立在 Hadoop 基础上的开源的数据仓库,提供类似 SQL 的 Hive QL 语言操作结构 化数据存储服务和基本的数据分析服务。

Map

Reduce

提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。

Spark

基于内存进行计算的分布式计算框架。

Kafka

一个分布式的、分区的、多副本的实时消息发布和订阅系统。提供可扩展、高吞吐、 低延迟、高可靠的消息分发服务。

YARN

资源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。

HDFS

Hadoop 分布式文件系统(Hadoop Distributed File System),提供高吞吐量的数据访 问,适合大规模数据集方面的应用。

HBase

提供海量数据存储功能,是一种构建在 HDFS 之上的分布式、面向列的存储系统。

R

R分析作为大数据平台的组成部分，以HDFS Federation和YARN为核心的计算平台，与以R为核心的分析平台，通过中间连接器，融合为RHadoop计算分析平台，以使R用户可以进行海量数据分析。

Manager

作为运维系统,为VigorData提供高可靠、安全、容错、易用的集群管理能 力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务 管理、健康检查、问题定位、升级和补丁等。

Flume

一个分布式、可靠和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume 提供对数据进行简单处理,并写入各种数据接受 方(可定制)的能力。

Sqoop

是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Storm

一个分布式的、容错的实时计算系统，

Ambari

是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Nutch

是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。

kettle

用来帮助你实现你的ETTL 需要：抽取、转换、装入和加载数据,它是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。

Docker

是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。

大数据采集技术就是对数据进行ETL操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。然后提供给用户解决方案或者决策参考。ETL，是英文 Extract-Transform-Load 的缩写，数据从数据来源端经过抽取（extract）、转换（transform）、加载（load）到目的端，然后进行处理分析的过程。

用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据模型，将数据加载到数据仓库中去，最后对数据仓库中的数据进行数据分析和处理。

数据采集位于数据分析生命周期的重要一环，它通过传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。

由于采集的数据种类错综复杂，对于这种不同种类的数据。

我们进行数据分析，必须通过提取技术。将复杂格式的数据，进行数据提取，从数据原始格式中提取（extract）出我们需要的数据，这里可以丢弃一些不重要的字段。

对于数据提取后的数据，由于数据源头的采集可能存在不准确。

所以我们必须进行数据清洗，对于那些不正确的数据进行过滤、剔除。

针对不同的应用场景，对数据进行分析的工具或者系统不同，我们还需要对数据进行数据转换（transform）操作，将数据转换成不同的数据格式，最终按照预先定义好的数据仓库模型，将数据加载（load）到数据仓库中去。

大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：

在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。

如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Spark、Storm等进行处理。比较贴切的一个例子是天猫双十一的成交额，在其展板上，我们看到交易额是实时动态进行更新的，对于这种情况，则需要采用在线处理。

当然，如果只是希望得到数据的分析结果，对处理的时间要求不严格，就可以采用离线处理的方式，比如我们可以先将日志数据采集到HDFS中，之后再进一步使用MapReduce、Hive等来对数据进行分析，这也是可行的。

在现实生活中，数据产生的种类很多，并且不同种类的数据产生的方式不同。

对于大数据采集系统，主要分为以下三类系统：

一、系统日志采集系统。

许多公司的业务平台每天都会产生大量的日志数据。对于这些日志信息，我们可以得到出很多有价值的数据。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。

为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。

系统日志采集系统做的事情就是收集日志数据提供离线和在线的实时分析使用。

目前常用的开源日志收集系统有Flume、Scribe等。Apache Flume是一个分布式、可靠、可用的服务，用于高效地收集、聚合和移动 大量的日志数据，它具有基于流式数据流的简单灵活的架构。

其可靠性机制和许多故障转移和恢复机制，使Flume具有强大的容错能力。

Scribe是Facebook开源的日志采集系统。Scribe实际上是一个分布式共享队列，它可以从各种数据源上收集日志数据，然后放入它上面的共享队列中。

Scribe可以接受thrift client发送过来的数据，将其放入它上面的消息队列中。然后通过消息队列将数据Push到分布式存储系统中，并且由分布式存储系统提供可靠的容错性能。

如果最后的分布式存储系统crash时，Scribe中的消息队列还可以提供容错能力，它会还日志数据写到本地磁盘中。Scribe支持持久化的消息队列，来提供日志收集系统的容错能力。

二、网络数据采集系统。

通过网络爬虫和一些网站平台提供的公共API(如Twitter和新浪微博API)等方式从网站上获取数据。这样就可以将非结构化数据和半结构化数据的网页数据从网页中提取出来。

并将其提取、清洗、转换成结构化的数据，将其存储为统一的本地文件数据。目前常用的网页爬虫系统有Apache Nutch、Crawler4j、Scrapy等框架。

Apache Nutch是一个高度可扩展和可伸缩性的分布式爬虫框架。

Apache通过分布式抓取网页数据，并且由Hadoop支持，通过提交MapReduce任务来抓取网页数据，并可以将网页数据存储在HDFS分布式文件系统中。

Nutch可以进行分布式多任务进行爬取数据，存储和索引。由于多个机器并行做爬取任务，Nutch利用多个机器充分利用机器的计算资源和存储能力，大大提高系统爬取数据能力。

Crawler4j、Scrapy都是一个爬虫框架，提供给开发人员便利的爬虫API接口。开发人员只需要关心爬虫API接口的实现，不需要关心具体框架怎么爬取数据。Crawler4j、Scrapy框架大大降低了开发人员开发速率，开发人员可以很快的完成一个爬虫系统的开发。

三、数据库采集系统。

一些企业会使用传统的关系型数据库MySQL和Oracle等来存储数据。

除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。企业每时每刻产生的业务数据，以数据库一行记录形式被直接写入到数据库中。

通过数据库采集系统直接与企业业务后台服务器结合，将企业业务后台每时每刻都在产生大量的业务记录写入到数据库中，最后由特定的处理分许系统进行系统分析。

针对大数据采集技术，目前主要流行以下大数据采集分析技术。Hive是Facebook团队开发的一个可以支持PB级别的可伸缩性的数据仓库。

这是一个建立在Hadoop之上的开源数据仓库解决方案。 Hive支持使用类似SQL的声明性语言（HiveQL）表示的查询，这些语言被编译为使用Hadoop执行的MapReduce作业。

另外，HiveQL使用户可以将自定义的map-reduce脚本插入到查询中。该语言支持基本数据类型，类似数组和Map的集合以及嵌套组合。

HiveQL语句被提交执行。首先Driver将查询传递给编译器compiler，通过典型的解析，类型检查和语义分析阶段，使用存储在Metastore中的元数据。

编译器生成一个逻辑任务，然后通过一个简单的基于规则的优化器进行优化。

最后生成一组MapReduce任务和HDFS Task的DAG优化后的Task。 然后执行引擎使用Hadoop按照它们的依赖性顺序执行这些Task。

Hive简化了对于那些不熟悉Hadoop MapReduce接口的用户学习门槛，Hive提供了一些列简单的HiveQL语句，对数据仓库中的数据进行简要分析与计算。

互联网时代，最明显的一个特征就是绝大多数信息都是以数据的形式进行记录，可以说数据就是信息的载体，也是知识的来源。数据体量呈现出爆发式增长，人们在笑谈大数据时代“你的信息只值五毛钱”的时候，不得不重新认真思考它的价值。

大数据有没有价值，在于是否应用得当

随着国家将大数据战略提升到国家战略高度，将大数据视为经济发展和转型的重要科技依据，越来越多的企业组织已将数据视为重要资产，着手开展数字化转型的系列举措，以期全面提升客户体验，推动经济增长。

无疑，大数据时代，数据资产已成为一个企业的核心竞争力。但数据在手，不会运用它，就会毫无价值。在当下企业数字化浪潮中，数据是企业转型的基础元素，如何将企业不同业务、类型的数据应用起来，推动企业运营，增加收入、降低成本、提高效率，控制风险等，是企业现在面临的难点。

用友云分析服务针对企业数据分析的关键技术及应用场景等推出了《分析云技术白皮书》，助力企业走出数据分析的盲区，实现数据化管理与运营。用友云分析服务支持将多个不同的数据源汇总到数据共享中心的大数据平台。通过内置的用友DI数据集成平台将企业各业务系统的数据进行采集，再加载到用友云分析服务的大数据平台。经过元数据管理系统的比对、校验、转换得到一致的数据。从而进行数据整合，根据不同的需求，提供差异化服务。

应用越广泛，受到的安全挑战越大

大数据技术，悄然渗透到各个行业领域，逐渐成为一种生产要素并发挥着重要作用。然而，大数据技术使得产率提高和改变生活方式的同时，随之而来的安全挑战也日益显现。

例如，政务大数据覆盖行业范围广泛、数据结构多样、关联关系复杂，而且涉及大量个人隐私数据、国家敏感数据等重要数据。因此在开展政务大数据应用的同时，数据和平台安全尤为重要。

值得一提的是，3月25日，华为云数据库安全服务正式上线，以期打造高效云上数据防护体系。华为云数据库安全服务，通过三步走的数据库安全防护设计，保障数据系统安全。第一步：定位敏感数据在数据库中所处的位置，通过构建安全策略来提早防护。第二步：通过定义基于多维度的策略，阻止应用直接访问数据、利用操作系统和第三方应用程序漏洞的攻击。第三步：一旦发现入侵行为，采取必要措施进行封堵，以回溯和确认攻击源头，还原恶意行为的蛛丝马迹，从而进行管理措施。

大数据与人工智能携手发展

大数据与人工智能相互依托，有着紧密的联系。巨大的数据量为人工智能提供了发展空间。从早期的支持向量机、决策树，到近期的人工智能神经网络，数据越多越有助于人工智能的发展。同时，大数据也需要更新的模式来处理它，通过这个过程发现更多隐含规律。

在当下，在未来，或许人们已经不能忽略“大数据与人工智能”这两个重要的技术协同运用所带来的具大效应。人心齐，泰山移。独脚难行，孤掌难鸣。在互联网时代，一味地竞争已经没有未来。只有携手共求发展，或许才能创造出一个大国品牌。

（文/红薯）

做网络营销

不论是个人还是公司都想要实现产品的渠道拓展和推广宣传

但绝大多数的企业都不能达成想要的效果

其实原因有很多

一、想要做好网络营销

客户是王道

没有强大的客户群做后盾

网络营销的销量不过是空想罢了

当下客户渠道大多以网络大数据信息采集的方式来获取

如云速数据挖掘

通过输入行业关键字

就能一键采集指定区域的客户信息和联系方式

省时高效

二、通过客户信息

从分考虑分析目标群体的生活轨迹和习惯

来预测客户下一步的消费行为

以正确的时间正确的方式传达产品信息

从而完成营销活动

三、产品文案的策划一定要以客户需求为重点

并且简单易懂、快速吸引客户眼球

才能使转化率达到最佳

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder

大数据平台与数据采集

任何完整的大数据平台，一般包括以下的几个过程：

数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)

其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：

我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展。

1、Apache Flume

Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。

Flume最初是由Cloudera的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。

Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。

每一个agent都由Source，Channel和Sink组成。

Source

Source负责接收输入数据，并将数据写入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持监视一个目录或者文件，解析其中新生成的事件。

Channel

Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。

Sink

Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。

Flume在source和sink端都使用了transaction机制保证在数据传输中没有数据丢失。

Source上的数据可以复制到不同的通道上。每一个Channel也可以连接不同数量的Sink。这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。

配置如上图所示的agent结构，Flume支持设置sink的Failover和Load Balance，这样就可以保证即使有一个agent失效的情况下，整个系统仍能正常收集数据。

Flume中传输的内容定义为事件(Event)，事件由Headers(包含元数据，Meta Data)和Payload组成。

Flume提供SDK，可以支持用户定制开发：

Flume客户端负责在事件产生的源头把事件发送给Flume的Agent。客户端通常和产生数据源的应用在同一个进程空间。常见的Flume 客户端有Avro，log4J，syslog和HTTP Post。另外ExecSource支持指定一个本地进程的输出作为Flume的输入。当然很有可能，以上的这些客户端都不能满足需求，用户可以定制的客户端，和已有的FLume的Source进行通信，或者定制实现一种新的Source类型。

同时，用户可以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

2、Fluentd

Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维护。

Fluentd的部署和Flume非常相似：

Fluentd的架构设计和Flume如出一辙：

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。

Input

Input负责接收数据或者主动抓取数据。支持syslog，http，file tail等。

Buffer

Buffer负责数据获取的性能和可靠性，也有文件或内存等不同类型的Buffer可以配置。

Output

Output负责输出数据到目的地例如文件，AWS S3或者其它的Fluentd。

Fluentd的配置非常方便，如下图：

Fluentd的技术栈如下图：

FLuentd和其插件都是由Ruby开发，MessgaePack提供了JSON的序列化和异步的并行通信RPC机制。

Cool.io是基于libev的事件驱动框架。

FLuentd的扩展性非常好，客户可以自己定制(Ruby)Input/Buffer/Output。

Fluentd从各方面看都很像Flume，区别是使用Ruby开发，Footprint会小一些，但是也带来了跨平台的问题，并不能支持Windows平台。另外采用JSON统一数据/日志格式是它的另一个特点。相对去Flumed，配置也相对简单一些。

3、Logstash

Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。

Logstash用JRuby开发，所有运行时依赖JVM。

Logstash的部署架构如下图，当然这只是一种部署的选项。

一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。

几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的数据系统使用ElasticSearch的情况下，logstash是首选。

4、Chukwa

官网：https://chukwa.apache.org/

Apache Chukwa是apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，他用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 github的更新事7年前。可见该项目应该已经不活跃了。

Chukwa的部署架构如下：

Chukwa的主要单元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相当复杂。由于该项目已经不活跃，我们就不细看了。

5、Scribe

代码托管：https://github/facebookarchive/scribe

Scribe是Facebook开发的数据(日志)收集系统。已经多年不维护，同样的，就不多说了。

6、Splunk Forwarder

以上的所有系统都是开源的。在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。

Splunk是一个分布式的机器数据平台，主要有三个角色：

Search Head负责数据的搜索和处理，提供搜索时的信息抽取。

Indexer负责数据的存储和索引 Forwarder，负责数据的收集，清洗，变形，并发送给Indexer

Splunk内置了对Syslog，TCP/UDP，Spooling的支持，同时，用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。

这里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。

总结

我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

其中Flume，Fluentd是两个被使用较多的产品。如果你用ElasticSearch，Logstash也许是首选，因为ELK栈提供了很好的集成。Chukwa和Scribe由于项目的不活跃，不推荐使用。

Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。