未来几年，全球数据量将呈指数级增长。据IDC统计，到2020年，全球数据总量将达到44ZB，中国数据量将达到8060EB，占全球数据总量的18%。数据，已然对当下的商务、生活乃至方方面面都产生了深远的影响。可众所周知，各行各业数据生产的速度要远远大于数据消化的速度。数据分析处理的不及时，必然造成大量具有时效性数据的浪费，日积月累，这样的不匹配性会越来越严重。

如何消除这样的不匹配性？归根结底，我们需要一种能够对更大规模数据做到更实时更迅捷的分析工具。

顺势而生的GPU数据库

2015年，已经在甲骨文公司工作了6年的星爵意识到，传统的数据库系统需要革新了。传统CPU数据库的发展主要面临两大瓶颈，一是数据计算速度，二是数据访问速度。而负责算力的CPU，目前停留在数十核的规模，这已经接近它的物理极限了。数据库计算领域，是时候该添加新鲜血液了。

2013年，深度学习技术的崛起让人们看到了GPU的力量。在这之前，GPU的主要功能是图片渲染，通过模拟现实场景生成接近于真实景象的图片，主要被应用于游戏领域。而深度学习技术，使GPU“大规模并行计算”的能力得以展现，人们对它的认知终于不再是游戏机，GPU，也可以成为像CPU一样的服务器。而星爵，更是坚定的认为，GPU处理大数据已经成为一种趋势。各种深度学习的软件框架例如TensorFlow，需要运行在计算设备上，与CPU相比，GPU更能让其高效的工作，在性价比以及计算力上都有较大的优势。

没有犹豫，星爵离开甲骨文，回国创立了Zilliz，他要做人工智能时代的数据库系统。

星爵认为，在过去数十年间，人工智能因为CPU架构下计算能力的限制而裹足不前，OLAP数据库技术也因为同样的原因而发展缓慢。就像华岩资本合伙人黄志玮所认为的，我们需要一个基于众核处理器硬件加速的、面向人工智能的新一代OLAIP（On-Line Analytical and Intellegent Processing）数据库系统，而这正是Zilliz在研发的产品。

Zilliz使用众核处理器上的成千上万个处理核心进行超大规模并行数据处理，实现数据库操作的加速，同时提供数据库系统和人工智能计算框架之间的直接数据通道。Zilliz将人工智能处理引擎融合进数据库执行引擎，提供集数据存储、分析、管理、和人工智能处理与一身的OLAIP数据库系统。

星爵向亿欧介绍，Zilliz基于GPU的数据库系统可以比CPU数据库的性能提高100倍，可大范围的应用于金融、电信、互联网以及政府领域。

在商业模式上，Zilliz为各行业的头部客户和互联网公司提供了不同的方案。对于头部客户，Zilliz即可以为其提供私有部署，同时还有基于一体机的解决方案；对于互联网公司，尤其是那些将数据部署在云端的客户，Zilliz可以为其提供SaaS的方案，使用各大云厂商提供的GPU，在云端为客户提供服务，从而使客户无需采购GPU硬件设备便可以使用。

新技术的新“麻烦”

大多数人有这样一个疑问——

即便GPU数据库的使用性能和性价比，与原有系统相比更有优势，但是要让用户将存储在CPU服务器上的数据快速迁移到GPU服务器中，可行性有多大？

这关乎到Zilliz的未来，也是星爵自公司创立之初就在解决的问题。星爵表示，Zilliz并不是要替代原有的CPU方案，而是要在大规模数据的实时性分析方面开创一个新的蓝海市场。

人工智能时代下，数据量将会呈指数型增长。在这样的情况下，各行各业的业务想要得到更好的发展，实时数据分析能力以及实时数据驱动运营能力将是其核心的竞争力，因此，Zilliz产品的存在是有其合理性的。

Zilliz投资人云启资本执行董事陈昱表示，在大数据时代，企业需要一个更大、更快、更强的数据库，人工智能技术的加入，是一种对传统数据库的革新，使数据库产生了更高的效率，这无疑是当下各公司最迫切的需求。

另外，星爵希望将数据库软件做成一个标准件。作为一个底层的数据库软件，需要对外提供标准化的查询语言接口，理想状态应当是用户在接入新数据库的时候，其业务层面不发生改变。因此Zilliz通过产品化与标准化，为用户提供标准SQL接口以及各种ETL工具，从而降低用户在数据迁移过程中的成本，尽量做到“无感迁移”。对于用户来说，相当于更换了一个数据库的软件和引擎，但是其业务层并不会受到影响。

星爵还向亿欧透露，为了更加快速的在CPU处理器与GPU处理器之间进行数据交换，Zilliz与IBM合作生产了数据库一体机，使用NvLink技术，能够大大提升不同类型处理器芯片之间的数据传输速度。

资本认可，行业进入爆发期

目前世界范围内做OLAP GPU数据库加速的公司仅有4家：

星爵介绍，在这一领域，国外从2006年就已经开始有所研究，然而，当时的市场认知度不足，用户对于GPU还停留在游戏处理器的认知上，且高端GPU的市场存量较少，并没有基于GPU部署数据库系统的实力。另一方面，整个生态系统还处于早期的发展状态，各种相关工具及配套软件比较缺乏。基于以上两点原因，国外公司在这一方面并没有太多优势。

到2016年，市场认知才有所好转。从业人员开始意识到GPU也可以做与企业相关的工程（例如深度学习），同时，GPU服务器已经成为常态，各种GPU的生态体系也逐渐完善，种种原因使得2016年成为GPU数据库的元年，至此，资本市场逐渐认可这一领域，GPU数据库进入爆发期。

然而爆发并不意味着竞争，靖亚资本创始人郑靖伟向亿欧介绍，数据库这样底层技术的门槛很高，国内少有人研究。产品的研发与验证都需要一定时间，而对于一般的大型中型公司来说，更换数据库系统需要进行很多的测试来评估流程，一旦被验证，很难再次更换数据库系统提供商。

而2018年，将是GPU数据库在各行各业应用更为广泛的一年。

什么是大数据？

这次我们不谈概念，不谈理论，避虚就实，关注大数据在十大行业的实际应用。

从证券行业到医疗领域，越来越多公司意识到大数据的重要性。2015年Gartner调查显示，超过75％的公司正在投资或计划在未来两年内投资大数据。而在2012年进行的类似调查中，仅有58％的公司在未来两年内计划投资大数据。

增强客户体验、降低成本、精准营销以及提高流程效率、数据安全是公司关注大数据的主要目的。本文将研究正在使用大数据的10个垂直行业及面临的挑战，以及大数据如何解决这些难题。

1. 银行和证券

挑战：

通过对10家投行券商的16个项目的研究表明，该行业面临的挑战包括：证券欺诈预警、蜱虫分析、检测卡片欺诈、审计跟踪档案、企业信用风险报告、贸易可视性、客户数据转换、用于交易的社交分析、IT运营分析和IT策略合规性分析等。

应用：

证券交易委员会（SEC）正在使用大数据网络分析和自然语言处理器来捕捉金融市场中的非法交易活动。

商业银行，对冲基金和其他金融公司在高频交易的交易分析，交易前的决策支持分析，情绪测量，预测分析等方向使用大数据。

该行业还严重依赖大数据进行风险分析，这其中包括：反洗钱，企业风险管理，客户画像，以及减少欺诈行为等。

2. 通讯，媒体和娱乐

挑战：

每个观众消费着不同形式的娱乐，以及不同的娱乐设备，因此通信，媒体和娱乐行业正面临以下大数据挑战：

1. 收集，分析和利用消费者习惯

2. 利用移动和社交媒体内容

3. 实时追踪媒体内容使用形式

应用：

公司同时分析客户数据和行为数据，以创建详细的客户档案，可用于：

1. 个性化定制内容

2. 按需推荐内容

3. 衡量内容结果

一个典型的例子是国外视频网站YouTube上的温网比赛，它利用大数据实时向电视、移动和网络用户提供网球比赛的详尽的情感分析。亚马逊Prime大量使用大数据，在一站式商店提供视频，音乐和Kindle书籍来提供卓越的客户体验。

3. 医疗领域

挑战：

医疗保健行业可以获取大量数据，但由于医疗成本上升、医疗系统效率较低，大量数据没能得到有效利用。抛弃患者的数据精准度弱化、以及不同传感器的数据差异均是医疗行业所面临的困难。

应用：

一些医院正在使用从数百万患者手机应用程序收集的数据，允许医生使用循证医学，而不是对所有去医院的患者均进行多次医学检查。佛罗里达大学运用免费的公共健康数据和谷歌地图创建了视觉数据，以便更快地识别和有效分析医疗信息，用于跟踪慢性病的传播。

4. 教育

挑战：

从技术角度来看，教育行业面临的主要挑战是整合不同来源的大数据，并在统一平台上使用它，有时这些数据并非是相互协作的。从实际角度来看，教师和机构必须学习新的数据管理和分析工具。在政治上，用于教育目的的大数据相关的隐私和个人数据保护也是一个问题。

应用：

大数据在高等教育中的使用非常多。例如，一所拥有超过26000名学生的澳大利亚大学已经部署了学习和管理系统，该系统可以跟踪学生登录系统时，在系统中不同页面上花费的时间以及学生的整体学习进度等。

大数据还用于衡量教师的教学有效性，以确保学生和教师的良好体验。教师的表现可以根据学生数量，主题，学生人口统计，行为分类和其他几个变量进行微调和衡量。

5. 制造业和自然资源

挑战：

石油、农产品、矿物、天然气、金属等自然资源的需求不断增加，导致数据数量、复杂性增加。制造业的大量数据尚未开发。这些信息的利用不足会妨碍产品质量、能效、可靠性和更高的利润空间。

应用：

在自然资源行业中，大数据允许预测建模以辅助决策制定，从地理空间数据，图形数据，文本和时间数据中摄取和集成大量数据。使用领域包括：地震解释和油藏描述。

6. 政府

挑战：

在政府领域，最大的挑战是跨政府部门和组织的大数据集成和数据的互兼容性。

应用：

在公共服务领域，大数据的应用范围非常广泛，包括：能源勘探，金融市场分析，欺诈检测，健康相关的研究和环境保护。美国社保局使用大数据分析大量的社会残疾索赔数据，用于快速有效地处理医疗信息，以便更快地做出决策并检测可疑的或欺诈性索赔。美国食品和药物管理局（FDA）正在利用大数据来检测和研究食品中毒等疾病的模式。大数据让响应更快，治疗更快和死亡更少。

7. 保险

挑战：

缺乏个性化服务，缺乏个性化定价以及针对新细分市场和特定细分市场的服务。

应用：

通过从社交媒体，GPS设备和摄像头获得的数据预测客户行为，大数据已被业内用于为简单的产品提供客户见解。大数据还可以让保险公司更好地保留客户。在索赔管理方面，大数据的预测分析可以加快服务速度，因为可以分析大量数据，特别是在承保阶段。

8. 零售和整体销售贸易

挑战：

从传统的实体零售商和批发商到当今的电商，该行业随着时间的推移累计了大量数据。这些数据来自客户会员卡，POS扫描仪，RFID等，其用途不足以改善客户体验。

应用：

零售商和批发商收集来自客户忠诚度数据，POS，商店库存，本地人口统计数据的大数据。在2014年纽约Big Show零售会议上，微软，思科和IBM等公司提出零售行业需要利用大数据进行分析和其他用途，包括：通过购物模式、本地活动等数据优化人员配备，减少欺诈、及时分析库存

社交媒体的使用也有很多潜在的用途，正在被实体商店采用。社交媒体用于客户拉新、客户留存、产品推广等。

9. 运输

挑战：

最近，基于物流的社交网络的大量数据和来自电信的高速数据已经影响了人们的出行选择。遗憾的是，了解出行行为的研究并没有那么快。在大多数地方，对社交媒体结构的理解不够输出的需求模型往往不实用。

应用：

政府、私企和个人对大数据的应用包括：

1. 政府大数据：交通控制，路线规划，智能交通系统，拥堵管理

2. 私营部门在运输中使用大数据：收入管理，技术改进，物流和竞争优势

3. 个人使用大数据：节省燃料和时间的路线规划、出行安排等

10. 能源和公用事业

挑战：

60%电网资源十年内需要替换。

应用：

智能抄表器几乎每15分钟就能收集一次数据，而不是每天使用旧抄表器收集数据。这种精细数据被用于更好地分析公用事业的消耗，从而改善客户反馈并更好地控制公用资源的使用。

在公共机构中，大数据的使用还允许更好的资产和劳动力管理，这对于识别错误并在经历完全故障之前尽快纠正它们是有用的。

结论

经历了10个行业垂直行业，包括大数据如何在这些行业中发挥作用，这里有几个关键的要点：

1. 熟悉并了解行业特定的挑战

2. 了解或了解每个行业的数据特征

3. 了解支出地点

4. 将市场需求与您自己的能力和解决方案相匹配

5. 垂直行业专业知识是有效和高效利用大数据的关键

分类对我们的日常生活至关重要，比如图书馆藏书分类、档案室文件分类，甚至是垃圾分类……面对繁杂的信息，我们需要及时检索到我们想要的信息或是对我们有用的信息，因而各种信息分类网站孕育而生。

然而互联网以及移动互联的发展，已经积累了大量信息，包括文本、数据、图片、视频等形态数据。如何将信息分类，同时我们也需要规避一些负面信息、虚假信息，比如检测屏蔽垃圾邮件、虚假报道等。

面对大量的数据，大量的信息，如何借助AI帮助分类信息。

AI通过机器学习“分类技术”， 让计算机学习使用分离正面和负面数据的边界。例如，“正面”数据将是包括幸福面孔的照片，以及包括悲伤面部的“负面”数据照片。一旦学习了分类边界，计算机就可以确定某个数据是正数还是负数。

这项技术的难点在于它需要学习过程的正面和负面数据，并且在许多情况下不能提供负面数据（例如，很难找到带有标签的照片。就现实生活中的程序而言，当零售商试图预测谁将进行购买时，它可以轻松地找到从他们那里购买的客户的数据（正数据），但基本上不可能获得没有购买的客户的数据。从他们那里购买（负数据），因为他们无法访问竞争对手的数据。

网站、应用程序想知道需要预测哪些用户将继续使用应用程序（正面）或停止（负面）。但是，当用户取消订阅时，开发人员会丢失用户的数据，因为他们必须根据隐私政策完全删除有关该用户的数据以保护个人信息。

来自RIKEN高级智能项目中心（AIP）的研究团队成功开发了一种新的机器学习方法，允许AI在没有所谓的“负面数据”的情况下进行分类，这一发现可能导致更广泛的应用于各种分类任务。研究小组成员Takashi Ishida表示“以前的分类方法无法应对无法获得负面数据的情况，但只要我们有一个置信度分数，我们就可以让计算机只用正数据进行学习。对于我们的积极数据，根据购买意图或应用用户的有效率等信息构建。使用我们的新方法，我们可以让计算机只从充满信心的积极数据中学习分类器。

在Ishida与他的团队研究中，他们通过添加置信度得分让计算机学得很好率。他们成功地开发了一种方法，可以让计算机只从积极的数据和信息（正可靠性）信息中学习分类边界，从而对机器学习的分类问题进行积极和消极的划分。

为了了解系统运作情况，他们在一组包含各种时尚商品标签的照片上使用它。例如，他们选择“T恤”作为积极的类别和另一个项目，例如“凉鞋”作为消极类。然后他们在“T恤”照片上附上了一张信心分数。他们发现，如果不访问负面数据（例如，“凉鞋”照片），在某些情况下，他们的方法与使用正面和负面数据的方法一样好。

【编者按】本文是观远数据创始人苏春园与《数据的本质》作者车品觉在数据分析与智能商业方面的分享、思考之谈的第三篇。关注前两篇文章请点击下面链接。

观远数据创始人苏春园：当数据驱动成为趋势，CEO该做何改变？（一）

观远数据创始人苏春园：数据分析与决策的关键词是“自动化”（二）

关于AI人工智能如何商业化应用的讨论如火如荼，从2016年的星星之火，2017年的燎原之势，到今年可以说是无孔不入了。现在要是哪个场子没有AI元素，主办方都不好意思邀请嘉宾出席。突然有一天，有人说了句玩笑话，说当前的人工智能应用，只见“人工”，不见“智能”。本来是调侃一下，但大家突然感觉好想还真是这么个意思，不经意之间点破了当前AI的现状，那就是呼声很高，但落地很少。

所以就这个话题，继续与品觉老师约茶聊天，这回主要探讨如何从“数据”产生“智能”。尤其我关心的视角是企业，如何应用数据进行商业分析与决策，如何从大量的“数据”中产生支持决策的“智能”。接下来是我和我们观远团队的一些实践与思考，抛砖引玉，大家多拍砖。

硅谷Palantir的例子

在《数据的本质》一书中，品觉老师提到了Palantir的例子。大家都知道，Palantir是全球AI领域的明星公司，被认为用算法解决了很多最为复杂的社会和商业问题。但与Palantir深度交流过之后，品觉发现实际上在他们的客户项目里面，大量的工作是在做数据ETL与数据整合，而基于AI的算法应用、关联分析，只是浮出水面的那一角冰山。

（Palantir示例场景 图片来源于网络）

两个案例看本土实践

在本土，我们也遇到很多类似的场景，今天也分享几个例子。

以一家行业领先的连锁零售品牌为例，这家客户在全国有数百家门店，主营有时效性的生鲜类产品。我们第一次讨论，确定的切入场景是门店销售预测以及基于此的智能订货，这是一个典型的AI与业务结合的应用场景。从这个场景切入，因为这是在业务这一侧表现出来的显著痛点，高层们都非常重视。

但正式对接之后，我们与客户IT团队一起很快意识到，第一层和第二层楼（“数据的基础”）还没有盖好，直接上马第三层楼（“AI应用”）是不切实际的。

具体来说，要对门店销售进行预测，需要对门店促销的历史数据以及销售数据进行关联建模。门店会对不同单品进行促销，并根据季节因素经常性的轮换推荐不同的产品。不同单品的促销与否以及推荐力度，毫无疑问会直接影响到单品销售额以及门店销售额的变化。更进一步，有些门店还会根据一些门店端非常特殊的原因，比如极端天气或者小区周边活动等，进行促销的调整。这些促销相关的数据，对于发现产品销售的关联性至关重要，是构建模型特征工程的关键变量。

我们与客户IT团队紧密合作，对相关促销数据进行了系统的梳理，发现历史数据有很大的缺失。算法团队花了大量的时间来构建与寻找合适的模型特征指，但由于关键数据的缺失，模型效果提升很缓慢。

更进一步追踪，为什么这些关键的促销数据在之前并没有很好的得到留存？一个关键原因是BI（商业智能）的应用还没有到位。

客户以往看数据做决策主要是去看POS、ERP系统里面自带的报表数据，以及加上OA里面有一些汇总类或者填报类的数据。而业务系统里面的报表数据，与真正的BI的应用还是有本质区别。

BI的各种应用帮助企业打通各个核心业务环节，倒逼企业构建扎实的数据基础。比如，通过BI里面的联动分析，分析某单品促销与销售的整体关联表现，再进一步进行BI的钻取分析，追踪到具体门店级别的，发现某单店的关联表现。

类似的这些分析场景都是非常经典的BI分析场景，如果有了这些分析，就能够第一时间发现，其实有些分析是无法进行下去的，原因是对应的原始数据并没有落下来，比如前面提到的促销数据。而这些发现是将进一步的倒逼IT系统的完善，以及相应业务流程的完善，及时补充数据完整性和一致性。

而这个层层倒逼的逻辑，在我们另一个500强客户身上也是出奇的一致。

这是一个FMCG快速消费品巨头的中国业务，我们的目标是将销售预测的准确率再提升5个百分点。

相对大部分国内客户而言，这家全球客户有更深入的BI投入和应用基础，有相对完备的数据沉淀，所以启动AI的应用容易很多。但是，当真正进入到最后1%就要落地的时候，我们遇到了很多“地雷”。

很有意思的是，这些“地雷”都不是AI算法直接相关，也基本都是数据不一致的问题。更进一步，我们发现这些数据基础问题，都是出现在相应的BI场景还没有覆盖的地方。比如该客户BI场景正要但还没有覆盖到品类促销的主题分析，所以这些场景背后存在很多的数据孤岛以及对应的数据口径不一致的逻辑。

为了进一步推动AI场景应用的落地，我们与客户讨论发现，最快的办法是先回到BI层面，快速的把缺失的分析场景进行敏捷的构建。

这个构建的过程本身带来了数据孤岛的打通、指标体系与统计口径的一致，以及确认了各业务部门的统一视角。所以，BI的不断完善，本质上是为AI场景的落地夯实了基础。

“无BI，不AI”

在《数据的本质》里面，品觉老师把“数据”与“智能”两者比喻为气宗与剑宗。剑宗强调犀利快速，而气宗强调底子扎实和后劲十足。两者的关系是以气御剑，剑气兼修。这个比喻非常形象。

我们观远数据提了一个说法叫：“无BI，不AI”。也许有些绝对，但这个理念我们在与大量客户合作的沟通中确实发现很有普适性。

BI与AI两者相辅相成，当构建的BI分析场景越来越成熟、完善，能够进行算法和模型的AI应用越多，而反之，则不断倒逼基础分析和数据的完善，形成良性的闭环。

从BI分析到AI应用，不断倒逼升级数据基础。从数据出发，反复迭代，最终构建企业的决策大脑。

本文作者观远数据创始人兼CEO苏春园，卡内基梅隆大学信息技术与管理专业硕士，曾担任纳斯达克上市公司MicroStrategy微策略全球高管&中国研发总裁，为多家500强客户提供商业智能与大数据分析产品与方案。

观远数据是一家数据分析公司，获得红杉资本等多家VC投资，为新零售、金融以及泛互联网客户通过AI+BI的一站式智能分析平台，让企业决策更智能。

文 | 米格 零和

据知情人士透露，最近大数据行业，有大量从业者被警方带走调查。

他们大多涉及冒充“公检法”的电信诈骗，过度营销或者数据外泄。

就连新三板上市公司北京瑞智华胜科技股份有限公司(下称“瑞智华胜”)也涉及其中，其核心控制人因窃取30亿条公民信息，被警方带走。

“全国都在对数据行业进行整治。”知情人士透露，“这一次，可能比去年5月份的整治更严厉。”

行业正处在“从野蛮走向正规”的阵痛和动荡期……

01风声鹤唳

最近的数据行业，风声鹤唳。

“很多公司的人都被警方带走调查。”知情人士于佳透露，“现在已确定的，有八大征信机构中的一家、知名咨询公司艾瑞，还有一家支付公司和一家即将上市的大数据公司。”

“实际被调查的公司可能有十几家，甚至更多，只是消息还没传出来。”多位从业者称。

而最近，警方跨省抓捕，将北京一家大数据公司的人带走。

11月初，一本财经记者前往这家大数据公司核实，发现该公司只剩下5个人，其他座位空无一人。

而他们也拒绝再和新的客户合作。

跨省抓捕也不再是新鲜事，对网络安全的维护，让属地属性，已变得不再重要。

7月3日，绍兴越城警方的二十多位民警，在属地警方配合下，对北京的新三板上市公司“瑞智华胜”的涉案人员实施了抓捕。

6位犯罪嫌疑人被抓获，但公司实际控制人、主要犯罪嫌疑人邢某逃逸。

2017年6月1日，《网络安全法》开始实施。在此前的5月，有关部门对大数据行业就有过一轮大整治。

于佳称，最近对大数据行业的严打，力度比去年5月更大。

在《网络安全法》实施一年多之后，严打行动，也开始了最后的收网……

02数据外泄

这一波的严打和抓捕，主要是因为什么？

“最近有很多伪造成公检法人员的电信诈骗事件，而诈骗分子利用的，就是流出的网格照片。”于佳称。

什么是网格照片？

就是公安身份查询接口返回的高清网纹身份证照片。

按照规定，这些带网格的照片，只有一个正规的官方授权出口，就是“中证永通”。

但实际上，有些公司从正规的出口拿到这些照片后，进行了本地缓存，再转手将照片二次出售。

“缓存库”，就是黑产数据的一个巨大出口。

这些带网格的照片，被“电信诈骗”用到了极致。

一位用户举报称，他接到过这种诈骗电话，对方说是快递公司，发现他的快递里有毒品，表示警方会介入。

接着就会有自称警方的人联系他，并给他一个“公检法”的网址。在上面，只要输入他的身份信息，就能看到一个“通缉令”。

“上面就是我带网格的身份证照片，极为真实。”该用户称。

接着，对方就会让用户把资产转移到安全账户接受调查，“否则就立即抓捕。”

大量的用户因此受骗。

“首先，是因为照片真实；其次，是因为大家对公检法畏惧。”于佳称，“经常有人被骗数千万元，甚至有人被骗上亿元。”

但抓捕这些犯罪团伙极难，他们很多都在境外操作，如东南亚、日本。

于是，有关部门工作的重心，就放在了追踪数据源头上。

而这次被调查的平台，很多都涉及“网格照片”的流出。

“之所以牵连出这么多公司，是因为其中一家被调查机构的高管，为了戴罪立功，供出了其他家公司。”于佳称，这连锁性地，引发了行业大地震。

严打的另一个原因，就是公民数据的外泄和滥用。

“对于大数据行业的管理和定义，还存在很多模糊的边界。”接近监管的知情人士透露，所以，现在还有很多公司采取“撞线式”操作。

瑞智华胜就是一个典型案例。

他们最早通过竞标，和运营商合作，给他们提供精准营销的服务。

获取远程登录权限后，他们就偷偷在运营商系统中装上木马和插件，将用户的cookie采集下来。

什么是cookie？

就是储存在用户本地终端上的数据，比如账号和密码。

而他们掌握了cookie后，就可以操控账户做各种事。

所以，被窃取cookie的用户，就发现了一个奇怪的现象：自己的微博，莫名其妙就关注了某个账号，QQ稀里糊涂加入了某个群，抖音突然关注了某个网红……

警方公布的消息称，此案被盗用的用户信息，多达30亿条。

去年上市的瑞智华胜，年盈利过千万，其中不知有多少是靠着操作这些账号而来的黑暗获利。

最近，对于外泄数据的滥用，已到了令人发指的地步。

“用了三年以上的手机号码，几乎没法使用，平均每半个小时，就会接到一个营销电话。”于佳称。

监管对此，当然不会坐视不理。

整个数据行业，都进入了一个生死攸关的节点。

03数据洗牌

在这样的监管之下，大数据行业，正在呈现极快的洗牌趋势。

以前的大数据行业，其实存在很多所谓的“黑产数据的搬运工”公司。

它们表面高大上，号称高科技，其实就是收集黑产数据，要么自己养一帮黑客去盗取，要么去黑市上购买。

拿到这些数据后，它们再进行清洗，装成“桶装水”卖出去。

但新的安全法颁布后，如果还想操作原来的业务，无疑是“刀尖上跳舞”。

对于它们来说，目前只有两条路可走：要么洗白，要么退场。

“它们洗白的方式，无非就是两种，一种是把数据销毁，一种是获得牌照或资质，将数据获取的途径合法化。”业内人士余浩称。

而很多大数据公司，踩中了时代的红利，甚至靠着“桶装水”生意上了市，或者即将上市。

它们已经成功洗白。

但大多数做得不大不小的公司，既不可能获得牌照和资质，也不可能上市。它们只能“退场”。

“起码一半的大数据公司已经出局。”余浩称。

余浩所在的，是一家只有二十多人的风控公司，目前工资都快发不下来了。

“数据毫无竞争力，也不敢冒然做一些业务，整个数据行业的利润都下来了。”他表示。

多位从业者称，在大数据公司的这轮洗牌之后，起码有90%的公司要被清理。

大数据行业，一直由两部分组成。

一部分在地上，一部分在地下。

地上的部分正在被修剪整治，有趣的是，地下的部分，却又发展出新的根系和脉络。

黑客CC称，最近的地下黑产链条，出现了非常大的变动。

“现在的数据中间商变得极为精明，只招待熟客，且会按照你的需求，定制化地提供数据。”

这是因为，漫天撒网的捞客模式，风险太高。

“客户很有可能就是卧底的警方或记者。”CC称，黑产开始变得小心翼翼。

但是，只接待熟客，又怎么增加收入呢？

那就只能提供更好的服务，要更高的价钱。

比如，一个诈骗团伙，要求只要年轻女性、存款100万元，并且有定期社保、车、房，中间人就给找这种，但一条数据，单价要100元以上。

而每类诈骗需求的信息不一样。

譬如，机票退款诈骗，需要的是近期公民订机票的数据；股票诈骗，需要的是有大额存款且有股票投资需求的人群数据。

CC称，现在，一个未加工的原始数据包，价格极低，“一万条数据，只值几百元”。

但经过清洗和分类之后，其价格可以暴涨几十倍，甚至上百倍。

当原本承担这个工作的大数据公司，都忙于洗白和脱身，黑产就开始自我进化。

“现在黑产出现了很多小工作室，专门清洗数据和分类。”CC称，他们赚的钱，甚至比原来要高很多。

黑产数据的分类分层，象征着黑产也从蛮荒时代，进入了精细化运营的时代。黑产数据在被加工和清洗之后，将呈现出更强大的“杀伤力”。

大数据行业正处于一个过渡期。

从原来的草莽和无边界，到现在的肃清和规则重建，这其中，必然有一个残酷的阵痛期。

一位监管人士透露，这个阵痛期，可能不是一两年那么短，而是五年，甚至十年……

（应受访者要求，文中部分人物为化名）

当今技术领域普遍存在的巨大变化为大数据打开了大门，以改善各行业的业务并促进经济发展。它的作用已经提升到一定程度，从所收集的信息中提取价值已被证明对小型和大型公司都是非常宝贵的。大数据帮助那些在使世界变得更美好的地方负有重要责任的组织更好地完成工作。

大数据在早期并不那么“大”。当时，只有大型企业能够利用它，因为他们是唯一能够负担得起技术的企业。此外，其广泛的服务范围需要更精确的数据，这需要数据分析系统。

从那时起，大数据以极快的速度发展。自从云技术和互联网诞生以来，这甚至允许小企业从中受益。大数据云消除了对精心设置和昂贵的数据专家的需求，因为现在可以使用互联网连接远程访问他们所需的所有信息。

在人工智能，云和物联网的帮助下，即使是大数据的复杂性，也可以由那些愿意将其用于组织优势的人来处理。大数据分析已经超越了热门的IT趋势标签，现在已经成为公司业务的一部分。它将很快取代黄金成为人类最宝贵的资产之一。

为了让您了解最新信息，请查看最热门的大数据趋势，以推动行业未来发展。

快速增长的物联网网络

由于称为物联网（IoT）的技术，我们的智能手机被用于控制我们的家用电器变得越来越普遍。随着Google智能设备（如Google智能设备和微软Cortana）在家庭中流动以实现特定任务的自动化，不断增长的物联网热潮正在吸引公司投资于该技术的开发。

更多组织将抓住机会提供更好的物联网解决方案。这将带来更多收集大量数据的方法，以及管理和分析数据的方法。业界的反应是推动更多能够收集，分析和处理数据的新设备。

可访问的人工智能

人工智能现在更常用于帮助大公司和小公司改善其业务流程。人工智能程序现在可以执行任务，使其比人类更快，更精确，减少错误并改善整体流程。这使人们能够更好地专注于更关键的任务，并进一步提高服务质量。

好消息是，每个人都可以访问运行AI应用程序的预构建机器，以满足不断增长的需求，从而为同一行业的公司提供公平的竞争环境。如果个人组织找到将其整合到业务流程中的最有效方式，则可能会获得优势。

预测分析的兴起

大数据分析一直是企业获得竞争优势并实现目标的关键战略。他们使用必要的分析工具来处理大数据并确定某些事件发生的原因。现在，通过大数据进行预测分析可以帮助预测未来可能发生的情况。

毫无疑问，这种策略在帮助分析收集的信息以预测消费者行为方面非常有效。这允许公司在他们做之前了解客户的下一步行动，以确定他们必须采取的措施。分析还可以提供更多数据上下文，以帮助了解其背后的原因。

黑暗数据迁移到云端

尚未转化为数字格式的信息称为暗数据，它是一个目前尚未开发的巨大储层。预计这些模拟数据库将被数字化并迁移到云，因此它们可用于对企业有利的预测分析。

首席数据官将有更大的作用

现在大数据越来越成为执行业务战略的重要部分，首席数据官正在其组织中发挥更重要的作用。预计他们将在引导公司走向正确方向方面采取更积极的立场。这一趋势为寻求职业发展的数据营销人员打开了大门。

量子计算

使用我们目前使用的当前技术，分析和解释大量数据可能需要花费大量时间。如果我们能在短短几分钟内同时处理数十亿的数据，我们就可以大大缩短处理时间，让公司有机会做出及时的决策，以达到更理想的效果。

这项艰巨的任务只能通过量子计算实现。尽管处于起步阶段，但目前正在量子计算机上进行实验，以帮助不同行业的实践和理论研究。很快，谷歌，IBM和微软等大型科技公司将开始测试量子计算机，将它们集成到业务流程中。

更智能，更严格的网络安全

在过去涉及黑客攻击和系统攻击的丑闻中，组织变得越来越偏执。这促使他们专注于加强信息机密性。物联网也是所有收集数据的一个原因; 网络安全是一个问题。为了应对这种永无止境的威胁，大数据公司倾向于帮助组织使用数据分析作为预测和检测网络安全威胁的工具。

大数据可以通过安全日志数据集成到网络安全策略中，可用于提供有关过去威胁的信息。这可以帮助公司预防和减轻未来黑客和数据泄露的影响。

开源解决方案

有许多可用的公共数据解决方案，例如开源软件，它们已经在加速数据处理方面取得了相当大的进步。它们现在具有允许实时访问和响应数据的功能。出于这个原因，预计它们将在2018年蓬勃发展并且需求量很大。

毫无疑问，开源软件更便宜，因为它可以帮助您的企业降低运营成本。但是，如果您愿意给他们一个机会，您需要知道一些缺点。

边缘计算

边缘计算设置为在处理数据时将云留在尘埃中。由于物联网的发展趋势，许多公司正在转向连接设备以收集更多客户或流程数据。这创造了对技术创新的需求，旨在减少从数据收集到云，其分析和需要采取的行动的滞后时间。

边缘计算可提供更好的性能，因为流入和流出网络的数据更少，云计算成本更低。如果公司选择删除从物联网收集的不必要数据，公司也可以从存储和基础设施成本中受益。此外，边缘计算可以加速数据分析，为公司提供充足的时间做出反应。

更智能的聊天机器人

由智能人工智能提供支持，公司现在正在部署聊天机器人来处理客户查询，以提供更加个性化的交互，同时消除对实际人员的需求。

大数据与提供更愉快的客户体验有很大关系，因为机器人处理大量数据，以根据客户在查询中输入的关键字提供相关答案。在交互过程中，他们还能够从对话中收集和分析有关客户的信息。此流程可以帮助营销人员制定更简化的策略，以实现更好的转化。

----

所有这些跨不同行业的技术飞跃都以大数据的形式奠定了坚实的基础。进步将继续通过更智能的流程帮助创造一个更美好的社会。但要最终从这些趋势中受益，您必须充分了解它们的使用方式以及它们如何帮助您实现业务目标。

这只是一个开始，因为大数据将继续作为您在业务和技术方面所经历的变革的催化剂。现在由您决定如何有效地适应这些变化并帮助您自己的业务蓬勃发展。

科技后时代

据Gartner研究表明，人工智能、物联网等助力下一代商业创新，由此产生大量数据，2020年前企业将使用超过75亿台联网设备。这种转变或将推动从联网汽车、智能无人机到制造、智能零售等下一代科技发展。更多数据需要实时分析，IDC发布的“数据时代2025”研究表明，到2025年，约20%的数据将是实时数据，无需发回到网络中心进行处理。这意味着企业将建立自己的集中式云计算架构，并加强在边缘处理和存储更多数据的能力。

全球创新存储公司希捷研究认为，在边缘计算模型下，由于大多数知识来自靠近数据源的本地，数据分析仅部分依赖于网络带宽。以往，大型传统数据中心一直是网络计算和连接的支柱，几乎所有数据都在一个核心集中处理。然而，物联网技术和支持AI的应用需要在边缘进行计算，由此影响未来数据中心的建设规模与位置。随着边缘计算的兴起，更多小型数据中心将建在靠近城市和商业区等地方。区域市场和较小的城市可能会有更多存储中心，以及固定在电信塔等现有通信基础设施上的微型数据中心。另外，微型数据中心可以部署在现有无线网络的电信塔和其他重要位置上。未来大量的数据中心也将不再像如今的数据中心般拥有大型仓库的规模。

（文/广州日报全媒体记者文静）

亲爱的读者，如果你知道任何关于科技前沿的猛料，欢迎将新闻线索发至：gzrbkc@126，我们将有专人进行回复和处理。

每天人们在吃饭，睡觉，工作，娱乐都会产生数据——大量的数据。根据IBM（国际机器商业公司）记录，人类每天会产生2.5万亿字节的数据，这相当于一堆DVD到达月球又返回来，我们发送的所有文本，和我们上传到工业传感器指标的照片，以及机器之间的通信这么大的量。

这是“大数据”成为一个很普遍的短语的重要原因。简单来讲，人们所谈论的大数据是指针对大量的数据，然后对它进行分析，最后把它转变成有用的东西的一种能力。

精确的来讲，什么是大数据？

然而，大数据远不止这些，

它是关于：

1、通常从多个来源，获取大量的数据，

2、不仅仅只是大量的数据，而且都是不同类型的数据——就是在同一时间获取多种类型的数据，还有那些随时间变化的数据——他们并不需要在第一时间转换成一种特定的模式或者变成一致的，

3、用这样的一种方式去分析数据，就是允许针对相同的数据池依据不同目的进行不间断的分析

4、可以快速完成这些，即使是一些实时的数据

在早期，工业提出，用首字母所写的方式来描述上述四个方面中的其中三个：VVV,分别是大量的（大量的数据），多样化（不同类型的数据，数据随时间变化的事实）以及速度（快速）。

大数据VS数据仓库

这个VVV首字母缩写缺失的是数据不需要进行永久性的改变（或转换）来对数据分析的关键概念。针对不同需求来对相同的数据池进行分析和可以对依据不同目的而收集的数据来进行分析。

相比而言，数据仓库是为了满足特定的需求来对特定的数据进行分析而建立的，而且数据结构化然后转化为特定的格式，在这个过程中，基本上毁坏了原始的数据，特定的需求指的就是——没有别的——提取，转换，加载（ETL）。数据仓库的ETL仅限于对特定数据进行特定分析的处理。当你所有的数据都被存储在你的交换系统中时是极好的，但是在当今互联网连接的世界中，来自各个地方的数据并不是这样的。

但是，你不要以为大数据使数据仓库过时了。虽然，大数据系统让你用随之而来的无结构化的数据进行工作，但是你所获得的查询结果远远不及数据仓库的复杂性，毕竟，数据仓库是为了深入数据而设计的，它可以做的很精确，因为它把全部的数据转化成同一种形式，这样可以让你做一些事情，例如，为了深入钻取而构建立方体。数据仓库的供应商花了好多年的时间使他们的查询引擎最佳化，查询引擎是用来回答业务环境中典型的询问。

大数据可以让你从更多的来源中分析更多的数据，但是分辨率更低。因此，我们在很长一段时间内与传统的数据仓库和新型的大数据一起生活。

在大数据之后，有了技术性的突破

为了完成大数据的四个需求面——大量，多样化啊，非破坏化得使用，以及快速——需要有多种技术性的突破，包括分布式文件系统（Hadoop）的发展，一种快速了解不同数据的方法（首先是谷歌的MapReduce，然后是最近的Apache Spark）,一个根据需求来进行访问和移动数据的云/互联网的基础设施。

直到大约十几年前，在任何一个时间都不可能去操控相对少量的数据。（是的，当时我们都认为我们的数据仓库是巨大的，然而自从互联网产生并且与各地的数据开始连接之后，这种环境发生了明显的转变。）数据的存储量，计算能力，对从多个数据源收集的不同格式的数据的处理能力的局限性，使得所有的任务都是不可能完成的。

接下来，在2003年左右，谷歌的研究者开发了MapReduce，该编程技术通过首先将数据映射到一系列键/值对来简化处理大数据集，然后对类似的键值进行计算把它们减少到单个的值，在成百上千的低成本的机器上来并行处理每一个数据块。这种巨大的并行性允许谷歌从越来越大量的数据中更快的产生查询结果。

在2003年左右，谷歌创造了两个突破，使大数据变得可能：一个是Hadoop，它是由两个关键的服务组成：

1、使用Hadoop分布式文件系统（HDFS）实现数据的可靠存储

2、使用MapReduce技术使处理并行数据高效化

Hadoop是使一系列的的商品，在无共享的服务器上运行的，在Hadoop这个集合上按照你的意愿来添加和删除服务；系统检测并补偿在任何服务器上的硬件或系统问题。换句话说，Hadoop是可以自我修复的，尽管系统发生改变或故障，它还是可以传递数据——运行大规模的、高性能的处理作业。

尽管Hadoop为数据存储和并行处理提供了一个平台，但是真正有价值的还是技术的附加、交叉集成和自定义实现。为此，Hadoop提供了子项目，它给平台增加了新的功能：

Hadoop Common：支持Hadoop的其他的子项目的普遍实用工具

Chukwa：一个是为了管理更大的分布式系统数据收集系统

HBase：可扩展的分布式数据库支持大量的结构化数据

窗体顶端

HHDGRG窗体底端

HDFS: 一种分布式系统，可以对应用程序数据提供高吞吐量访问

Hive：提供数据摘要和即席查询的数据仓库基础设施

MapReduce：用于在计算集群上分布式处理大型数据集的软件框架

Pig：并行计算的高级数据流语言和执行框架

ZooKeeper：分布式应用程序的高性能协调服务

Hadoop平台的大多数实施方案至少包含这些子项目中的一些，因为他们通常是开发大数据所必需的。例如，大多数组织选择使用HDFS作为主要的分布式系统，把HBase作为数据库，它可以存储十亿行的数据，MapReduce的使用和最新的Spark几乎是给定的，因为他们给Hadoop平台带来了速度和灵活性。

使用MapReduce，开发人员可以在分布式处理器集群或者独立计算机上创建一个并行处理大量的非结构化数据的程序。MapReduce框架可以分为两个功能区域：

Map：把工作包发送到分布式集群的不同节点的功能

Reduce：整理工作并把结果解析成单个值的功能

MapReduce的主要优点之一就是它是容错的，它是通过监视集群中的每个节点来完成的；预计每个节点会周期性地报道已经完成的工作和状态更新，如果每个节点保持静默的时间比预计间隔长，那么主节点会记录下来，并把这个工作重新分配给其他节点。

Apache Hadoop，它是一个把MapReduce作为核心的开源框架，在两年之后开发出来。最初建成索引的搜索引擎是Nutch，而Hadoop现在几乎被用于广泛的大数据工作的主要行业。由于Hadoop的分布式文件系统和YARN（另一个资源协商者），这个软件让用户可以在数以千计的设备上传播大量的数据，就好像它们全都在一台巨大的机器上。

2009年，加州大学伯克利分校的研究人员开发了ApacheSpark作为MapReduce的替代品，因为Spark使用内存存储执行并行计算，因此它可以比MapReduce快100倍。Spark可以作为一个单独的框架或在Hadoop内部工作。

即使是使用Hadoop，你仍然需要一种存储和访问数据的方式。这通常是通过如MongoDB、CouchDB以及Cassandra这些数据库来完成，这专门适用于处理分布在大型机器上非结构化或半结构化的数据。与数据仓库不同的是，大量的并多类型的数据会被融合成统一的格式然后存储在单个数据存储中，这些工具不会改变底层属性和数据的位置---邮件还是邮件，传感器数据还是传感器数据---事实上，它们可以被存储在任何地方。

尽管如此，在一个机器集群的数据库中想要存储大量的数据仍然不是容易的，除非你用它做了一些事情。这就是大数据分析的原理，像Tableau、Splunk和Jasper BI工具可以让你从语法上分析数据，以识别模式，提取意义并揭示新的见解。你所做的事情会因你的需求而不同。

原文地址：https://infoworld/article/3220044/big-data/what-is-big-data-everything-you-need-to-know.html

我想好多人对大数据还没有一个完整的概念，认为大数据距离自己是很遥远的一件事情，其实呢，大数据离我们并不遥远，并且大数据就在我们的身边，与我们的生活是息息相关呢，那么什么是大数据呢？在百度百科，对大数据的定义如下：

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

首先，可以肯定一点，大数据肯定是海量的，另外这些数据的价值需要进行处理，整理，分析，挖掘其潜在价值，如果只是一堆海量的数据在哪里放着，也将是毫无价值的，需要经过分析，整理，决策，这样才能产生巨大的价值，如果我们将海量的数据叫做资源，将分析，整理，决策叫做计算，也就是资源+计算产生了巨大的价值，如果没有资源就谈不上计算了，如果只有资源，没有计算也是毫无价值的。

在高速发展的的现代社会里，我们周围充斥着大数据，在全球范围内每秒钟都会有海量的数据产生，并且24小时不间断的持续产生着，接下来就举例说明我们平时周围所能看到的一些大数据吧！

每日的车流量

比如说在城市里，车来车往，小轿车的数量多如牛毛，电子监控设备也是不计其数，每时每刻都会产生大量的数据，这些电子监控设备都会不停的采集这些城市交通数据，每一辆车的车型，车牌号，出现的地理位置，以及路过的时间都不会逃出这些监控设备的法眼。对这些数据的分析就能得到一些有价值的事情，比如哪个地段交通事故频发，需要采取进一步的安全措施，哪个地方违章频发，需要进一步分析什么原因造成的等等。

上下班地铁站

在一些大都市，地铁对每一个上班族来说，肯定是在熟悉不过的事情，地铁的人流量大家也是深有体会的，通过一个小小的公交卡片就能非常快捷方便收集到每一个地铁站，每个时间段的客流量，根据这些客流量也能准确的计算出平时的出现高峰期，以及从而做出正确的决策，比如在哪个时间段，那个站点需要进行人流的控制来缓解交通出行的压力。

每日的阅读数据

现在基本上每个人都有一部智能手机，不论是商场，还是在家里，还是在其他任何地方，相信好多低头族都在不停的刷着手机，也在每时每刻的的产生着海量数据。

每日的购物数据

各种各样的电商网站，各种各样的物品，都在时时刻刻的产生着海量的数据，自从有了互联网，每分钟的交易数与传统的生意相比提高了成千上万倍（远远不止成千上万）。

这些种种活动背后都是有海量的数据产生，上面提到了，作为大数据核心两点就是资源和计算，只有这两点结合起来才能产生巨大的价值，那么大数据的具体处理流程应该什么样一个过程呢？为什么说一个过程中，因为大数据不再是像传统的小量数据，实时产生计算结果，他是一个流程化的过程，一般分成以下几个环节。

数据的收集/采集

这是第一个步聚，数据的产生都是由这个环节引起的，这个环节只是简单的收集数据，不考虑数据的重复性及有效性，就是简单的数据录入

数据的处理及格式转换

这部的主要工作就是将数据加工处理及对数据的有效性及重复性校验，及格式上进行转换，转换成事先设计好的格式，从而方便数据向固定的存储介质上进行存储

数据的存储

上面说的存储介质可能是数据库或文件存储系统等或者是几种存储方式的结合，将采集到的数据进行有效处理从而沉淀下来。

数据的统计分析

对存储的起来的数据进行多个维度进行分析，得出相应的结论，这些维度都是一些技术人员或者业务专家共同探讨制定出来的，按照这些维度能得出来好多有价值的结果！

数据的挖掘

通过对分析到各个维度得出的情况来挖掘他们背后的各种联系，得出相应的策略，从而并很快的实施下去。

大家好，我是“上世是朵花”。如果你有什么好的看法或者观点可以在评论区展现你的才华，互动交流，如果想进一步了解我，那就关注我吧！

如果有一张上千行的销售表，像下图（各个地区按天统计的1至12月的物品销量），要统计每个月，每个地区的数据，当看到上千行的数据，是不是发愁无从下手呢，利用数据透视表，轻松搞定。

1、选中数据表中任意单元格，点击工具栏插入——数据透视表。弹出创建透视表对话框，点击确定。

2、在右边数据透视表字段对话框添加字段，这里勾选订购日期、地区、分类、销售额和成本。字段勾选根据数据分析的要求勾选。

勾选后，左边单元格会生成下图所示数据表。

3、但是日期是按天来统计，我们需要的是按月统计，选中行标签统计的某一天的单元格，例如2015/1/24，右键创建组，在组合对话框中，选择月，确定。

4、确定后生成下图所示的统计表，但是原始数据没有统计利润，这里我们为了说明问题，我们简单统计利润。

5、增加字段，统计利润，假设利润为销售额减去成本，点击数据透视表工具的分析菜单选项。

6、点击字段、项目和集——计算字段。

7、在插入计算字段对话框中，名称填写利润，公式填写=销售额-利润，确定。

8、则上千行的数据按月份统计完成。

这里只是数据透视表的基本用法，数据透视表还可以排序、筛选，还可以转换称图表，还有很多更强大用途。