安防巨头海康威视瞄准体育市场了。

近日，2018年全国男子篮球联赛（NBL）官方宣布，将在新赛季当中运用海康威视的视频智能技术，助力联赛探索数字化发展方向。

海康威视高级副总裁徐习明表示，在与NBL的合作中，海康威视将通过视频智能分析技术，助力NBL感知场馆内的信息、球员信息、场外信息等，将这些信息汇聚成数据资源，为NBL的参与方提供多维度的数据支撑。　

其实就体育市场的开拓，在此之前，海康威视就曾为欧洲豪门阿贾克斯·阿姆斯特丹足球俱乐部建立过一套视频分析和处理的技术解决方案。在阿贾克斯体育场上，将会出现海康威视PanoVu（鹰眼）全景摄像机和GameOn视频分析软件。

该款相机由8个固定在水平不同方向的高清摄像头＋高速球组成。全景端每4个摄像头负责1个全景180度的监控画面，总共提供2个全景180度画面，达到2×4096×1800@30fps的监控效果，而这就意味着比赛期间，什么精彩瞬间都不会错过。

另外，下方球机还具备定位和跟踪功能，提供23倍光学变焦、16倍数字变焦，只需要点击全景画面的任意一个点，就可以实现快速的变倍并捕捉到远处的目标，而这就可以放大任意球员并在球场上对其进行跟踪。

海康威视工作人员告诉雷锋网，海康威视全景摄像机通过深度学习等AI算法来对场内人员进行识别与行为分析，之后将图像通过第三方软件来分析球员跑位等场上信息，在比赛当中和结束后通过这些数据可以进行战术分析和讨论。

换句话说：面对灵巧、顽强的对手，AI系统能够提供更清晰、准确的对手及战术分析，创造更多的制胜契机。

阿贾克斯球员分析师Reckers表示，海康威视相关产品及技术在实际应用过程中效果让人惊讶， PanoVu相机在性能上为我们打开了一个全新的世界。它能够以高分辨率捕捉完整的信息，并且能够简化分析过程，为教练和球员提供实时、有效的信息，从而临场做出改变。

从这来看，如今的体育运动除了运动员之间的竞争，还包含科技的竞争。赛场上专业设备的引进的确能够让体育赛事的数据更加全面，通过对这些数据的分析可以达到高能目标，综合来说，可以分为四个方面：

一来可以更好、更快地分析对战球队的打法习惯。

在赛事中，系统可以通过对某个球员的大数据分析，了解该球员的打法和习惯。比如在篮球运动中，某个球员在篮框右侧时，主要用突破上篮；而在篮框左侧运球时，多选择投篮…了解这些数据后，教练就能制定出针对性的方法来防守该球员。

二来可以侧面反映出球员在赛场上的积极性。

正如上文所言，相关摄像头可以在现场实时“跟踪”每一名球员。它能够追踪每一名球员的每一个动作、每一次传球、每一次触球、在场上一切的一切。

摄像头背后连接着各种传感器，用以动态捕捉、轨迹分析、提取数据，再将处理过的数据导入后台庞大的数据库。赛后，通过对这些数据观察可以非常明显的看出某球员在赛场上的积极性如何。

三来能够预防球员受伤。

对于任何体育赛事来说，球员无疑是最为宝贵的资源及财富之一。他们的受伤从某种程度上来说可以直接影响体育赛事的精彩程度。

系统通过实时测量各个球员的跑动距离、平均速度、加速度，通过对于以上三个方面的分析可以大致评估出每位球员的肌肉紧张感和体力。如果某位球员肌肉长时间处于紧张状态，就可以提醒球队，球员需要休息，以避免可能受到的伤害。

最重要的是可以帮助球员和教练做出更好的决定。

雷锋网了解到，赛场上的这些摄像头产品大多都采用了动态追踪技术。通过大数据统计和分析，教练和运动员能够更加容易的制定针对性的策略，取得更大的胜算。

其实，在NBL及阿贾克斯引入海康威视产品之前，相关技术在体育领域的应用已经非常多见，并非纸上谈兵。

早在2006年德国世界杯期间，德国守门员莱曼扑出了阿根廷两个点球。赛后，他在接受采访时坦承，纸条内容是与教练提前商量好的，上面写的正是阿根廷罚点球的球员名字以及他们所习惯的罚球方向。

无独有偶，在NBA赛场，强大的数据统计技术Sport VU在2013年也被联盟引进。

Sport VU通过每座球馆天花板上空悬挂着的六个3D高清摄像头连接计算机数据分析而实现，每秒钟每个摄像头能抓取25幅图片，每张图片都有时间戳，计算机可将这些数据与比赛流媒体源连接到一起，在 90 秒内提供一份报告。

SportVU应用通过将视频和定制化报告结合起来，重新制作数据，进行深入的球队细节分析。该系统可制作和计算球员指标信息和 3D 模型，帮助球队更好地理解统计数据的重要性和比赛过程。

系统还能够测量球员的无球跑动和球员之间的间隔，可以计算出速度、距离参数和能量区域效率，同时计算力量、爆发力和耐力，查询球员间隔、投篮轨迹和投篮区域。这些统计数据都将成为NBA球队获得比赛胜利、争夺冠军的体系的一部分。

如果说通过AI、大数据分析真的可以提供更加科学的建议结果及训练方向。无疑，科技正给体育事业带来一股积极的正能量。

但与此同时，想要做好这件事也非常不易。以足球赛场为例，赛场足够大，场上运动员众多、而且一般是晚上开赛，这就要求前端IPC必须足够清晰、智能，这些对于硬件、算法要求极高；另外系统还必须有一颗强大的后台大脑，它能实时地分析若干数据，在最短的时间内提供最为科学的现场报告。

海康威视此前在安防领域深耕多年，积累了多项视频领域的专利技术，作为全球首屈一指的视频监控解决方案提供商，其也是科技赋能体育市场的最佳候选人之一。

沉闷已久的安防行业需要活力，热血澎湃的体育赛场需要技术。

海康威视的积极融入无疑能够更好地解决双方痛点，在全民体育的热潮下、在其自身多年技术积累的护持下，海康威视赋能体育市场的可能性被无限放大，而这也就意味着创新、意味着机遇、意味着更大的增长可能。雷锋网雷锋网

大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据工程师、数据分析师已经成为大数据行业最热门的职位。

数据分析师是什么？

数据分析师不同行业中获取数据，并通过获取到的数据对问题进行解答。最后还需要以合适的方式对结果进行展示，以辅助企业做出商业决策。一般来讲，数据分析师的任务是对数据进行清洗、分析以及可视化。

根据行业的不同，数据分析师的头衔也可能不同。比如：业务分析师、商业智能分析师、运营分析师、数据库分析师等等。不管头衔是什么，数据分析师都可谓是通才。他们能够胜任诸多岗位与团队角色，同时也能在极大程度上帮助企业做出基于数据的决策。

数据分析师所需技能

编程，统计学和数学，机器学习，数据可视化和通信技术，数据处理和数据集定义

数据工程师是什么？

在大数据的时代，数据工程师的角色愈发地重要。数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。数据工程师是系统的构建者与优化者，所有公司正常运营的基础之一，数据工程师的职责就是保证数据在接收、转移的准确性，并且保证其它用户对数据的可访问性。

和数据分析师不同，他们不太关注统计、分析技能、建模等。他们的工作重点在于数据架构、计算、数据存储、数据流等。因此，数据工程师必须具备相当强的编程能力—包括编写数据查询程序的能力。也就是说，他们的能力必须达到开发运营高手的级别。

数据工程师还负责数据库设计、仓储数据库、建立数据库等。 这就意味着，他们必须十分熟悉现有的数据库技术和数据管理系统，比如和大数据有关的Hadoop与HBase 等。此外，非功能性的基础设施问题，如数据的可扩展性、可靠性、韧性、有效性，备份等也由数据工程师来负责。

数据工程师所需技能

数学和统计学，程序设计和计算机科学，分析技能，商业战略

对于招聘市场端在大数据工程师和大数据分析师二个方向所涉及的岗位具体名称如下图所示：

大数据工程师方向：

大数据分析师方向：

总结：

数据工程师的重心在“后端”，他们需要持续的优化数据通道，才能保证企业数据的准确性与可用性。同时还需确保在需要的时候能够顺畅地将数据提供给用户。

数据分析师则是通过使用数据工程师所构建的自定义API来提取新的数据集，并对其中的数据趋势进行识别，同时对异常数据进行分析。分析师们将会对结果进行总结，并以一种清晰直观的方式来展示这些结果，以便于其它非技术团队能够更好地了解他们目前的工作效果。

有了以上信息，数据分析师和大数据工程师之间的差异应该清楚。对于数据驱动的职位来说，通过数据来找到正确的问题，并据此进行更加精确的试验，这就是其最根本的工作内容。进一步的，数据科学领域将不断发展进步，同时也会对相关从业人员提出持续学习的要求。

分享 IT 技术和行业经验，请关注-技术学派。

本文选取我国1985年以来农业相关特征指标，进行数据挖掘和分析。通过观察丁氏图，详细描述指标的变化规律。根据Q型聚类谱系图，划分农业发展阶段。通过对对应分析因子平面图的分析，找出农业发展影响因素。綜合得出若干分析结论和启示。中国是农业大国也是人口大国，农业是国民经济发展的基础，基础不牢，地动山摇。解决好13亿人的吃饭问题，才有精力发展其他产业，才能保证社会的稳定。我国自改革开放以来，农业发展波动起伏，总结这一时期变化规律和特点，对于分析农业发展趋势和应对可能出现的问题具有重要意义。本文选取1985—2015年的数据，通过分析资料找出具有代表性的统计特征。参考《中国统计年鉴（2016）》[1]，选取农业相关数据整理成时间序列的多元数据表。其中农业产值、粮食产量、居民消费直接反映农业发展的效果，播种面积、机械动力、水库容量、灌溉面积、除涝面积属于“助农”指标，受灾面积属于“坑农”指标。

从原始数据表进行分析，虽然数据准确，但很难一眼看出统计指标的发展规律。丁氏图是在每个格子内用椭圆图形表示数据的相对大小，数据经过正规化，每一栏的指标最小为直线，最大为椭圆满格。相对于表1，由于各指标单位不同，选用纵向丁氏图。纵向丁氏图是对于同列数据进行比较，不同列之间则没有关系。丁氏图可以直观反映数据的变化，特别是对于多元时间序列。 当然它也存在一定的缺陷，比如同一栏目椭圆的面积只能粗略反映大小，没有严格的倍数关系，这是因为数据经过正规化处理，原始数据的绝对关系已经改变，所以对于关键数据可以配合其他的图示方法（图1）使用。

由图1可以看出，11项指标中：农业总产值和农村居民消费水平发展速度同步，说明农村居民生活质量和农业产值息息相关，我国农业产值持续平稳发展，农村居民生活水平也在不断提高；就业人员呈梭形，早期农业发展，所需劳动力增多，一段时间后，就业人员开始减少，我国计划生育政策的实施导致人口向老龄化缓慢发展，青壮年劳动力人口比例呈下降趋势，且随着第二、第三产业发展，农村劳动力大多选择外出务工，工业和科技的发展也提高了农业生产效率，使得农耕需要人数下降；粮食产量和播种面积在1985—1999年呈缓慢增长趋势，1999—2003年回落，2003—2015年继续持续增长。出现这种情况的原因是1999—2003年间农民种粮的积极性不高，全国粮播面积下降，且粮食产量低，2005—2013年加强农村惠民政策的实施，农业现代化推进，粮食产量和播种面积出现持续回升。

机械总动力、化肥用量、水库容量、除涝面积基本都呈金字塔状增加，表示逐年的递增，从漏斗的上下变化速度来看，化肥的使用和除涝在农业生产早期就被重视，而机械总动力和水库蓄水量则相对发展较晚；灌溉面积基本跟随播种面积变化，但灌溉面积还与气候变化有相当大的直接关系，例如1999年全国出现大面积干旱，波及到20多个省份[2]，因而灌溉面积较其他气候正常年份有大幅度提高；受灾面积为冰雹、大风暴、洪涝灾害、持续干旱、台风、暴雪等自然现象造成农业损失的覆盖面积[3]，各年份之间并无明显规律，但随着社会发展，对于灾害的应对有了更详尽全面的经验和方案，可以看到近几年受灾面积有了大幅度减少。

通过观察发现，谱系图中的年份除1999年外基本按照顺序排列。Q型聚类谱系图是把特征相近的样本聚为一类，通过对纵向丁氏图的观察，就业人员、粮食产量、播种面积和受灾面积随着年份的变化有波动，原以为不会按照时间顺序排列，现在仍基本按原来的顺序，表明一个重要特征，即我国农业的发展每个时期（相邻年份）有其相应的特点，特点是渐进变化的。31年来最大界线在2011年和2010年之间，将1985年以来的农业发展分为2个大的时期。1985—2010年为第一时期，2011—2015为第二时期，并将第一时期划分为第一阶段（1985—1994年）和第二阶段（1995—2010年）。1999年因气候异常导致灌溉面积数据异常，仍归入第一时期第二阶段。

第一时期第一阶段的特点是：农业总产值和农村居民消费水平低，就业人员较少；粮食产量和播种面积较低且随时间波动增长；机械总动力、化肥用量、水库容量、灌溉面积、除涝面积等农业生产指标总体水平较低；受灾面积大。主要原因是，改革开放后随着家庭联产承包责任制和农村多种经营的开展，农业生产开始回春，1984年农业大丰收后，农业基本建设投资削减，粮食收购价格下降，生产资料成本却大幅上涨，挫伤农民生产积极性，发展缓慢。可以称这一时期为“缓慢发展期”。

第一时期第二阶段特点是：农业总产值和农村居民消费水平持续上升，就业人员人数维持在较高水平；粮食产量和播种面积呈开口向上的抛物线状发展；化肥用量、除涝面积增速明显、其它农业生产指标也在持续平稳增长；受灾面积依旧很大。1993年是中国农业社会化服务体系建设政策的多发年，极大促进了农业产业化经营的发展。受此影响该阶段前期发展明显，粮食连年丰收，国家财政收购余粮和贮存粮食的财政支出越来越大。2000年调整农业结构，实际上是减少对粮食生产的支持，农民积极性大幅下降，粮食生产形势严峻。为了扭转下滑趋势，2004年起国家大力支持粮食生产，再次激发农民积极性，稳定了农业发展。可以称这一时期为“波动发展期”。

2010—2015年“十二五”计划提出：坚持走中国特色农业现代化道路，把保障国家粮食安全作为首要目标，加快转变农业发展方式，提高农业综合生产力，抗风险能力和市场竞争能力。增强粮食安全保障能力，推进农业结构战略性调整，加快农业科技创新，健全农业社会化服务体系，拓宽农民增收渠道[4]。这为农业发展起到了巨大推动作用。第二时期特点是：农业总产值和农村居民消费水平稳步上升，就业人员减少，这与民工外出打工有关；粮食产量和播种面积大幅度且稳定提高；機械总动力和水库容量发展速度明显加快，化肥用量、灌溉用量、除涝面积等农业生产指标总体上升；受灾面积大幅度降低。农业保障政策极大促进了农民种粮的积极性，工业化水平的发展提高了农业生产的效率，劳动力需求减少，风险控制和应对措施的加强使得受灾面积大幅度下降，我国农业生产有了较大的飞跃。可以称这一时期为“快速发展期”。

对应分析是一种多变量统计技术，它在概念上类似于主成分分析，提供一种以二维图形形式显示或汇总一套数据的方法。对应分析的基本思想是将一个二维表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来，它是一种视觉化的数据分析方法，能够将几组看不出任何联系的数据，通过视觉上可以接受的定位图展现出来[5]。根据对应分析因子平面图可看出，年份在F1因子上从左到右有规律地顺序排列，显示出指标随年份的渐变规律。农业发展的前期主要是靠天吃饭，受灾面积和播种面积是主要影响因素，随着时间的发展，除涝面积、灌溉面积、水库容量、和化肥用量的影响开始增大，发展至近几年，机械动力成为农业生产的最主要因素，居民消费量大增。这说明我国农业进步飞快，机械化水平明显提高，生产效率大幅度提升，农民生活也极大地得到改善。

从我国农业特征的11项指标直观图可以看出，除就业人员先增加后减少、受灾面积无明显规律外，其余指标虽然不是严格的随年份逐渐增加，但也在一定时期的波动后，趋向持续稳定发展。2010年底为一个重要界线，把我国农业分为2个时期，前期有起伏波动，第一阶段称为“缓慢发展期”，第二阶段称“波动发展期”，后期呈持续增长状态，称“快速发展期”。相邻年份发展情况类似，迄今为止我国农业发展还没有出现周期性变化。通过研究发现，要像我国农业能够更好更快的平稳持续发展，政府的惠农政策是至关重要的，农民的生产积极性是农业发展的原动力，要让农民尝到甜才能够有干劲；农业的配套措施应该齐全，水利设施、农业机械等基础设施建设应该完善，并加强对于灾害的应对和风险控制；科学技术的发展也影响着农业的发展，使农业生产效率极大提高。我国是一个人口大国，农业乃立国之本，只有保证农业的平稳持续发展，才能尽快迎来全面小康社会。

【IT168 技术】摘要：通过对数据处理阶段性发展的解析，分析大数据、人工智能技术的发展趋势。结合实际生产需求，验证了基于容器云架构的新一代大数据与人工智能平台在数据分析、处理、挖掘等方面的强大优势。

关键词：大数据 人工智能 云计算 Docker 基础能力 多租户

Abstract：Through analyzing the staged development of data processing, this paper analyzes the development trend of big data and AI technology. According to the requirement of customers, the new generation of big data and AI platform based on Docker Cloud verify the powerful advantages in data analysis, processing, mining and so on.

Key Words：Big data; AI; cloud computing; Docker;basic abilities; Multi-tenant

引言

人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值;同时，大数据技术通过将传统机器学习算法分布式实现，向人工智能领域延伸;此外，随着数据不断汇聚在一个平台，企业大数据基础平台服务各个部门以及分支机构的需求越来越迫切。通过容器技术，在容器云平台上构建大数据与人工智能基础公共能力，结合多租户技术赋能业务部门的方式将人工智能、大数据与云计算进行融合。

数据处理的发展阶段

随着信息技术的蓬勃发展，特别是近十年，移动互联技术的普及，运营商、泛金融、政府、大型央企、大型国企、能源等领域数据量更是呈现几何级数的增长趋势。数据量的膨胀除了带来了数据处理性能的压力外，数据种类的多样性也为数据处理手段提出了新的要求，大量新系统的建设同时产生了众多数据孤岛，给企业的数据运营维护与价值发掘带来了重大的挑战。随着大数据技术的不断发展，企业的数据处理技术转型也经历了几个阶段，如图1所示。

▲图1 企业数据处理转型的阶段变化

在第一阶段，大数据技术发展的早期，为了打破数据孤岛，将各类数据向大数据平台汇集，形成数据湖的概念，作为多源、异构的数据的数据归集，在此基础上进行数据标准化，建立企业数据的汇聚中心。在这个阶段，对非结构化数据处理以存储检索为主，对结构化数据处理提供各类API和少量SQL支持，使海量的以SQL实现为主的业务难以迁移到大数据平台，新业务开发使用门槛高，大数据技术的推广受到阻碍。

在第二阶段，企业客户的需求集中表现为，如何更好地处理结构化数据以及将老的IT架构迁移到分布式架构中。各大数据平台厂商开始在SQL on Hadoop领域进行研发和竞争，不断提高SQL标准的兼容程度。在这个过程中，Spark诞生并逐渐取代了过于笨重且TB量级计算性能存在缺陷的MapReduce架构，Hadoop技术开始向结构化数据处理分析更深度的应用领域进发。随着SQL on Hadoop技术的不断发展与星环科技解决了Hadoop分布式事务的难题，越来越多的客户在Hadoop上构建新一代数据仓库，将Hadoop技术应用于越来越多的业务生产场景，技术门槛的降低，使越来越多的客户可以利用强大的分布式计算能力轻松分析处理海量数据。在这个阶段后期，随着企业客户对实时数据分析研判需求的不断提高，流处理技术得以蓬勃发展。

在第三阶段，一部分企业已经完成了由基于关系型数据库为核心的数据处理体系向基于大数据技术为核心的数据处理体系的转变。在本阶段早期，很多企业客户不满足于通过SQL基于统计对数据的分析和挖掘，促使传统的机器学习算法开始实现分布化，但主要还是针对结构化数据的学习挖掘。随着深度学习技术和分布式技术的碰撞，演化出了新一代的计算框架，如TensorFlow等，计算能力的提升，并结合大量训练数据，使机器学习人工智能技术在结构化与非结构化数据领域产生巨大威力，开始应用于人脸识别、车辆识别、智能客服、无人驾驶等领域;同时，对传统机器学习算法产生了巨大冲击，一定程度上减少了对特征工程与业务领域知识的依赖，降低了机器学习的进入门槛，使人工智能技术得以普及。另一方面，可视化的拖拽页面、丰富的行业模板、高效率的交互式体验，极大地降低了数据分析人员的使用门槛，让人工智能技术进一步走入企业的生产应用。

大数据、人工智能与云技术的融合

随着企业内部对于数据资源的应用不再仅仅局限于IT部门，越来越多的内部项目组与分支机构加入大数据平台的使用中，加之数据处理技术的不断发展，如何解决基础平台的资源隔离问题、管理分配问题、编排调度问题;如何将企业业务应用需要的基础服务能力做更好地抽象，降低应用所需的基础服务的环境搭建、开发、测试部署周期，提升IT支撑效能;如何更好地管理众多的基于大数据与人工智能开发的应用等等成为企业急需解决的问题。

在大数据技术发展的早期，仅仅是在计算框架MapReduce中提供简单的作业调度算法，随着资源管理的需求，在Hadoop 2.0时代，Yarn作为单独组件负责分布式计算框架的资源管理。但是，一方面，Yarn仅仅能够管理调度计算框架的资源;另一方面，资源的管理粒度较为粗放，不能做到有效的资源隔离，越来越不能满足企业客户的需求。

云计算技术作为资源隔离封装虚拟化，以及管理调度的技术，本应应用于解决上述问题。但是，在Docker容器技术被广泛接受之前，云计算虚拟化技术主要基于虚拟机封装资源，并在其之上加载操作系统，资源利用率低，早期有厂商尝试将大数据平台构建在基于虚拟机技术的云化方案上，由于资源利用和稳定性问题，在私有云上的尝试鲜有成功案例。在公有云方面，借助公有云较为强大的基础平台硬件与运维支持能力，有一些非核心业务的应用尝试。

随着Docker、Kubernetes等容器技术的发展，与微服务等技术概念的形成，大数据与人工智能基础平台开始基于容器云构建底层资源管理与调度平台。容器云就像一个分布式的操作系统，将集群中的各类硬件资源进行封装、管理以及调度，将封装的资源作为容器承载大数据的相关组件进程，再将这些容器进行编排，组成一个个的大数据和人工智能的基础服务，如分布式文件系统HDFS、NoSQL数据库Hbase、分布式分析型数据库Inceptor、分布式流处理平台Slipstream、分布式机器学习组件Sophon等。由这些基础服务编排构建公共能力服务层，提供如数据仓库、数据集市、图数据库、全文搜索数据库、流处理服务、NoSQL数据库、机器学习平台服务、定制图像识别服务等，为企业打造全新的数据处理核心系统。基于这一核心系统服务于各类企业的不同部门。通过资源隔离技术，通过对每个租户的资源分配和权限管理，满足业务分析人员的个性化分析需求，专注于业务逻辑的开发和数据的分析挖掘。

技术融合的应用

中国邮政大数据平台建设以Transwarp Data Hub(以下简称TDH)与Transwarp Operating System(以下简称TOS)作为基础架构系统，搭建的新一代逻辑数据仓库和数据集市，完全取代了Teradata和Oracle。

总体架构与实现

中国邮政大数据平台服务于量收、邮务、名址等系统，同时运用容器云TOS实现创新多租户的数据分析挖掘环境。建立从业务层到管理层到决策层的智能分析体系，模拟量化风险和收益，实现对邮政各种业务数据进行分类、管理、统计和分析等功能，给各级管理人员提供各类准确的统计分析预测数据，使其能够及时掌握全面的经营状况，为宏观决策提供支持;为省分公司基层业务人员提供详尽的数据，供其对各自的工作目标、当前和历史状况进行准确的把握，对业务活动进行有效支撑，满足邮政经营分析管理及决策支持。

中国邮政大数据平台以五大基础服务集群域为基础，分别是数据湖集群域、企业数据仓库集群域、省分服务集群域、机器学习实验室集群域、开发/测试/培训集群域。

(1)数据湖集群域：基于TDH平台搭建的数据湖，主要承担多源异构的数据归集，数据湖内包括：原始数据池、清洗加工数据池、整合加工数据池等。

(2)企业数仓集群域：基于TDH搭架的数据仓库集群，基于大数据创新搭架逻辑数据仓库，用于迁移改造原有基于Teradata搭架的数据仓库，数据集市和基于Oracle搭建的报刊集市的邮政量收管理系统。

(3)省分服务集群域：基于TOS搭建容器化多租户数据分析平台云。为省、市分公司开发人员和业务人员提供省分多租户的平台环境，集团分发数据与自有数据存储计算，自有应用的开发与管理，独立租户使用运行。

(4)机器学习实验室集群域：基于TOS搭建的容器化多租户大数据机器学习平台，为集团数据中心分析师提供多租户的开发实验环境平台，进行数据探查、业务建模、算法研究、应用开发、成果推广等。

(5)开发/测试/培训集群域：为应用开发人员、系统测试人员、培训师、学员提供多租户的大数据与机器学习平台，为开发商及内部单位提供开发测试培训服务。

以此为基础，达到了数据管理、服务管理、运维管控、安全管控四个维度的统一。在风险管控、决策支持、服务支撑、流程优化、品牌创新、交叉营销六大应用领域展开应用。实现了租户管理、数据治理、数据加工、数据挖掘、数据探索、数据展现六大平台功能。

数据湖和数据仓库基于TDH构建，将包括业务系统数据、实时流数据、合作单位数据、互联网数据等不同数据源，通过ESB接入、ETL工具、Kafka、Sqoop、文本上传、人工接入等方式，统一汇聚进入数据湖。加工后获得的数据资产发布到数据资产目录，通过数据资产目录的构建TDH与TOS用户间数据交互体系。便于用户快速检索数据，通过数据资产目录实现对数据的集成、融合、安全、共享。数据资产目录包括：元数据、主数据、数据安全、数据标准、数据质量、数据轮廓、数据生命周期等。此外，企业用户通过大数据门户按需申请租户存储计算资源、数据资源、审批流程通过后，集群资源管理员按需快速部署集群，自动化将数据从数据湖加载入数据分析集群或省分集群对应的租户空间，供数据开发人员使用。数据开发人员会将数据应用成果固化到数据湖内，对外提供数据服务。

数据仓库与数据集市的完整迁移

中国邮政大数据平台是全球首个采用Hadoop(TDH)技术完全取代Teradata和Oracle的混合架构搭建新一代逻辑数据仓库和数据集市的系统。

原量收系统使用Teradata的数据仓库和Oracle的数据库，数据使用空间目前已接近30TB，现有使用用户约5万人，提供近约900张报表的灵活查询，单日报表查询频次最高能达到40万次，月初高峰查询需支持约2000计算查询并发。

通过项目前期大量调研准备工作，制定了切实可行的项目实施方案。量收管理系统的总体架构、ESB、BI工具、ETL工具、调度工具、门户等都保持不变，仅将原量收系统的数据仓库和数据集市，使用大数据平台进行完全替换，降低了整个迁移风险。

整个迁移过程中，包括环境部署、模型迁移改造、接口迁移改造、数据迁移、ETL迁移改造、报表迁移改造、数据核对、性能优化、业务应用迁移、风险控制，系统测试等。例如模型迁移改造，不改变原有业务逻辑，只需对接口层模型，基础层模型、汇总层模型进行轻度改造。对于模型改造来说，系统基础层模型结构相对复杂，关联度相对较高，原系统使用Teradata数据库。TDH全面兼容Teradata的数据类型与SQL方言，降低了迁移成本。同时迁移完成后，性能大幅提升，见图2。

▲图2 迁移前后数据集市业务场景500并发测试性能对比

基于容器云的大数据与机器学习平台的全面应用

基于TOS实现的多租户新模式，将大数据与机器学习平台组件完全容器化实现，并在TOS提供能力服务。集团统一部署企业内部云平台，对邮政各个租户(集团、省分、市局等)动态分配存储、计算、网络等资源，并实现完整的资源隔离，使得各个租户数据分析人员和业务人员获得相对独立的资源环境，赋能业务创新，同时可动态调配资源，实现资源的共享优势。

集团、省分、市局各级人员通过多租户平台，实现资源发布、申请，使用及应用开发、成果推广。通过项目立项申请审批后，省分项目组人员在租户空间内，接入访问数据资源，使用平台服务资源，大数据分析工具及机器学习挖掘工具展开数据分析挖掘工作，具体开展数据处理、模型开发、算法应用、应用发布等，在审批验收之后，将成果推广到数据湖上部署对全集团提供数据应用服务。

通过TOS+TDH搭架厚平台、薄应用的微服务架构，实现租户之间的异构性、独立测试与部署、资源按需伸缩、高性能计算能力、租户间错误问题隔离、团队全功能化。实现数据资产化管理。面对集团数据多样、海量、跨板块、跨专业的需求，集团对数据进行了全面梳理，创新集成各版块、专业数据，创建数据资产目录便于快速检索获取资产，管控治理资产，让数据即资产从理论阶段上升到实现阶段。

结语

随着企业数据处理与服务需求的不断发展，由大数据的汇聚，分布式技术释放计算能力开始，技术不断延伸发展，大数据、人工智能与云计算的边界越来越模糊，�...

在我国，数据科学与大数据技术专业的建设已成为新的热点话题。 在系统调研 世界一流大学数据科学专业建设现 状的基础上，从特色课程视角重点分析 加州大学伯克利分校、约翰·霍普金斯大学、华盛顿大学、纽约大学、斯坦福大学、卡内基梅隆大学、哥伦比亚大学、伦敦城市大学等 8所大学的数据科学专业，提出 数据科学与大数据技术这一新专业 应重视的10门特色课程，并分析了现阶段我 国 数据科学教育中 普遍存在的8种曲解现象及对策建议 。

2016 年，教育部发布的《 2015 年度普通高等学校本科专业备案和审批结果》中就首次增设“数据科学与大数据技术专业”，并获批了北京大学、对外经济贸易大学及中南大学的新增专业申请。接着， 2017 年，中国人民大学等 32 所高校出现在第二批次的获批名单中。另， 全国高校大数据教育联盟的统计数据显示， 2017 年申请该专业的院校高达 263 所，其中工学 190 所，理学 73 所 [1] 。从申请资料看，国内数据科学专业是一门主要以统计学和计算机科学与技术专业为基础建设的全新专业。数据科学专业已成为我国现阶段高等教育的热点问题之一。但是，建设什么样的专业以及如何建设该专业仍为各高校面临的难点问题。

在国外，数据科学（ Data Science ）专业是以数据分析学（ Data Analytics ）专业为基础发展而来的，可追溯至 2007 年北卡罗来纳州立大学（ North Carolina State University ）率先设立的数据分析硕士学位（ Master of Science in Analytics ） [2] 。与统计学和计算机科学与技术等基础学科不同的是，数据分析学进一步抽象了这些底层科学中的数据问题，连接了包括统计学和计算机科学在内的基础学科与数据科学之间的空白，为数据科学这一新学科的出现奠定了直接基础。从“数据分析学”向“数据科学”的实质性过渡出现在 2013 年左右，比较有代表性的是纽约大学于 2013 年新开设的数据科学硕士专业（ The Master of Science in Data Science ） [3] 。 之后，包括加州大学伯克利分校、约翰 · 霍普金斯大学、华盛顿大学在内的多个学校设立了数据科学专业。可见，国外一流大学的数据科学专业建设至少早于国内 三 年。

为此，本文在调查分析世界一流大学数据科学专业的培养方案，重点分析数据科学专业中开设的特色课程，并对探讨我国数据科学专业建设的借鉴意义。

1 数据调研及分析

作者通过 Study Portal 进行调查发现，截止 2017 年 11 月，国外数据科学专业的本科、硕士、博士学位项目分别已达到 5601 、 4179 和 301 项，主要分布在美国、英国、澳大利亚、加拿大、德国和意大利等国家。但是，从课程体系和人才培养定位看，能够体现国外数据科学专业教育的本质与特色的是硕士层次的教育，比较有典型的学校有加州大学伯克利分校、约翰·霍普金斯大学、华盛顿大学、纽约大学、斯坦福大学、卡内基梅隆大学、哥伦比亚大学、伦敦城市大学，如表 1 所示。

表 1 典型数据科学专业及其特色课程（ Typical Data Science Programs and their Core Courses ）

学校

学位名称

特色课程

加州大学伯克利分校 [4]

信息与数据科学硕士

（ Master of Information and Data Science ）

Python 与数据科学 /Python for Data Science

研究设计及数据与分析中的应用 /Research Design and Application for Data and Analysis

数据存储与检索 / Storing and Retrieving Data

应用机器学习 / Applied Machine Learning

试验与因果分析 /Experiments and Causality

大数据 —— 人与价值 / Behind the Data: Humans and Values

( 纵向扩展及真正的 ) 大数据 / Scaling Up! Really Big Data

数据可视化与沟通 / Data Visualization and Communication

（数据科学）综合训练课程 / Synthetic Capstone Course

约翰 · 霍普金斯大学 [5]

数据科学理学硕士

（ Master of Science in Data Science ）

数据科学 /Data Science

数据可视化 /Data Visualization

随机优化与控制 /Stochastic Optimization and Control

数据科学家的工具箱 / Data Scientist's Toolbox

数据采集与清洗 /Getting and Cleaning Data

探索性数据分析 /Exploratory Data Analysis

可重复研究 /Reproducible Research

实用机器学习 /Practical Machine Learning

数据产品开发 /Developing Data Products

数据科学综合训练课程 /Data Science Capstone

华盛顿大学 [6]

数据科学理学硕士

Master of Science in Data Science

数据可视化与探索性分析 / Data Visualization & Exploratory Analytics

应用统计与试验设计 /Applied Statistics & Experimental Design

数据管理与数据科学 /Data Management for Data Science

数据科学家常用的统计机器学习 /Statistical Machine Learning for Data Scientists

面向数据科学的软件设计 /Software Design for Data Science

可扩展的数据系统与算法 /Scalable Data Systems & Algorithms

以人为中心的数据科学 /Human-Centered Data Science

数据科学综合训练课程 /Data Science Capstone Project

纽约大学 [7]

数据科学理学硕士 MS in Data Science

数据科学导论 / Intro to Data Science

大数据 /Big Data

面向数据科学的统计学与概率论 /Probability and Statistics for Data Science

推理与表示 / Inference and Representation

机器学习与计算统计学 / Machine Learning and Computational Statistics

数据科学综合训练课程 / Capstone Project in Data Science

基于优化的数据分析 /Optimization-based Data Analysis

非光滑凸优化 /Convex and Nonsmooth Optimization

斯坦福大学 [8]

统计学 : 数据科学 理学硕士学位

M.S.in Statistics:Data Science

现代应用统计学 : 学习 /Modern Applied Statistics: Learning

现代应用统计学 : 数据挖掘 /Modern Applied Statistics: Data Mining

数据驱动型医学 / Data Driven Medicine

现代统计学与现代生物学 /Modern Statistics for Modern Biology

大数据商务智能 / Business Intelligence from Big Data

基于数据的计算范式 /Paradigms for Computing with Data

卡内基梅隆大学 [9]

计算数据科学硕士学位

Master of Computational Data Science

云计算 /Cloud Computing

高级云计算 /Advanced Cloud Computing

多媒体数据库及数据挖掘 /Multimedia Databases and Data Mining

移动与普适计算 /Mobile and Pervasive Computing

大数据集的机器学习 /Machine Learning with Big Data Sets

智能信息系统的设计与开发 /Design and Engineering of Intelligent Info Systems

大数据分析学 /Big Data Analytics

哥伦比亚大学（纽约） [10]

数据科学理学硕士

Master of Science in Data Science

数据科学导论 /Introduction to Data Science

面向数据科学的计算机系统 /Computer Systems for Data Science

探索性数据分析与可视化 /Exploratory Data Analysis & Visualization

数据科学中的因果推理 / Causal Inference for Data Science

大数据分析学 /Big Data Analytics

数据科学综合训练及伦理 /Data Science Capstone & Ethics

伦敦城市大学 [11]

数据科学理学硕士

MSc in Data Science

数据科学原理 /Principles of data science

大数据 /Big Data

可视分析学 /Visual analytics

数据可视化 /Data visualization

神经计算 /Neural computing

研究方法与专业问题 /Research Methods and Professional Issues

高级并发编程 /Advanced Programming: Concurrency

1.1加州大学伯克利分校

该学校的数据科学专业由信息学院（ School of Information ）开设，专业名称为信息与数据科学，授予的学位为信息和数据科学专业硕士（ Professional Master of Information and Data Science, MIDS ） [12] 。该专业主要侧重于培养学生的研究设计、数据清洗、存储与检索、挖掘与探索、数据可视化、道德与隐私、数据分析、沟通与呈现的能力，如图 1 所示。

图 1 加州大学伯克利分校 MIDS 专业所关注的学生能力

（ Key Skill Areas of MIDS at UC Berkeley ） [12]

为了达到上述人才培养目的，该专业开设基础课程、高级课程和综合训练课程等 3 类课程。其中 ，基础课程共有5门，即面向数据科学的Python语言（Python for Data Science）、面向数据与分析的研究设计（Research Design and Application for Data and Analysis）、面向数据科学的统计学（Statistics for Data Science）、数据存储与检索（Storing and Retrieving Data）以及应用机器学习（Applied Machine Learning）；高级课程有7门，包括试验与因果分析(Experiments and Causality)、数据、人与价值（Behind the Data: Humans and Values）、（纵向扩展及真正的）大数据（Scaling Up! Really Big Data）、面向离散响应，时间序列和面板数据的统计方法（Statistical Methods for Discrete Response, Time Series, and Panel Data）、可扩展的机器学习（Machine Learning at Scale）、基于深度学习的自然语言处理（Natural Language Processing with Deep Learning）以及数据可视化与沟通(Data Visualization and Communication)。除了基础课程和高级课程，该学校还开设一门综合训练课程（Synthetic Capstone），培 养学生综合运用所学专业知识及解决现实问题的能力。

从总体上看，人才培养定位在培养数据科学领域的领导者，侧重培养学生的运用新工具和新方法，从现实数据中获得洞见（ Insights ）以及如何有效地沟通与阐释自己的研究发现，进而改变他人行动和思想的能力。 该学校的数据科学专业的人才培养具有如下几个特点 ：

强调数据科学的多学科交叉特点 ，将社会科学，计算机科学，统计学，管理学和法学等多学科知识融入具体课程之中；

凸显数据科学本身的讲解 ，注重提升学生的基于数据提出好问题的能力以及面向数据科学的研究设计、数据清理、存储与检索、交流与沟通、统计分析、道德与隐私、数据可视化以及数据挖掘与探索等关键技能；

引入基于项目的学习方法 ，借鉴本校信息学院其他专业的培养经验，通过基于项目的教学方式，鼓励学生综合运用多种不同的工具和方法来解决复杂问题；

强调动手实践能力的培养，为学生提供亚马逊 Web 服务和 IBM 大数据平台等实践平台。

1.2 约翰 · 霍普金斯大学

该学校的怀廷工程学院（ Whiting School of Engineering ）开设名为数据科学（ Data Science ）的新专业，授予的学位为数据科学理学硕士（ Master of Science in Data Science ）。

该专业的课程体系包含先修课程（ Prerequisite Courses ）、基础课程（ Foundation Course ）、必修课程（ Required Courses ）、选修课程（ Electives ）以及独立学习（ Independent study ）课程等近 60 门课程 [13] 。 基础课程有 2 门，即算法基础（ Foundations of Algorithms ）和统计方法与数据分析（ Statistical Methods and Data Analysis ）；必修课程包括数据库系统原理、数据科学、数据可视化、优化导论（ Introduction to Optimization ）、统计模型与回归、计算统计学；选修课分为机器学习和统计学两个大方向，共有 14 门主要课程，均为较为常见课程。 值得一提的是，该专业另提供了近 30 门扩展选修课程（ Additional Selections ），供学生用于置换同一个领域的必须 / 选修课程，这些扩展课程均为统计学和计算机科学与技术专业常见课程。 独立学习（ Independent study ）课程主要包括独立动手实战（ Capstone 项目）和独立学习（ Independent Study ）。

从总体上看， 该学校的数据科学专业的人才培养具有如下几个特点 ：

从人才培养的目的看，专业旨在培养“有竞争力”的数据科学家，要求学生具备三方面的能力：综合运用计算机科学和应用数学的知识，分析与处理大规模数据集的能力；从复杂数据中快速洞察到有价值信息的能力和从信息中发现相关关系的能力；基于规范的技术和抽象的方法以及面向现实世界中的具体问题的建模能力[14]。

强调学生对数据科学的理论基础的掌握程度，突出了三个主要领域：计算机科学与技术、统计学与应用数学。其中，对应用数学的重视是该学校数据科学专业的一大特色。

从课程设计及内容选择看，该专业鼓励在每一门课程中引入来自现实世界的具体问题作为例题和主要关注点。例如，独立学习（Independent Study）课程中强调对具体行业中实际问题的处理能力。

强调培养学生的数据全生命期管理、统计 分析和故事化描述能力。

1.3华盛顿大学

整合自己的应用数学系、生物统计学系、 Paul G. Allen 计算机科学与工程学院、以人为本的设计与工程系、统计系、信息学院 6 大院系以及电子科学研究所的资源，开设出了一种面向在职人员的夜大类数据科学专业项目，所授予的学位为数据科学理学硕士（ Master of Science in Data Science ）。该专业的课程设计较为简洁，包括 8 门核心课程以及 1 个 Capstone 项目。其中， 8 个核心课程分别是统计与概率论（ Introduction to Statistics & Probability ）、信息可视化（ Information Visualization ）、应用统计与试验设计（ Applied Statistics & Experimental Design ）、面向数据科学的数据管理（ Data Management for Data Science ）、数据科学家常用的统计机器学习（ Statistical Machine Learning for Data Scientists ）、面向数据科学的软件设计（ Software Design for Data Science ）、可扩展的数据系统与算法（ Scalable Data Systems & Algorithms ）和以人为中心的数据科学（ Human-Centered Data Science ）。 Capstone 项目要求学生自...

普遍的定义认为，统计学是关于数据的科学，研究如何收集数据，并科学地推断总体特征。大数据和统计学还是存在一定区别的，其一是数据分析时不再进行抽样，而是采用population（n=all）；其二是分析方法，侧重所有变量之间的相关性，而不再根据背景学科理论筛选变量，进行假设检验。

现在社会上有一种流行的说法，认为在大数据时代，“样本=全体”，人们得到的不是抽样数据而是全数据，因而只需要简单地数一数就可以下结论了，复杂的统计学方法可以不再需要了。

普查和抽样调查是传统的两大数据收集方法。普查不需要统计学方法进行推断估计，因为通过普查，已经取得了所有个体数据和总体的实际分布，这也是为什么人类开始懂得计数就开始进行普查。抽样调查是利用抽样理论解决如何科学设计样本，取得样本个体数据，并科学地推断总体分布及特征。无论是普查还是抽样调查，其核心问题之一是要取得准确的“个体数据”。但在大数据时代，一切皆可量化，一切皆可记录，如何利用更全面、更及时、更经济的网络电子化数据，以及通过对这些数据使用新的分析及挖掘技术，产生新的见解和认识，是我们面临的重大机遇。

大数据的应用可以说是在减少人类处理数据时带入的主观假设的影响，而完全依靠数据间的相关性来阐述。而由于消除人为因素带入的误差，已经分析人员作出假设的限制（如果教育背景和保险购买额是相关的，而分析人员没想到，那这个结论就不会被分析出来，这在实际案例中是很容易发生的，大数据的核心也就在于它能更充分的发掘数据的全部真实含义。

在大数据时代，数据分析的很多根本性问题和小数据时代并没有本质区别。当然，大数据的特点，确实对数据分析提出了全新挑战。例如，许多传统统计方法应用到大数据上，巨大计算量和存储量往往使其难以承受；对结构复杂、来源多样的数据，如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言，这些挑战也同时意味着巨大的机遇，有可能会产生新的思想、方法和技术。

西线学院培训机构提供良好的教学环境，良好的师资以及行业资源，使得西线学院教学永远都是跟随行业进步的步伐。说了这么多，其实就是想让你更加了解大数据。如此优秀的资源和别人望眼欲穿的实习机会，再不行动就要被后来居上的技术人员拍死在沙滩上了。

浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

线下实体店是如何统计出客流量的？我们知道，网上商城可以轻松统计出网站浏览量、访客数、跳出率、访问时间和转化率等等数据。但是，实体店如何统计客流量确实另各位老板都十分头疼，小编今天就整合了一些关于实体店客流量统计的方法。

实体店为什么一定要统计客流量？对于零售业来说，客流是货币的携带者，又是商品的潜在购买者，客流量的统计和分析是能最准确、直接和客观的反映项目所在位置的人员流动状况，因此需要务必引起足够重视。

客流量是如何统计出来的？最初，部分商场经营者为了获得客流数据，每年会专门进行一到两次的“人口普查”——雇人拿着打点计数器，站在各个入口统计一个星期内每天进出顾客的人次，藉此对经营策略进行粗线条的调整。后来的客流量统计技术历程可以分为：初期的三辊闸方式等，中期的红外线感应方式、重力感应方式等，以及目前的摄像头识别方式等。

三辊闸方式：三辊闸方式主要采用机械方式，顾客进入相关场所需要经过翻滚闸口，翻滚闸滚动一次，由此记录一个进、出人员。三辊闸方式对于数据统计比较准确，但是由于需要在出入口处安装三辊闸机器，对于商场来说缺乏美观性，而且便利性不够，无法快速进出，因此并不适合于商场等场所应用。

重力感应方式：重力感应主要是在地板上安装重力感应装置，计算当人体踩踏过去的时候，计算客流人数。但由于安装相对要求较高、成本高、而且其稳定性方面的问题，很少被商业用户所使用。

红外线感应统计方式：红外感应客流统计设备可以分为：红外对射方式、红外反射方式等设备，其主要的实现方式是对从红外感应区域经过的人体，切断或阻挡红外线使其产生电阻变化、或是通过检测人体发出的10um左右的特定红外线来判断人体数量。此方式成本比较适中，可以在人们自由进出门口时，系统自动获取客流数据，设备较小且安装美观。但由于红外光极易受到外界因素干扰和其本身技术原因，使其统计数据产生较大误差；对于比较宽的门口，多人同时经过的时候也容易产生漏数现象；无法很好的判断顾客是进入或是出去，只能统计到是有人经过，因此数据采集的单一性影响客流分析的结果。

摄像头识别方式：是一种基于视频处理、图像处理、模式识别以及人工智能等多个领域的技术，综合行人的运动、颜色以及轮廓等特征，通过大量样本训练得到了人头检测器，通过对视频中人头的检测和跟踪判断通过区域的人数和方向，这种专门针对于人体特征设计的“数人头”是目前主流的客流量统计技术。

客流量统计的商业需求和盈利模式已得到验证，以及未来应用场景的广泛性，预计客流统计行业未来的发展趋势：

1、向简易性和通用性发展，减少安装和布线的施工：未来依托图像识别技术做到数据采集、处理、识别、积累、分析和应用才是核心，前端的摄像头这些反而重要性在降低，也就是要求后端技术上能兼容各种摄像头，客户不用重复安装部署摄像头；并且可以减少售后服务网络的投入支出。

2、向云端化发展：依托云端化，还可以实现跨系统的整合（系统整合的背后是数据整合）；还可以实现SAAS等增值服务销售，大量减少新功能的营销推广渠道成本；还可以保证各终端的一致性体验，直接云端迭代更新，移动APP还给公司增加了一个直通客户的触点。

3、向人脸识别等技术领域延展：依托人脸识别，用户唯一性（能识别到是谁）定位自动化程度高，可提供的应用场景更加丰富，也是无缝拉通零售CRM等系统的一条简便道路，是实现客流、销售、服务一体化的重要一步。

4、向3D识别等技术领域延展：目前3D识别主要依托双目摄像头实现，3D识别非常重要，这是判断位置、距离等指标的重要设备，通过这些3D识别技术，可以实现群体关系类型的判断，身材的判断，用户对产品兴趣度的判断，用户购物心理的判断等等。

5、跨系统整合趋势：目前客流统计功能和应用在零售行业只是一个子环节，相对单薄，如果能整合零售中的销售系统数据和CRM系统数据，将能实现1+1远大于2的价值，这背后就是一体化零售技术解决方案的重要性。

6、结合零售咨询服务：技术终归有天会被拉齐，更何况客流统计技术壁垒如此之低。技术提供了数据监控可能性后，商业问题就开始浮现：该怎么分析、怎么应用，怎么结合销售数据得出结论，采用什么的店铺定位、销售模式才合适？等等这些问题都是咨询服务范畴的，这些问题背后的知识也是指导客流统计系统中的数据分析报表、数据挖掘模型设计的关键。

目前，依托于视频分析的客流量统计技术，解决的问题有以下几点：

1、通过对不同时段客流量的统计，使管理人员可以在客流高峰期增加工作人员，提高服务质量，进而增加销售；在空闲时减少工作人员，避免出现人员浪费。

2、通过每天不断的客流统计，可以得出一天、一周、一月、一年的客流变化规律，使管理人员能对未来活动进行准确规划，确定时间、人力和库存订货量等。

3、通过客流量的对比，有效评估所举行的推广活动，对营销和促销投资回报进行有效评估。

4、通过对不同楼层和不同区域的客流量统计，可以使管理人员统计各个区域的吸引率和繁忙度，从而对铺位进行合理分布，提高销售量。

5、通过客流量、销量和成交量的统计，可以计算客流人群的平均购买量和提袋率，为评估商场服务质量及工作人员水平提供依据。

6、通过对历史销量和客流量的对比，可以有效的分析商品种类及各项管理策略对流量及销量的影响，进而更好的进行管理决策，提高销量。

7、通过对客流量的统计，可以客观决定柜台、商铺租金价位水平。

8、通过每天的客流变化规律的统计，可以很好的安排商场工作时间，从而提高销量。

9、显示当前客流状态和变化趋势，对流量较大的区域采取预防突发事件的措施，并可实时观察商场当前的停留人数，从而对电力、维护人员及安防人员等进行合理调整，控制商场运作成本。

广州雅量软件开发有限公司（ya1688），是一家从事于视频客流量统计系统的公司，凭借集团企业深耕零十年，以“为开店人民服务”为使命，在以人面识别技术为核心的线下实体门店消费者行为数据采集分析、客流统计分析、O+O线上线下营销体系的搭建、智能POS等实体门店转型升级的技术开发和服务，2015年1月29日率先在国内推出了基于手机APP的门店管理软件“雅量门店宝”，将实体门店的日常管理可视化、数据化的呈现于手机上，如今“雅量门店宝”已经迭代到4.0版本，走进了千城万店，让“门店管理尽在掌上”，深获众多零售业者的喜爱。