大数据是比较火的一个热词，但说到什么是数据，很多人首先想到的是数字，如1,2,3等。其实这是数据的狭义定义。数据所涉及的范围很广，并且随着技术的发展，数据的定义范围也越来越宽泛，比如在互联网时代文字，图片和视频都是数据，医院里面的医学影像图片也都是数据，甚至包括公司和工厂的设计图案、解决方案等等。

数据是一种客体存在，并随着文明的发展而不断扩大和变化。以前并不是数据的，但现在看来都已经变成了数据内的范畴，比如在互联网出现之前，文字并不被认为是数据，但是互联网出来以后，通过将文字进行电子化储存，因此成了可以计算的文本，这就涉及到自然语言处理技术。甚至包括我们聊天记录、网页内容、打电话记录、用户生存内容（UGC）、论坛评论，购物数据，社会关系，行程记录等等都是数据内容。数据也经历了从结构化到非结构化的转变，而且非结构化数据中蕴含这更大的价值。

但今天人们谈论数据的时候，经常将其与信息混为一谈。甚至将数据处理等同与信息处理。其实这两者是有共同之处，但是还是有细微差别。

信息是对世界人和事等描述，它比数据更加抽象。信息是隐藏在数据背后的规律，需要人类的挖掘和探索才能够发现。比如地球的面积和质量，物理学中的参数，圆周率等。

数据是信息的载体，从数据到信息不仅是一门技术，也是一门艺术。以胡夫大金字塔为例，该金字塔的周长和高度的比值为大约6.29，金字塔的长为20埃及古尺长，宽为10埃及古尺长，但高度为11.18埃埃及古尺长。为什么不是一个整数？

通过考古专家的分析，这是为了保证对角线都是整数，分别是15和25（见上图）。通过对这些数据处理，我们可以得到在古埃及就懂得了勾股定理。

数据和信息处理以后就会得到知识。而知识是数据和信息的更加高级和抽象的概念。知识具有系统性、规律性和可预测性。

比如我们通过观察可以记录星球的位置和出现的时间等原始数据，再对得到的数据进行分析和挖掘，就能够计算出星球运动的规律，这就是信息，然后对信息进行总结和提炼，就可以得到开普勒三定律，这就是知识。而得到的知识，能够使我们更加清晰的了解世界和生活，还能够通过知识不断改变我们周围的世界。而所有的一切的基础就是数据。

从数据到信息再到知识，清晰界定各概念的范围，有利于我们学习大数据。从数据到信息，涉及到不同的处理方法，这就涉及到机器学习处理技术。不同的技术处理，可能会得到不同的信息。而从信息到知识，更加体现一个人的概括总结能力，它直接导致了后期的数据的应用场景和使用价值。最后才能到达最高层级就是具有智慧。

如果同样的星球移动轨迹数据，你能发现开普勒定理吗？而这也是我们学习大数据的最终目的。

我分为两部分回答这个问题——干什么、怎么干。

1，干什么（大数据风控的目的是什么）

可能大家都知道，当我们想去银行办一笔贷款的时候，从客户的角度，大概流程是这样的，

当我们换个角度，从银行的角度来看，流程又是这样的

从上面两张图看起来，这里有这个重要的环节就是，在贷款申请人提交了申请资料之后，银行需要来审核这个人的申请资料。毕竟是银行要先给你钱，银行总要知道你以后是很有可能会还这笔钱，而不是说拿了钱就跑。

拿一笔房贷来说，如果你贷款300万元，年化利率是5%，一共贷30年，那么在这30年中，银行大概是一共可以收你200万多的利息(是不是很多？)。这个钱其实也就是银行赚的钱(如果你知道资金成本这回事，你应该已经不是这个问题的读者了)。

那从合理的角度来说，我一笔可以赚到这么多钱，那么我派好几个人来审核你的贷款，从成本（主要是这几个人的工资）上来说也是划算的。

我们再来看看这些小额贷款。如果你贷款2000块，只借一个月，就算在这一个月，我收你10%的利息(年化利率比100%还高，是不是看起来很高？)。那么从金融机构的角度来讲，他只能赚200块。从这个角度来说，如果我再派一个人花好几天的时间来审核你的贷款申请，先不讨论客户体验的问题，仅从银行收入的角度来说（赚的钱还不够发工资的呢，更别说别的成本了），就不是一个合算的买卖。

我们该怎么办呢？

真相只有一个——用机器(主要是电脑)去提高劳动生产率，把成本降低到能让企业赚钱的程度。

但用电脑代替人有一个很重要的前提是

用数字去描述人的各种行为，并且要把这些描述逻辑写成电脑程序，以便电脑可以执行。

所以，简单说来，用电脑代替人来进行贷款审核，会需要如下的四类职位共同的协作来完成（毕竟他们需要的专业知识还是有相当差距的），当然实际情况会比这个复杂的多。

业务人员

这类职位主要确定我们的金融产品的相关细节，他会懂得客户的需求和金融相关的知识，一般来说，他是所有需求的发起者。

数据分析师

这类职位的主要作用就是把业务需求转化为数学逻辑。

IT研发

这类职位就是把数据分析师所得到的数学逻辑写成计算机程序和代码。

IT运维

这类职位的主要作用就是保证电脑的正常运行，不要死机。

当然，根据实际情况职位之间也会有相互交叉，同时也会有更多细分的职位。

我们说的大数据风控其实就是这里提到的数据分析师和业务人员的结合体。而大数据风控的目的也就是把人对风险的判断转换成电脑可以识别的数学逻辑。

大数据是当前较为火爆的一个词汇，究竟什么是大数据、大数据的概念是怎样的？大数据有哪些特质，大数据有哪些技术方面的要求，大数据对当前社会产生了哪些重要的影响？

国内知名大数据专家、中科院计算所博士、职品汇创始人龚才春博士对此做了详尽的分析，他指出：“从常规定义来讲，大数据就是大小超出常规数据库工具获取、存储、管理和分析能力的数据库，并且也强调，不是说一定要超过特定TB的数据集才是大数据。这个定义并没有诠释什么是常规的数据库工具，也没有诠释大数据与数据量的关系，是一个比较原始的大数据定义。”

而国际数据公司（International Data Corporation，简称IDC）则从四个特征定义大数据：数据规模庞大（Volume）、数据更新频繁（Velocity）、数据类型多样（Variety）和数据价值巨大（Value）。

龚博士认为，在上述四大定义的基础上，一般偏向于再加上数据处理复杂（Complexity），构成相对完整的大数据的定义，这就是大家耳熟能详的4V+1C。

1.数据规模庞大（Volume）

当数据规模很小时，属于传统的“小数据”时代的问题，已有非常成熟的数据存储、计算、分析、呈现方案，数据模型也有非常多的研究。大数据必须是规模异常庞大的数据，只有当规模庞大时候，才有新的研究价值。

前面已经提到，大数据的大，不是说一定要超过特定TB的数据集才是大数据。由于计算能力、存储能力、分析能力的有限，现在看起来很简单的问题，在历史上可能都是大数据的问题。辽沈战役中，司令员林彪对战报要求很细，包括每支部队歼敌多少、俘虏多少；缴获的火炮、车辆多少；枪支、物资多少……一天深夜，值班参谋正读着一份某师上报的战斗缴获报告，那是该师的下属部队偶然碰上的一个不大的遭遇战，他们歼灭了一部分敌人，缴获了一些战利品，敌人余部逃走。林彪听了汇报后，立即口授命令，全力追击从胡家窝棚逃走的那股敌人，一定要把它彻底打掉。果然活捉了国民党新编第六军军长廖耀湘。这些数据在今天看来，规模非常非常小。但在当时这已经是“大数据”了，林彪懂得分析数据，从缴获中手枪和冲锋枪的比例准确判断出敌方的指挥部在胡家窝棚，这也算是大数据分析的魅力。

2.数据更新频繁（Velocity）

我们知道摩尔定律揭示了处理器分析能力与时间的关系，也就是说，每隔18个月左右处理器的分析能力翻一番。对于一个静止的数据集，哪怕今天我们的处理器无法处理，存储器不好存储。随着技术的进步，未来可能变成非常容易处理，就像我们现在看着当年林彪分析战报一样，这些战报数据的处理今天已经变得非常非常容易了，在今天已经不算“大数据”了。

大数据技术，要求我们更多地想出“巧妙”的分析办法，提成更“优秀”的处理模型，而不能只依赖存储能力、处理水平、网络带宽等硬件设备的性能改进。所以大数据技术，对分析对象要求是频繁更新的数据集

3.数据类型多样（Variety

传统的关系型数据库，无论从理论上，还是在应用上都非常成熟了。关系型数据库一般保存格式固定、类型单一的数据，几十年的数据库理论、数据挖掘、数据仓库的研究，已经有相当多的研究成果。

大数据要求我们的分析对象是异构、异质的数据集，可能包括文本、音频、视频等多种形式，也可能是结构化、半结构化的或无结构的。

4.数据价值巨大（Value）

如果数据没有价值，我们就没有分析的必要。因此，大数据要求我们处理的数据集是有巨大商业价值或社会价值的。阿里巴巴愿意花巨大代价提高推荐系统的准确性，就是在于其推荐系统的准确率的提高，能大大提高平台的交易量，从而具有非常巨大的商业价值。我们在全国部署“天眼”系统，提高大数据技术在天眼系统的分量，就是因为天眼系统分析能力的一小步提升，都能在降低犯罪率、打击犯罪、保障人民群众安全、信用取证等方面都有巨大的社会价值。

在Value这个层面，我们除了要求价值巨大外，我们一般会增加一点要求，那就是价值密度极低。我们常说，大数据是一个“金矿”，金矿就包含两个方面的含义：一方面，黄金很值钱，金矿很有价值；另一方面，金矿不是金库，几万顿的矿砂，也许只有几十公斤黄金，也就是说金库的价值密度是非常低的。大数据的价值方面的含义，也要求价值密度非常低。如果数据集中每一条数据都是非常有价值的，那也就无所谓“挖掘”了，没有挖掘，大数据的意义也荡然无存了。

5.数据处理复杂（Complexity）

IDC公司的大数据只有4V的特征，我们一般偏向于增加另一个维度的要求：数据处理复杂。例如，统计中国人口的平均年龄，这个数据量是非常庞大的，有接近14亿条记录；这个数据也是动态更新的，每年都有几千万人出生，几千万死亡；这个数据集也可以是多样的，湖南的数据可以放在mysql中，湖北的数据可以在oracle中，北京的数据可能在Txt文件中，上海的数据可能在Word文档中；这个数据集和这个分析都是有价值的，但是平均到每一条数据，价值又非常有限。也就是说，这个问题是符合4V特征的，但是这个问题怎么看都“太简单”了，年龄加起来求平均即可，不能成为真正意义上的“大数据问题”。

北京诚智汇达信息科技有限公司成立于2014年10月，是国内领先的职场大数据征信服务提供商。我们通过整合权威部门数据、合作伙伴数据、互联网采集数据、用户注册

数据等，挖掘候选人在基本信息、教育背景、工作经历、工作能力、薪酬福利、职业道德、犯罪记录、失信记录等方面的信用状况，生成从业者的信用报告，为猎头、

HR、投资机构、金融机构、业主提供决策支持，提升人力资源管理效率，净化我国职场环境，提高社会道德水平，降低投融资的信用成本，促进我国经济发展。

我们的使命是“让天下没有欺骗”。通过完善职场各方的数据，建立我国9.8亿从业者的职场信用体系，彻底解决职场诚信问题。

职品汇是我们的品牌，目前我们已经开发了大数据背景调查、职场黑名单、人才地图、虚假简历识别、职品人才库、猎头管理SaaS系统等，并且逐步向社会开放我们的

研发能力，提供简历解析、精准匹配、寻访记录挖掘、LIST识别等工具。

作为我国成立最早、团队最完善的职场大数据征信公司，我们采集并整理了中国最庞大的人力资源数据库，服务万科、卫计委等500余家企事业单位，是平安集团、用

友、北森等知名企业的战略合作伙伴。

大河报·大河客户端记者 李震 实习生 刘赟

1月10日晚，由北京大学社会调查研究中心、智联招聘共同发起的“2017中国年度最佳雇主”郑州地区榜单揭晓。

哪些人才最吃香?哪个行业人才薪酬最高?活动主办方现场发布了相关数据。

AI人才需求9个月增长179%

校对、速录职业或将消失

2017年以互联网云计算、大数据、物联网、人工智能为代表的数字技术已被公认为第四次产业革命的重要驱动因素。新的行业被催生，旧的行业被取代。未来哪些人才将最急缺?哪些职业将被淘汰?智联招聘集团执行副总裁姬鹏展现场进行阐述分析。

他认为，智能技术重构了新的劳动力市场。今年，“新雇主经济”在人工智能的科技背景下继续演进， 新技术将使许多旧的岗位被机器取代，大量新岗位出现，重复性工种的员工亟待知识迭代和技能升级。

人工智能时代最贵的不是智能，而是“人工”。过去两年，全国新增的人工智能企业，是前10年企业数的综合。从2017年初到第三季度，AI人才需求增加179%。姬鹏展表示，智联自己去年也招揽了大量的AI人才建设自身的数据分析网络。

而与之相对的是，程式化、重复性劳动的人才需求正急速衰落。例如校对、录入职位以超过50%的幅度急速下滑。姬鹏展说：“未来这样的行业消失，请不要感到奇怪。”

郑州高薪行业TOP3：金融、房地产、IT

现场发布的数据显示，在全国23个主要城市有1年以上工作经验且大专学历以上的人才薪酬排名中，郑州以6550元排名第16位，排在前三名的分别是北京、上海、深圳。

记者现场获悉，就全国来说，每发布一个职位，平均会吸引30个求职者，然而郑州的数据仅为17人。

这样的差距明显会加大郑州企业获取匹配职位需求人才的困难。2017年底发布的智汇郑州人才引进计划，或许会改善这一现象。

报告发布了郑州各行业平均薪酬，不出意外，金融行业以8152元的月薪占据榜首，房地产和IT行业分居二三位，分别为7220元和6639元，其他依次为：医疗行业6563元，能源行业6435元，汽车行业6338元，消费品行业6196元，电信行业6049元，制造行业5684元，交通物流行业5522元。

在人才需求方面，互联网电子商务行业占需求总量的15%，随后为房地产、建材、工程类行业，约占8.8%，第三为基金、证券、投资行业，人才需求占7%。

而与之相对应，郑州地区的人才供给方面，13.2%集中在房地产、建筑、建材、工程行业;6.5%的人才分布在教育、培训、院校;5.3%的人才分布在互联网、电子商务行业。

有1~3年工作经验者最吃香

从工作经验上讲，郑州的企业最需要哪些阶段的人才?

报告数据显示，在郑州有1~3年工作经验的人才最吃香，企业需求量达到61.4%，3~5年工作经验者占18.8%，1年及以下工作经验者需求量占12.8%。

而在人才供给上，有1~3年工作经验的人才仅占32.3%;4~6年工作经验的人才占24.9%;有7~10年工作经验的人才占23.2%、有10~15年工作经验的人才占14.4%;15年以上工作经验的人才仅占5.2%。

此外，人才的流动对于郑州来说也代表着双重影响，郑州作为河南省会对于省内人才自然有较高吸引力，此外，北京，上海，深圳成为了人才引进的第一梯队，同时这三个城市也是郑州本土人才的热点流动方向。

建业、好想你等10家河南企业被评为最佳雇主

当天晚上，活动现场揭晓了2017中国年度最佳雇主郑州地区10强雇主以及最具发展潜力雇主两个奖项。

据主办方介绍，两个榜单涵盖了整个河南区域的企业，而不仅是郑州市。

根据榜单，格瑞克能源国际、好想你、建业集团、天伦集团、卫华集团、鲜易控股、新开普、兴达投资、许继集团、郑州/漯河太古可口可乐等企业成为郑州地区最佳雇主十强。

大山教育、辅仁药业、海马汽车、楷林置业、威佳汽车、尚正行、康桥地产、联大教育、阳光教育、中业科技等企业成为郑州地区最具发展潜力雇主。

来源：大河客户端

自从2015开始，大数据逐渐火起来了，到2017年，大数据的发展已经深入到各行各业中，而且像百度、阿里巴巴、腾讯以及很多大型互联网企业，都在大力招聘大数据人才，而现在大数据行业的现状是怎么样呢？

下面我们来看一些数据

以下是国外的大数据相关行业的发展形势：

20世纪90年代起，欧美国家大量培养数据分析师，到现在，数据分析师的需求仍长盛不衰，而且还有扩展之势。据美国劳工部预测，到2018年，数据分析师的需求量将增长20%。就算你不是数据分析师，但数据分析技能也是未来必不可少技能之一。大数据分析师和大数据工程师是分不开的，没有大数据研发工程师对数据进行采集，挖掘的步骤，分析师是无数据可分析的，所以这两个职业将是未来最具发展潜力的职业。

以下是国内大数据发展的情况：

1.据数联寻英发布《大数据人才报告》，目前全国大数据人才仅46万,未来3-5年内大数据人才缺口将高达150万。2.据LinkedIn的《2016年中国互联网最热职位人才报告》表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。3.据中国商业联合会数据分析专业委员会统计，未来中国数据分析人才缺口将达1400万，在BAT企业招聘的职位里，60%以上都在招大数据人才。

从上面这些引用的官方的权威数据来看，大数据在未来的前景一片大好。

目前很多人都听说过大数据，人工智能这些概念，但是大数据到底是什么？什么样的人适合从事大数据行业？新手该如何进入大数据行业发展？

这应该是很多对大数据感兴趣的人想要了解的问题，但是目前大数据真正从业者少，资深的专家更少，所以网络上也很难找到比较专业的回答。

但是，这次不一样，考虑到很多人都想对大数据有一个深入全面的了解，我们特别邀请了一位大数据行业的专家，为大家进行一次大数据行业的全面解析，深入浅出。

分享嘉宾介绍：

杨老师，前全球十大咨询公司ESG亚太区分析师，对云计算、大数据有深入研究，曾为IBM、DELL、HP、EMC等厂商提供产品测评报告，并为国内企业华为、联想、浪潮、曙光等企业的业务现状和发展方向提供战略咨询服务。在国外多年的大数据相关从业经验，让他对国内大数据发展现状以及前景比大多数人有着更深的前景。

本次分享在腾讯课堂，可以进入搜索：1小时带你敲开大数据之门了解更多大数据相关信息。

关注我们，学习更多IT干货。

工信部发布2018年互联网百强企业大数据，从第一名到第十名分别是：阿里巴巴集团、深圳市腾讯计算机系统有限公司、百度公司、京东集团、网易集团、新浪公司、搜狐公司、美团点评集团、三六零科技有限公司、小米集团。

其中阿里巴巴集团位列榜首，成为中国2018年互联网百强企业的老大，不得不说，阿里巴巴的旗下品牌服务，支付宝、优酷、淘宝网、蚂蚁金融现在已经是许多人根本就离不开的东西了。在生活中的消费要用支付宝支付，买衣服、包包、鞋子要到淘宝去买，日常追剧还要还有用到优酷，没钱了还要用蚂蚁花呗、借呗，这些简直是一套式服务啊，包含了生活的种种。而且支付宝不光在中国盛行，外国也开始慢慢的掀起了支付宝的热潮，一方面是因为“无现金”支付，一部手机就可以解决真的特别方便，另外一方面是去外国旅游的中国游客实在太多了，所以为了吸引中国消费者们，他们也是专门进行支付宝的开通使用培训课程。2018年1月25日，支付宝宣布进入以色列，正式将移动支付服务带到中东地区，为中国游客提供便利，同年1月26日，支付宝与瑞士合作伙伴SIX Payment Services联合宣布：瑞士小镇达沃斯全面接入支付宝，世界杯期间支付宝也被引入。可以毫不夸张的说，阿里巴巴集团正改变着全球，支付宝将影响全球，让它们都接受支付宝，全球都将实现“无现金”支付。

小米这次也是有惊无险的挤进了互联网百强企业的前十，刚好拿到第十的位置，小米的产品服务主要是小米手机和小米商城。小米作为一个互联网集团，其中它的手机依靠着强大的互联网发展得有声有色的，依托互联网销售战略将小米手机一批又一批的送到用户手中，不光在国内，国外的出货量也是非常之大，比如印度的网友们就特别喜欢小米手机，而且小米还积极运用互联网，建立相关米粉论坛，适当开展线上线下活动，从而增加粉丝黏性，可谓是互联网企业运营的佼佼者。其实用小米手机的都知道小米还有小米金融、小秘密钱包、小米视频、小米生活等一大堆APP服务，因为小米的目标不仅仅是第十名。

要说中国发展得最快的也就是两个东西了，一个是经济，另外一个也就是互联网了，据中国互联网络信息中心（CNNIC）发布的第41次《中国互联网络发展状况统计报告》显示截止2017年年底我国的网民数量就已经高达了7.72亿，这个数量甚至超过了很多国家的总人口数量。互联网在以后仍然是中国发展多的大趋势，因为现在的大家都离不开“网”了，比蜘蛛更热爱“上网”。

本文章由作者“狐说IT”原创，文章部分内容仅仅代表个人观点。未经许可，禁止转载到其他平台网站，否则将追究其法律责任！

现在大数据是一个非常火的行业，火到各行各业都在炒作大数据的概念，小到各种新闻APP大到Google的AlphaGo。很多传统的软件公司也设立大数据部门进行各自业务方面的大数据可行性研究。但对于很多人来说可能会有这样的问题，什么是大数据？为什么需要大数据？如何入门？

一、什么是大数据？

百度百科的定义：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

这个概念比较抽象，想必大家都知道抽样吧?抽样应该是统计学中非常非常著名的理论，在数量很大的样品中，随机抽取一定数量的样本，通过分析样本的特性，从而评估样品的整体特性。而大数据与经典的统计学理论相反，不再分析样本数据而是分析所有样品数据，因为样品的数量非常庞大，所以需要采用特定的软件、算法、技术，从而达到分析所有样品的目的，这就是大数据。

二、为什么需要大数据？

举个简单的例子，你浏览今日头条的新闻，APP会根据你的习惯把你感兴趣的新闻推送给你，这在以前是无法想象的。随着数据量的不断增长，原来的技术手段已经满足不了人们的需求。所以大数据概念应运而生。

三、如何入门？

大数据的研究方向纷繁复杂，通过下面的图片了解一下：

大数据方向

基本上目前前沿的技术都和大数据有关系。

对于想了解入门的同学，推荐基本书供大家阅读：

1、科普类读物

《大数据时代》、《爆发：大数据时代预见未来的新思维》

2、算法类读物

《数据挖掘导论》、《机器学习实战》

3、开发类读物

《Hadoop权威指南》、《Hadoop高级编程》

Hello小伙伴们，今天开始，尚硅谷的大数据老师与大家分享大数据的相关系列知识。

相关资料可访问尚硅谷下载：http://atguigu/opensource.shtml

从Hadoop框架讨论大数据生态

1. Hadoop是什么

1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构

2）主要解决，海量数据的存储和海量数据的分析问题。

3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈

2. Hadoop发展历史

1）Lucene--Doug Cutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎

2）2001年年底成为apache基金会的一个子项目

3）对于大数量的场景，Lucene面对与Google同样的困难

4）学习和模仿Google解决这些问题的办法 ：微型版Nutch

5）可以说Google是hadoop的思想之源(Google在大数据方面的三篇论文)

GFS --->HDFS

Map-Reduce --->MR

BigTable --->Hbase

6）2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制，使Nutch性能飙升

7）2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。2006 年 3 月份，Map-Reduce和Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中

8）名字来源于Doug Cutting儿子的玩具大象

9）Hadoop就此诞生并迅速发展，标志这云计算时代来临

3. Hadoop三大发行版本

Hadoop 三大发行版本

Apache（入门学习最好）

在企业实际使用当中，并不多

最原始（最基础）的版本

Cloudera（企业开发用的最多的）

Flume,hue,impala

Hortonworks(文档较好)

HDP

Hortonworks Data Platform

1）Cloudera Hadoop

（1）2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。

（2）2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support

（3）CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。

（4）Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。

（5）Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。

2）Hortonworks Hadoop

（1）2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

（2）公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。

（3）雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。

（4）Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。

（5）HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook开源的Hive中。Hortonworks的Stinger开创性的极大的优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。

（6）Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Window Server和Windows Azure在内的microsoft Windows平台上本地运行。定价以集群为基础，每10个节点每年为12500美元。

3）版本选择

目前最有名的发行套件是原生的Apache发行套件和Cloudera公司的CDH。

Apache——Apache HBase项目是所有HBase开发的父项目。所有代码都集中到那里，各个公司的开发者给他贡献代码。和其他开源项目一样，版本发行周期取决于参与者（也就是雇佣开发人员从事项目开发的公司）和他们想把什么特性放进一个特定的版本。一般来说，HBase社区和它们的版本是保持一致的。

Cloudera公司的CDH——Cloudera是一家在生态系统中有自己发行版本的公司，包括Hadoop和其他模块（包含HBase）。这个套件被称为CDH（Cloudera‘s distribution including Apache Hadoop）。CDH建立在Apache的代码基础上，采用了特殊发行版本，并在里面添加了没有包含在任何Apache官方发行版本中的许多补丁。Cloudera也根据客户端需求添加额外的特性。在Apache代码基础里的补丁不一定出现在CDH。

4.Hadoop的优势

1）高可靠性 ---因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理

2）高扩展性 --- 在集群间分配任务数据，可方便的扩展数以千计的节点

3）高效性 ---在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度

4）高容错性 --- 自动保存多份副本数据，并且能够自动将失败的任务重新分配

5. Hadoop的发展趋势及前景

由于Hadoop优势突出，基于Hadoop的应用已经遍地开花，尤其是在互联网领域。

（1）Yahoo：通过集群运行Hadoop，以支持广告系统和Web搜索

（2）FaceBook：(Hive贡献者)借助Hadoop来支持其数据分析和机器学习

（3）淘宝：国内使用Hadoop最深入的公司，整个淘宝和阿里都是数据驱动的

（4）华为：云计算平台

（5）优酷：日志分析、推荐等

（6）奇虎360：存储软件管家中的软件，日志分析和数据挖掘

（7）百度: 国内使用Hadoop最早的公司，存储、日志分析、推荐、机器学习等

总之，Hadoop目前已经取得了非常突出的成绩，随着互联网的发展和新业务模式的不断涌现，其应用已经从互联网走向了电子商务、旅游、房产、保险、金融、电信、银行等领域。

6. 大数据技术生态体系

上图中涉及的技术名词解释如下：

1）Sqoop：sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

2）Flume：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

3）Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：

（1）通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

（2）高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息

（3）支持通过Kafka服务器和消费机集群来分区消息。

（4）支持Hadoop并行数据加载。

4）Storm：Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。

5）Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。

6）Oozie：Oozie是一个管理Hdoop作业（job）的工作流程调度管理系统。Oozie协调作业就是通过时间（频率）和有效数据触发当前的Oozie工作流程。

7）Hbase：HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

8）Hive：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

9）Pig：Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。

10）R语言：R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。

11）Mahout:

Apache Mahout是个可扩展的机器学习和数据挖掘库，当前Mahout支持主要的4个用例：

推荐挖掘：搜集用户动作并以此给用户推荐可能喜欢的事物。

聚集：收集文件并进行相关文件分组。

分类：从现有的分类文档中学习，寻找文档中的相似特征，并为无标签的文档进行正确的归类。

频繁项集挖掘：将一组项分组，并识别哪些个别项会经常一起出现。

12）ZooKeeper：Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

13）Hue：Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数 据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。

14）Cloudera Manager：

1）管理：对集群进行管理，如添加、删除节点等操作。

2）监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。

3）诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。

4）集成：对hadoop的多组件进行整合。

7. 推荐系统框架图

随着世界变得越来越复杂和相互联系，我们面临的一些最大挑战似乎开始变得棘手。我们应该如何应对金融市场的不确定性？我们如何预测能源供需？气候变化将如何发挥作用？我们如何应对快速城市化？我们对这些问题的传统方法往往是定性的和脱节的，并导致意想不到的后果。为了使科学严谨应对我们时代的挑战，我们需要更深入地了解复杂性本身。

这是什么意思？当许多部分可以以多种不同的方式进行交互时，复杂性就会起作用，这样整体就会有自己的生命：它会随着条件的变化而适应和发展。它可能容易发生突然和看似无法预测的变化 - 市场崩盘是典型的例子。一个或多个趋势可以强化“正反馈循环”中的其他趋势，直到事情迅速失控并跨越临界点，超过这一趋势，行为发生根本变化。

使“复杂系统”如此令人烦恼的原因在于，它的集体特征不能从底层组件中轻易预测：整体大于其各部分的总和，而且往往与其各部分的总和大不相同。一个城市远不止它的建筑和人。我们的身体不仅仅是我们细胞的全部。这种质量称为紧急行为，是经济，金融市场，城市社区，公司，有机体，互联网，星系和医疗保健系统的特征。

数字革命正在推动我们现在看到的日益增加的复杂性和生活节奏，但这项技术也提供了机会。无处不在的手机和电子交易，越来越多地使用个人医疗探针，以及电子连接的“智能城市”的概念已经为我们提供了大量的数据。利用新的计算工具和技术来消化庞大，相互关联的数据库，科学，技术，商业和政府的研究人员和从业人员已经开始将大规模的模拟和模型用于以前无法进行定量分析的问题，例如如何合作在社会中出现，什么条件促进创新，以及冲突如何传播和发展。

问题是，我们没有一个统一的概念框架来解决复杂性问题。我们不知道我们需要什么样的数据，也不知道我们应该询问多少或哪些关键问题。没有“大理论”的“大数据”会失去它的效力和实用性，可能产生新的意外后果。

当工业时代将社会的注意力集中在能量的各种表现形式 - 蒸汽，化学，机械等 - 热力学的普遍规律作为回应。我们现在需要问一下，我们的年龄能否产生将能量与信息结合起来的普遍复杂定律。超越金融市场，人口，生态系统，战争和冲突，流行病和癌症的非凡多样性和历史偶然性和相互联系的基本原则是什么？原则上，复杂系统的总体预测性数学框架将在任何复杂系统的动态和组织中纳入定量的可计算框架。

我们可能永远不会对复杂系统做出详细的预测，但是导致对基本特征进行定量预测的粗粒度描述在我们的掌握之中。我们不会预测下一次金融危机何时会发生，但我们应该能够在未来几年分配一次发生的概率。该领域正处于科学学科的广泛综合之中，有助于扭转分裂和专业化的趋势，并正在摸索一个更加统一的整体框架来解决社会的重大问题。人类企业的未来很可能取决于它。

快滴、滴滴为了抢客户，狂烧几十个亿，前不久，顺丰和菜鸟撕逼又言和，

大佬们的恩怨情仇，其实都是为了——流量和数据

大数据的火烧了两三年，马云天天在网上叫喊大数据时代的来临

大数据，到底是个什么东西？

在引出数据这个概念之前，，必须先要解释一下什么叫“流量”。

一、什么是流量

所谓流量，是指单位时间内流经封闭管道或明渠有效截面的流体量，又称瞬时流量——这是百度百科对流量的定义。

大哥，拜托讲人话好吗？

浅显地讲，比如你开了家化妆品店，周一晚上，有100个顾客去你店里了，不管他们买没买，

这100个人就是流量。

好，理清了流量之后，那流量跟数据又是什么关系。

二、流量跟数据的关系

当这100个顾客走进你店里，可能有50个人买了东西

此时你可以通过办会员立减10元等方式记录下：

这50个人是男是女、买了什么东西、花了多少钱、几号来买的东西、手机号码、邮箱是多少等等信息，

而这些用户信息就是数据。

那这些看似没用的数据又有什么用呢？

三、数据到底有什么用

通过这些数据，我们就可以知道：

比如顾客小王、女、7月7号晚上消费了一管洗面奶、洗面奶的价格80元。

当我们了解这些数据之后，就可以做到精准的内容投放。

比如针对顾客小王，就可以在8月7号，估计她差不多用完一管洗面奶的时候，

向她推送一条关于店里优惠活动的短信：

“本店夏日巨惠：护手霜、洗面奶、沐浴露等洗护用品，全场满30-10，活动只限7月7日--7月10日哟。”

这样你的短信是不是对顾客小王非常具有吸引力？

如果你对50个小王都推送此类针对性内容呢？

是不是看到大把大把的钱向你走来？

说了这么多，数据的作用就是做用户分析，对不同的用户做针对性的营销活动。

此外，高流量大数据还有承接广告，资本估值，异业合作等作用。

四、重中之重，如何用高流量构筑数据库？

流量产生数据，数据转化为业绩。流量是敲开业绩大门的敲门砖。

那么，怎么样才可以把人都吸引到你店里来，产生高流量呢？

来看几个例子：

有一家化妆品企业，单月增粉47W，连带业绩200w+，它叫林清轩。

有一颗柚子，3个小时卖了10000颗，每颗40块，它叫丹霞谢柚。

有一家便利店，8个月引流到店200w+人次，它叫美宜佳。

不同地域、不同营销手段、不同行业，

但他们通通在互联网转型期顺利转型业绩升天，

并在后期持续享受高粉丝带来的红利。