自2017年底“非物质文化遗产大数据平台”（以下简称”非遗大数据平台“）上线以来，各项工作稳步推进，平台获得了多方的关注和好评。2018年5月8日，非遗大数据平台专家组在北京前门永新华韵传统文化艺术中心二层正式成立。

为了充分发挥非遗大数据平台专家组的作用，全面收集非遗相关专业领域对非遗大数据平台的意见和建议，切实推进非遗大数据平台的各项建设，2018年7月3日下午，非遗大数据平台专家组首次研讨会在北京国贸商务区汉威大厦15层召开。

出席本次会议的领导及专家包括：原文化部非物质文化遗产司司长马文辉先生；中国艺术研究院研究员、建筑艺术研究所所长刘托先生；国家非物质文化遗产保护工作专家委员会副主任委员周小璞女士；中国艺术研究院工艺美术研究所所长、中国工艺美术学会民间工艺美术专业委员会主任孙建军先生；中国艺术研究院马克思主义文艺理论研究所研究员李荣启女士；中国艺术研究院研究员、博士生导师刘文峰先生；中国妇女儿童博物馆馆长杨源女士；中国科学技术信息研究所情报理论与方法中心副主任董诚先生；中国科学技术信息研究所研究员段黎萍女士；永新华韵文化发展有限公司副总裁刘彤先生；市场营销中心总经理许辉先生，品牌中心总经理关鸿坤女士，大数据中心副总经理袁齐鸣女士、副总经理吕华杰先生。会议由吕华杰先生主持。

本次会议的目的主要包括：讨论非遗大数据平台能否支持非遗业务体系，进行论证；研究当前非遗大数据平台的各项指标能否支持未来联合国教科文组织大数据平台收录的要求；现有大数据平台技术和业务体系的优化。

原文化部非物质文化遗产司司长马文辉先生

原文化部非物质文化遗产司司长马文辉先生首先对非遗大数据平台建立的意义给予了充分的肯定，他强调，大数据平台规格很高，数字化建设上使用了最为先进的手段，以后在非遗保护方面有很大优势。平台的建立是十分必要的，能够使非遗的保护、发展充分利用起来，责任重大，关系到保护的水准，对整个国际社会都很有意义。同时指出，建设非遗大数据平台，永新华董事局主席李永军先生很重视，投入了大量精力，通过非遗保护协会，经过了多次论证，听取了很多意见，前期建设方面的工作依靠这些大量的积累，在短时间内就有了显著的改进。还提醒大数据平台的相关负责人，要把非遗大数据平台建设好，首先一定要很好的理解非遗国际公约的理念、要求，所有工作都要在这一前提标准下进行。在格局和眼光上，要站到国际化的角度，要同时照顾到国际的共性和我国的个性，以及实用性，建成后需要借助国际非遗人士进行把关。

永新华韵文化发展有限公司副总裁刘彤先生

永新华韵文化发展有限公司副总裁刘彤先生为与会专家详细介绍了非遗大数据平台现阶段运营情况，大致包括：目前各级非遗目录的数据录入情况；各项数据的录入标准和分类方式；大数据平台所录入词条的数据编码方式等等。汇报过程中，与会专家分别就数据来源渠道、数据涵盖范围、数据分类方式、平台运营方式等细节，提出了各自在专业领域的看法和建议。大部分看法都具有相当高的参考价值。

中国艺术研究院马克思主义文艺理论研究所研究员李荣启女士

例如，李荣启女士就指出，大数据平台是资源共享平台，不应只局限在非遗名录项目与传承人，应放宽眼界，立足于学术价值、应用价值，突出学术性，对一些词条释义中的术语做出学术性解释。同时，提供词条相关的溯源、掌故、著作等关联数据的检索。

中国妇女儿童博物馆馆长杨源女士

杨源女士表示，非遗大数据平台也应该注重经营手段的创新，在平台建设的同时充分对数据资源进行商业利用，如国际品牌爱马仕就曾利用过苗族服饰元素。她建议成立相关的营销公司，借用产业化的手段对非遗项目进行推广。

中国艺术研究院研究员、建筑艺术研究所所长刘托先生

中国艺术研究院研究员、博士生导师刘文峰先生

中国艺术研究院工艺美术研究所所长、中国工艺美术学会民间工艺美术专业委员会主任孙建军先生

中国科学技术信息研究所情报理论与方法中心副主任董诚先生

国家非物质文化遗产保护工作专家委员会副主任委员周小璞女士

中国科学技术信息研究所研究员段黎萍女士

与会专家还认为，非遗大数据平台的宗旨，不仅是保护和宣传，还要创新和发展，要尽可能展示那些有情怀、有能力的非遗传承人的传承历程；从本质上说，文化产生的成功与否要经历市场检验，文化产业和非遗应该相互影响、共同发展，批量性、精细化，把非遗作为资源，工作者、设计者、营销推广者共同协作。要有自己的特色，把非遗的产业化做精做细，做出别的数据库没有的功能和数据信息。

本次会议整个过程都在热烈的讨论中进行，与会专家和领导就非遗大数据平台的建立充分交换了意见，各位专家基于自身在专业领域的知识与经验，提出了许多建设性的意见和建议。会议为非遗大数据平台下一步的工作指明了方向，并且提出了许多新的思路和想法。相信通过这次会议，非遗大数据平台的各项工作将更为稳健和高效地进行。

贝壳找房首席经济学家、贝壳研究院院长杨现领。（人民网 孔海丽/摄）

人民网北京11月22日电 （孔海丽）“中国房地产有这么几个比较奇怪的现象，第一专家特别多，第二观点特别多，很多人上来就抛观点。但我们看到，数据非常少、逻辑很奇怪。” 贝壳找房首席经济学家、贝壳研究院院长杨现领表示，这种情况下，对真实市场数据进行加工处理，并以可视化形式呈现的地产大数据产品RealData，“可以让专家更有逻辑，让普通用户都能够成为数据专家。”

杨现领进一步指出，过去由于房地产交易的低频性，追踪交易行为获取数据一直是地产大数据发展的障碍。”在当下存量主导的市场，二手房交易日趋活跃，交易行为和场景趋向多元，地产大数据发展得以跨越门槛，实现海量数据的沉淀和采集，更深地渗透应用到房地产开发、租赁、二手房交易、社区服务、房地产金融等行业作业的各个环节，起到关键的决策指导价值。

“我们在做的就是透过数据离真实的市场更近。”杨现领去年在地产大数据产品RealData上线时宣布的愿景，得到了实现。上市之初，RealData便针对地产大数据产品普遍存在的数据体量小、来源分散统计口径不统一、颗粒度粗、更新不及时等问题进行逐一击破。

经过近一年的的实践与探索，贝壳研究院近日宣布，RealData 2.0 版本全新上线，不仅数据库资源、分析维度进一步丰富，场景化功能体验也更加实用。

在原有城市宏观、城市市场、项目策划及楼盘管理4大核心板块外，全新引入了数据中心模块，支持成交类、供给类、需求类相关的超过80个市场指标，地区、房源、客户相关的12大维度自定义交叉分析。企业用户可灵活筛选数据信息，下载数据备份，再加以洞察总结，有效指导决策。

“RealData的颗粒度已精细至4级地域层级，新增60多个市场指标，16大筛选维度”产品研发负责人刘卯介绍说：“可视化也是RealData的一大亮点，传统的报表繁杂晦涩，而数据通过可视化处理，以图标、热力图、趋势图等可视化呈现，能够帮助决策者更高效的掌握信息。”

值得注意的是，随着用户数据库的不断丰富，RealData将整合更多二手房、新房与租赁市场数据，应用空间将不断扩大。除此之外，随着贝壳平台业务的进一步生长完善，RealData的地产大数据也将释放更大价值。

本文源自人民网-房产频道

近年来大数据发展越来越好，身处互联网的环境中，突然发现，周围的人经常谈的话题变了，很多人都在谈论大数据、人工智能、智慧城市，大数据中心等大数据相关的内容，看来大数据是真的火起来了，但是大数据到底是什么？很多人其实并不清楚，今天就为大家分享下，到底什么是大数据？

下面我们一起来看看大数据的概念

马云爸爸说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”

大数据是眼下非常时髦的热词，同时也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。随着大数据在国内的发展，大数据相关人才却出现了供不应求的状况，大数据高级研发工程师、大数据分析师更是被媒体称为“未来最具发展潜力的职业之一”。

12月14日， 第十二届BMP行业沙龙在郑州举办，本次沙龙重点分析三大行业的特点，市场以及对推广分析做优化角度、思路、方向的分享与讨论。启发商务服务等三大行业类型企业如何决胜互联网，帮助客户扩大影响力，急速占领市场。

百度业务运营部高级经理秦娟现场分享商务服务行业的大数据解析如何把握行业痛点通过百度强大的后台数据分析，我们发现，这三大行业同行者关注点主要有以下一些关键性的变化：网络服务、拍卖行业整体上涨45%成长显著；出国、法律服务、拍卖、广告资讯无线产品渗透高平均在22%；招聘、网络服务品牌产品渗透高平均在5%左右。秦娟老师通过对法律服务、招聘-猎头、代理、网站建设、招商加盟等行业的行业现状、用户网络行为特征兴趣偏好、选择广告投放平台偏好、百度投放趋势的分析，深刻解读了三大行业的发展现状及趋势以及在这种多变的互联网时代里百度的商业生态建设，为同行业的从业者打了一剂强心剂。

随着互联网营销的变化，用户诉求从最初的时候线下转到线上营销，抓住了互联网人口红利期，随着时间的推移，从线上的营销到线上精准的营销，重点就是要抓精准流量。精准营销延伸到整合营销，到内容营销。无论是现在的AI的还是所有技术的发展，在场景化需求的基础之上，用户的行为到底呈现什么样的特质，在了解的基础之上如何推广自己的产品。

针对网络服务，内容、类别，首先是搜索服务，第二个是在线视频，第三个是新闻资讯，第四个社交交友，第五个是电子商务。网民更多关注的是客户端的广告、电商的广告、还有搜索引擎的广告。更容易引起用户关注的内容主要集中在好的创意内容，丰富的展现形式和场景化。

横轴指线上广告的比例，纵轴指百度广告，2B把整个行业粘在一起，百度平台成长性比较好，同时有一个优势的行业，同时对整个线上的广告、线上的营销又是特别倾向的行业。

成长性这一部分可以看到，2B服务目前来看针对红色的是百度的一个成长线，浅蓝色是整个线上网络，深蓝色是全媒体的，包括网络数据，整个在百度平台上面，2B这一部分的成长是高于下面两个大的平台的。

商务服务这个行业对于整个行业这一部分，网民目前的倾向性、关注点都是什么。网络服务，包括拍卖的成长是显著型的，同时包括法律服务，还有出国，还有广告咨询无线产品的渗透率比较高，招聘网络服务品牌广告的渗透率比较高。

2B服务行业的细分范围非常广，来自各行各业，看用户网络行为时可以看到同行广告的助推力。法律服务行业特趋势上涨，未来AI的出现，未来技术的出现是否能够代替法律从业者。不一定，对于高端，对于精品化、对于专业化这一部分一定是需要人的，而不是机器所做的。

法律服务行业在全媒体的投放，网络媒体的份额居高。行业广告主在百度平台投放有三个特点，无线、品牌、原生已经占据了绝对优势的位置。网络用户，无线上女性的比例高于PC的比例。年龄分布上面集中年轻化。覆盖的区域集中在广东、江苏、北京，河南是在湖北。兴趣偏好，无线集中在房产家居和奢侈品，PC端更多是健康保健、育婴、育儿部分。法律服务行业发展趋势纵向精品、高、专业、创新华，横向是国际融合。

代理行业从东部、中部、西部和东北地区有很大的潜力。从整个行业的用户行为上可以看到PC略低于无线，PC端在工作时段高于其他三个时段。网站建设的用户无线端的女性比PC端的女性要高。整体对于年龄分布上面，20-29岁的人群分布是高于网络服务整个行业，学历基本上是1：1的状态，都是在比较高的水平。主要分布在杭州、成都、苏州、长沙、武汉这些城市。 在PC端的一个用户兴趣的偏好上，主要是集中在房产家居、求职和教育部分。目前招商加盟有三个类型，生存型、变现型、主动型创业。河北省因为今年雄安新区政策的制定从去年的排名提前到了第三位，招商加盟所倾向的行业主要围绕衣食住行，美食加盟行业、教育加盟、还有服装、包括幼儿加盟，是网民特别关注的点。

基于所有的变革，百度能够提供商业生态的建设。无论是从人找信息还是信息找人，品类产品、从品牌产品以及挖掘我们更多潜在客户这一部分做一个产品组合。整体广告行业针种生态模式重组，随着技术的不断更新，对于行业链中的各个角色又是可以重新定义的。

本报讯（记者王少科 通讯员李雅萍）在第二届“数谷吕梁·智赢未来”大数据产业发展推介会期间，吕梁市成立大数据专家咨询委员会。

该委员会是由具有较高科学技术水平、丰富实践经验的国家级、省级、市级大数据领域的专家组成的咨询机构，主要承担吕梁大数据产业发展的决策咨询。

吕梁大数据专家咨询委员会特聘北京航空航天大学党委书记曹淑敏、中星微集团邓中翰院士等国家级大数据及相关领域领军人物为顾问委员。同时设主任委员1名、常务副主任委员1名、副主任委员5名，委员17名。

吕梁大数据专家咨询委员会主要任务包括，为吕梁大数据产业发展及其战略、规划、政策措施和实施方案等提供咨询、论证和建议；围绕大数据产业领域中政策体制改革、人才引进和培养、政策规划制定、技术交流活动以及开展国际合作等重大问题，提出咨询建议；对吕梁大数据产业相关的企业、研究机构和相关组织的科研、设计和产业化与应用提供咨询建议；参与大数据产业项目和方案的评审工作；承担吕梁市委、市政府委托的其他工作。按照《吕梁市大数据专家咨询委员会章程》规定，大数据专家咨询委员会成员一般任期3年，根据需要，可终止聘任，也可增聘委员。

该委员会的成立，将进一步增进大数据战略决策的科学化和民主化，使大数据产业发展在规划、政策设计等方面拥有更为强大的智力支撑，推动吕梁大数据产业快速健康发展。

大数据是当前较为火爆的一个词汇，究竟什么是大数据、大数据的概念是怎样的？大数据有哪些特质，大数据有哪些技术方面的要求，大数据对当前社会产生了哪些重要的影响？

国内知名大数据专家、中科院计算所博士、职品汇创始人龚才春博士对此做了详尽的分析，他指出：“从常规定义来讲，大数据就是大小超出常规数据库工具获取、存储、管理和分析能力的数据库，并且也强调，不是说一定要超过特定TB的数据集才是大数据。这个定义并没有诠释什么是常规的数据库工具，也没有诠释大数据与数据量的关系，是一个比较原始的大数据定义。”

而国际数据公司（International Data Corporation，简称IDC）则从四个特征定义大数据：数据规模庞大（Volume）、数据更新频繁（Velocity）、数据类型多样（Variety）和数据价值巨大（Value）。

龚博士认为，在上述四大定义的基础上，一般偏向于再加上数据处理复杂（Complexity），构成相对完整的大数据的定义，这就是大家耳熟能详的4V+1C。

1.数据规模庞大（Volume）

当数据规模很小时，属于传统的“小数据”时代的问题，已有非常成熟的数据存储、计算、分析、呈现方案，数据模型也有非常多的研究。大数据必须是规模异常庞大的数据，只有当规模庞大时候，才有新的研究价值。

前面已经提到，大数据的大，不是说一定要超过特定TB的数据集才是大数据。由于计算能力、存储能力、分析能力的有限，现在看起来很简单的问题，在历史上可能都是大数据的问题。辽沈战役中，司令员林彪对战报要求很细，包括每支部队歼敌多少、俘虏多少；缴获的火炮、车辆多少；枪支、物资多少……一天深夜，值班参谋正读着一份某师上报的战斗缴获报告，那是该师的下属部队偶然碰上的一个不大的遭遇战，他们歼灭了一部分敌人，缴获了一些战利品，敌人余部逃走。林彪听了汇报后，立即口授命令，全力追击从胡家窝棚逃走的那股敌人，一定要把它彻底打掉。果然活捉了国民党新编第六军军长廖耀湘。这些数据在今天看来，规模非常非常小。但在当时这已经是“大数据”了，林彪懂得分析数据，从缴获中手枪和冲锋枪的比例准确判断出敌方的指挥部在胡家窝棚，这也算是大数据分析的魅力。

2.数据更新频繁（Velocity）

我们知道摩尔定律揭示了处理器分析能力与时间的关系，也就是说，每隔18个月左右处理器的分析能力翻一番。对于一个静止的数据集，哪怕今天我们的处理器无法处理，存储器不好存储。随着技术的进步，未来可能变成非常容易处理，就像我们现在看着当年林彪分析战报一样，这些战报数据的处理今天已经变得非常非常容易了，在今天已经不算“大数据”了。

大数据技术，要求我们更多地想出“巧妙”的分析办法，提成更“优秀”的处理模型，而不能只依赖存储能力、处理水平、网络带宽等硬件设备的性能改进。所以大数据技术，对分析对象要求是频繁更新的数据集

3.数据类型多样（Variety

传统的关系型数据库，无论从理论上，还是在应用上都非常成熟了。关系型数据库一般保存格式固定、类型单一的数据，几十年的数据库理论、数据挖掘、数据仓库的研究，已经有相当多的研究成果。

大数据要求我们的分析对象是异构、异质的数据集，可能包括文本、音频、视频等多种形式，也可能是结构化、半结构化的或无结构的。

4.数据价值巨大（Value）

如果数据没有价值，我们就没有分析的必要。因此，大数据要求我们处理的数据集是有巨大商业价值或社会价值的。阿里巴巴愿意花巨大代价提高推荐系统的准确性，就是在于其推荐系统的准确率的提高，能大大提高平台的交易量，从而具有非常巨大的商业价值。我们在全国部署“天眼”系统，提高大数据技术在天眼系统的分量，就是因为天眼系统分析能力的一小步提升，都能在降低犯罪率、打击犯罪、保障人民群众安全、信用取证等方面都有巨大的社会价值。

在Value这个层面，我们除了要求价值巨大外，我们一般会增加一点要求，那就是价值密度极低。我们常说，大数据是一个“金矿”，金矿就包含两个方面的含义：一方面，黄金很值钱，金矿很有价值；另一方面，金矿不是金库，几万顿的矿砂，也许只有几十公斤黄金，也就是说金库的价值密度是非常低的。大数据的价值方面的含义，也要求价值密度非常低。如果数据集中每一条数据都是非常有价值的，那也就无所谓“挖掘”了，没有挖掘，大数据的意义也荡然无存了。

5.数据处理复杂（Complexity）

IDC公司的大数据只有4V的特征，我们一般偏向于增加另一个维度的要求：数据处理复杂。例如，统计中国人口的平均年龄，这个数据量是非常庞大的，有接近14亿条记录；这个数据也是动态更新的，每年都有几千万人出生，几千万死亡；这个数据集也可以是多样的，湖南的数据可以放在mysql中，湖北的数据可以在oracle中，北京的数据可能在Txt文件中，上海的数据可能在Word文档中；这个数据集和这个分析都是有价值的，但是平均到每一条数据，价值又非常有限。也就是说，这个问题是符合4V特征的，但是这个问题怎么看都“太简单”了，年龄加起来求平均即可，不能成为真正意义上的“大数据问题”。

北京诚智汇达信息科技有限公司成立于2014年10月，是国内领先的职场大数据征信服务提供商。我们通过整合权威部门数据、合作伙伴数据、互联网采集数据、用户注册

数据等，挖掘候选人在基本信息、教育背景、工作经历、工作能力、薪酬福利、职业道德、犯罪记录、失信记录等方面的信用状况，生成从业者的信用报告，为猎头、

HR、投资机构、金融机构、业主提供决策支持，提升人力资源管理效率，净化我国职场环境，提高社会道德水平，降低投融资的信用成本，促进我国经济发展。

我们的使命是“让天下没有欺骗”。通过完善职场各方的数据，建立我国9.8亿从业者的职场信用体系，彻底解决职场诚信问题。

职品汇是我们的品牌，目前我们已经开发了大数据背景调查、职场黑名单、人才地图、虚假简历识别、职品人才库、猎头管理SaaS系统等，并且逐步向社会开放我们的

研发能力，提供简历解析、精准匹配、寻访记录挖掘、LIST识别等工具。

作为我国成立最早、团队最完善的职场大数据征信公司，我们采集并整理了中国最庞大的人力资源数据库，服务万科、卫计委等500余家企事业单位，是平安集团、用

友、北森等知名企业的战略合作伙伴。

我常说「大数据」这个名字叫错了，它没有反映出数据最本质的东西。

其实大数据很早以前就有，只是那时的「大」还没有意义。世界上最大的数据估计和互联网一点关系都没有，最大的数据估计存在于欧洲核子研究组织（CERN），那里的对撞机中运算的数据可能一辈子都算不完。

今天数据的意义并不在于有多「大」，真正有意思的是数据变得在线（online）了，这恰恰是互联网的特点。所有东西都能在线这件事，远比「大」更能反映本质。如果快的打车使用的交通数据不在线，那它也就没有什么作用。为什么今天的淘宝数据值钱，因为它是在线的。写在磁带和纸上的数据，作用是有限的。

反过来讲，在线让数据的价值体现变得非常容易。过去美国总统大选之前，需要做盖洛普调查，随机找2,000个人做问卷，做的预测也很准了。现在不用这样做了，只要在推特上分析每个人发的信息，就可以预测谁更有可能会当选总统。但盖洛普调查做完之后很难快速影响社会，不同的是，数据可以快速影响社会。就像打车软体，它对计程车司机的影响可能比计程车公司更大，究其原因就是数据在线了。

有时候，一些主营业务是石油、地质探察之类的公司来跟我讲它们的大数据，我不大确定这算不算大数据。它们的数据确实多，但是它们的数据若不在线，就没有意义。

关于产品我不算专家，阿里云的产品做得不好，都是我的责任，这个需要大家原谅。但吃了很多苦头后，我对于做产品还是有一些心得的。目前我还没有看到一个将产品和数据结合得很好的例子。

非互联网时代的产品，功能一定是它的价值所在，而互联网时代的产品，数据才是它的价值。做航旅资讯的产品有很多，最近有一款名为「航旅纵横」的App 我用得比较多，我也不知道从产品角度来说它好不好，但它的数据很实用，它可以告诉你前一个航班发生了什么事情。

过去的软，很多功能的重要性都超过数据，但我相信，接下来，数据会比功能更重要。互联网人应该能够理解这个说法。

我和马云开玩笑说，阿里巴巴对数据的理解深度，不会超过苏宁对电子商务的理解深度。我的意思其实是，大家还没搞清楚机会在哪里。

前几天我在北京碰到叶凯（北京玩蟹科技有限公司CEO），他说游戏做来做去，最后发现数据才是最重要的东西，在几个机房里来回复制数据很痛苦。我猜测，他认为完全靠直觉做游戏已经不够了，数据可以帮他做这件事情。

在思考云端运算的时候，我突然发现，云端运算是关于信任的生意。包括虾米、短趣，之所以能搬到阿里云，都是因为信任。中国是全世界最早使用纸币的国家。一张纸上盖个章，就让人相信它是财富，这需要极大的勇气。而今天的我们反而大大落后了，我们不相信信用卡，把信用卡当成金融签帐卡（debit card）用，这是很大的问题。

有人说他要做三年赚200亿美元的互联网项目，但他要依靠别人的云端运算服务，他能相信这一点，是很了不起的。我觉得，没有这个勇气，是不可能创新的。如今的中国就存在这样的机会。

保险是一个很传统的行业。开一个保险公司，必须要开设办事处。没有人敢说，现在办理保险业务可以不签书面委托书。但是，可能就在近期，中国会出现一家保险公司—这是全世界第一家没有办事处的保险公司。不需要在纸上签署任何东西，在线就能做完所有事情。按我的理解，如果把云端运算做好了，创新机会就会非常大。

那大数据处置技术怎样学习呢？首先我们要学习Java言语和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。#

Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？

只需求学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需求了解就可以了，当然Java怎样衔接数据库还是要知道的，像JDBC一定要掌握一下，有同窗说Hibernate或Mybites也能衔接数据库啊，爲何不学习一下，我这里不是说学这些不好，而是说学这些可以会用你很多时间，到最后义务中也不常用，我还没看到谁做大数据处置用到这两个东西的，当然你的肉体很充足的话，可以学学Hibernate或Mybites的原理，不要只学API，这样可以添加你对Java操作数据库的理解，由于这两个技术的中心就是Java的反射加上JDBC的各种运用。

Linux：由于大数据相关软件都是在Linux上运转的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的协助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运转环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

好说完基础了，再说说还需求学习哪些大数据技术，可以按我写的顺序学下去。#

Hadoop：这是如今盛行的大数据处置平台几乎已经成爲大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据中止处置计算的，它有个特点就是不管多大的数据只需给它时间它就能把数据跑完，但是时间可以不是很快所以它叫数据的批处置。YARN是表现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运转了，这样就能更好的使用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了，让它直接跑在现有的hadoop yarn上面就可以了。其实把Hadoop的这些组件学明白你就能做大数据的处置了，只不过你如今还可以对”大数据”终究有多大还没有个太清楚的概念，听我的别纠结这个。等以后你义务了就会有很多场景遇到几十T/几百T大规模的数据，到时分你就不会觉得数据大真好，越大越有你头疼的。当然别怕处置这麼大规模的数据，由于这是你的价值所在，让那些个搞Javaee的php的html5的和DBA的羡慕去吧。

记住学到这里可以作爲你学大数据的一个节点。#

Zookeeper：这是个万金油，安装Hadoop的HA的时分就会用到它，以后的Hbase也会用到它。它普通用来存放一些相互协作的信息，这些信息比较小普通不会逾越1M，都是运用它的软件对它有依赖，关于我们集团来讲只需求把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处置了，接上去学习学习小数据的处置工具mysql数据库，由于一会装hive的时分要用到，mysql需求掌握到什麼层度那？你能在Linux上把它安装好，运转起来，会配置复杂的权限，修正root的密码，创建数据库。这里主要的是学习SQL的语法，由于hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然消费环境中运用要留意Mysql的压力。

Hive：这个东西关于会SQL语法的来说就是神器，它能让你处置大数据变的很复杂，不会再费力的编写MapReduce顺序。有的人说Pig那？它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需求这个东西，它可以帮你管理你的Hive或许MapReduce、Spark脚本，还能反省你的顺序能否执行正确，出错了给你发报警并能帮你重试顺序，最重要的是还能帮你配置义务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密丛丛的crond是不是有种想屎的觉得。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的方式存储的并且key是独一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处置完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的？排队买票你知道不？数据多了异常也需求排队处置，这样与你协作的其它同窗不会叫起来，你干吗给我这麼多的数据（比如好几百G的文件）我怎样处置得过来，你别怪他由于他不是搞大数据的，你可以跟他讲我把数据放在队列里你运用的时分一个个拿，这样他就不在抱怨了马上灰流流的去优化他的顺序去了，由于处置不过来就是他的事情。而不是你给的成果。当然我们也可以使用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合运用，它是专门用来提供对数据中止复杂处置，并写到各种数据接受方（比如Kafka）的。

Spark：它是用来补偿基于MapReduce处置数据速度上的缺陷，它的特点是把数据装载到内存中计算而不是去读慢的要死退步还特别慢的硬盘。特别适宜做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java言语或许Scala都可以操作它，由于它们都是用JVM的。

会这些东西你就成爲一个专业的大数据开发工程师了，月薪2W都是小毛毛雨#

后续提高 ：当然还是有很有可以提高的地方，比如学习下python，可以用它来编写网络爬虫。这样我们就可以自己造数据了，网络上的各种数据你高兴都可以下载到你的集群上去处置。

最后再学习下举荐、分类等算法的原理这样你能更好的与算法工程师打交通。这样你的公司就更离不开你了，大家都会对你喜欢的不要不要的。

随着数据科学和大数据作为主流职业选择的出现，不少人对相关职位名称的内涵存在一定的混乱，有些人认为大数据等同于数据科学，另外有些人则认为大数据是数据科学的子集。数据科学已经存在了很长一段时间，而大数据则是相当新的，它源于数据科学。

下面是数据分析师，数据科学家和大数据专家之间的一点比较。

数据分析师

1. 定义

使用自动化工具，他们可以获取分离的数据和见解。他们定义数据集并进行广泛的人口统计分析以确定与业务和产品相关的策略。

2. 所需技能

编程，统计学和数学，机器学习，数据可视化和通信技术，数据处理和数据集定义

3. 适用领域

医疗保健，保险，旅游，行政，游戏，分布式系统

数据科学家

1. 定义

获取数据，构建和维护数据库，根据各种需求清理和分离数据，并从事数据可视化和分析工作。

2. 所需技能

SAS/R/类似工具，Python，Hadoop，SQL，重构数据，数据库构建和管理

3. 适用领域

搜索引擎，广告，自适应算法，AI系统

大数据专家

1. 定义

处理连续大量的数据，定义用于分析的参数和数据集，并编制分析系统，为企业提供战略见解。

2. 所需技能

数学和统计学，程序设计和计算机科学，分析技能，商业战略

3. 适用领域

零售，电子商务，金融服务，通信

正如所看到的，数据分析是这些选项中最基本的。数据分析师的工作有更广泛的应用，因此在不同的行业应用更加多样化。即使数据分析师的教育和学术要求也较低。

接下来是大数据工作，这些工作相当复杂，需要高级技能。有时候，大数据认证是获得大数据分析师工作的强制性要求。由于数字技术在各行业的普及，大数据工作的范围日益扩大。

最重要的是数据科学工作。数据科学认证是获得工作的必备条件。数据科学家的范围比大数据要低，这是由于数据科学不同的概况所致。

有了以上信息，数据分析师、数据科学家和大数据专家之间的差异应该清楚。这个信息可以用于在数据分析和商业战略领域制定更好的职业规划。

原文链接：https://blog.csdn/chszs/article/details/80658582

作者：chszs