你有没有过相似的经历？

10G 资料包、2000 份精选 PPT、800 份简历模板……每每在网上看到这样的字眼，总是不由自主地激动不已，不管自己是否用得着，先保存着再说。

然而，收藏了那么多“干货”，等到真正要用时，随便打开几个，才发现里面的内容并不像想象中的高大上，真正好用的寥寥无几。

本以为收藏资料节约了很多时间，却没想到自己还要再次筛选。看似省时省力，其实费时费力。

为此，小编特意整理筛选了188份大数据、AI行业最新的相关报告，诚意满满！

以下为部分报告截选：【文末附领取方式】

《2018数据人才白皮书》

《2018北京城市大数据活跃报告》

《2018中国人工智能投资市场研究报告》

《AI技术人才成长路线图》

《2018德勤全球人力资本趋势报告》

记者在绍兴柯桥一个写字楼里见到陈玉婷时，她正在为当地一位青年男子小周介绍对象，陈玉婷认真分析着小周的性格、气质特点，努力为他搜索合适的对象。

“‘红娘’可是个技术含量很高的职业，必须要对服务对象进行细致认真了解。”陈玉婷说，现在她已经整理了全国9500多个微信好友，其中为8000多位相亲对象建立相亲数据库，并成功为150对青年男女介绍了对象，不少已经步入了婚姻的殿堂。图为陈玉婷组织的公益相亲会。

“公益红娘”陈玉婷在绍兴已有了不小的名气，被评为“绍兴市十大红娘”，2017年“最美浙江人”，今年还被选为共青团十八大代表去北京出席会议。图为90后美女公益小红娘陈玉婷近照。

对于这项公益事业，陈玉婷分文不取。她制造些有趣的见面形式，开设“单身狗”课堂等，用年轻人喜欢的方式，拉近大家的距离，扩大圈子，努力让大家摆脱单身。

图为90后美女公益小红娘陈玉婷近照。

图为90后美女公益小红娘陈玉婷近照。

1.Linux基础和分布式集群技术

学完此阶段可掌握的核心能力：

熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；

学完此阶段可解决的现实问题：

搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；

学完此阶段可拥有的市场价值：

具备初级程序员必要具备的Linux服务器运维能力。

1.内容介绍：关注作者：需要大数据学习视频资料可以加我QQ群，此文里面连起来的数字，你会找到我的

在大数据领域，使用最多的操作系统就是Linux系列，并且几乎都是分布式集群。该课程为大数据的基础课程，主要介绍Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、防火墙、Shell编程等。

2.案例：搭建互联网高并发、高可靠的服务架构。

2.离线计算系统课程阶段

1. 离线计算系统课程阶段

Hadoop核心技术框架

学完此阶段可掌握的核心能力：欢迎加入722680258零基础到项目实战

1、通过对大数据技术产生的背景和行业应用案例了解hadoop的作用；2、掌握hadoop底层分布式文件系统HDFS的原理、操作和应用开发；3、掌握MAPREDUCE分布式运算系统的工作原理和分布式分析应用开发；4、掌握Hive数据仓库工具的工作原理及应用开发。

学完此阶段可解决的现实问题：

1、熟练搭建海量数据离线计算平台；2、根据具体业务场景设计、实现海量数据存储方案；3、根据具体数据分析需求实现基于mapreduce的分布式运算程序；

学完此阶段可拥有的市场价值：

具备企业数据部初级应用开发人员的能力

1.1 HADOOP快速入门

1.1.1 hadoop知识背景

什么是hadoop、hadoop产生背景、hadoop在大数据云计算中的位置和关系、国内hadoop的就业情况分析及课程大纲介绍

国内外hadoop应用案例介绍

分布式系统概述、hadoop生态圈及各组成部分的简介

1.1.2 HIVE快速入门

hive基本介绍、hive的使用、数据仓库基本知识

1.1.3 数据分析流程案例

web点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展现

1.1.4 hadoop数据分析系统集群搭建

集群简介、服务器介绍、网络环境设置、服务器系统环境设置、JDK环境安装、hadoop集群安装部署、集群启动、集群状态测试

HIVE的配置安装、HIVE启动、HIVE使用测试

1.2 HDFS详解

1.2.1 HDFS的概念和特性

什么是分布式文件系统、HDFS的设计目标、HDFS与其他分布式存储系统的优劣势比较、HDFS的适用场景

1.2.2 HDFS的shell操作

HDFS命令行客户端启动、HDFS命令行客户端的基本操作、命令行客户端支持的常用命令、常用参数介绍

1.2.3 HDFS的工作机制

HDFS系统的模块架构、HDFS写数据流程、HDFS读数据流程

NAMENODE工作机制、元数据存储机制、元数据手动查看、元数据checkpoint机制、NAMENODE故障恢复、DATANODE工作机制、DATANODE动态增减、全局数据负载均衡

1.2.4 HDFS的java应用开发

搭建开发环境、获取api中的客户端对象、HDFS的java客户端所具备的常用功能、HDFS客户端对文件的常用操作实现、利用HDFS的JAVA客户端开发数据采集和存储系统

1.3 MAPREDUCE详解

1.3.1 MAPREDUCE快速上手

为什么需要MAPREDUCE、MAPREDUCE程序运行演示、MAPREDUCE编程示例及编程规范、MAPREDUCE程序运行模式、MAPREDUCE程序调试debug的几种方式

1.3.2 MAPREDUCE程序的运行机制

MAPREDUCE程序运行流程解析、MAPTASK并发数的决定机制、MAPREDUCE中的combiner组件应用、MAPREDUCE中的序列化框架及应用、MAPREDUCE中的排序、MAPREDUCE中的自定义分区实现、MAPREDUCE的shuffle机制、MAPREDUCE利用数据压缩进行优化、MAPREDUCE程序与YARN之间的关系、MAPREDUCE参数优化

通过以上各组件的详解，深刻理解MAPREDUCE的核心运行机制，从而具备灵活应对各种复杂应用场景的能力

MAPREDUCE实战编程案例：通过一个实战案例来熟悉复杂MAPREDUCE程序的开发。该程序是从nginx服务器产生的访问服务器中计算出每个访客的访问次数及每次访问的时长。原始数据样例如下：

通过一系列的MAPREDUCE程序——清洗、过滤、访问次数及时间分析，最终计算出需求所要的结果，用于支撑页面展现：

1.4 HIVE增强

1.4.1 HIVE基本概念

HIVE应用场景、HIVE内部架构、HIVE与hadoop的关系、HIVE与传统数据库对比、HIVE的数据存储机制、HIVE的运算执行机制

1.4.2 HIVE基本操作

HIVE中的DDL操作、HIVE中的DML操作、在HIVE中如何实现高效的JOIN查询、HIVE的内置函数应用、HIVE shell的高级使用方式、HIVE常用参数配置、HIVE自定义函数和TRANSFORM的使用技巧、HIVE UDF开发实例

1.4.3 HIVE高级应用

HIVE执行过程分析及优化策略、HIVE在实战中的最佳实践案例、HIVE优化分类详解、HIVE实战案例--数据ETL、HIVE实战案例--用户访问时长统计

HIVE实战案例--级联求和报表实例：

离线数据挖掘系统

学完此阶段可掌握的核心能力：

1、通过对数据仓库知识的加强初步掌握数据仓库的核心概念和设计流程;2、通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;3、通过电商系统点击流日志数据挖掘系统实战项目，掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程

学完此阶段可解决的现实问题：

1、可根据企业具体场景设计海量数据分析系统的通用架构2、根据具体场景的特点有针对性地调整数据分析各环节的技术选型;3、根据具体需求搭建起整套离线数据分析系统;4、简单数据仓库模型的设计和架构5、各环节具体功能模块的开发实现

学完此阶段可拥有的市场价值：

具备企业数据部中高级应用开发和初级架构师能力

2.1 数据仓库增强

2.1.1 数据仓库及数据模型入门

什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓库的体系结构

2.1.2 数据仓库设计

建立数据仓库的步骤、数据的抽取、数据的转换、数据的加载、什么是数据模型、数据模型的常见类型、如何设计数据模型、如何选择数据建模的架构

典型数据模型——星型建模实例

2.1.3 数据仓库建模样例

业务建模、领域建模、逻辑建模、物理建模

web点击流日志分析系统数据仓库设计实战：

通过对数据特点和业务需求的分析，关系梳理，设计出一个主题明确、层次合理的数据模型

2.2 离线辅助系统

2.2.1 数据采集系统

数据采集概念介绍

FLUME日志采集框架介绍、FLUME工作机制、FLUME核心组件、FLUME参数配置说明、FLUME采集nginx日志实战案例

2.2.2 任务调度系统

任务调度系统概念介绍、常用任务调度工具比较、OOZIE介绍、OOZIE核心概念、OOZIE的配置说明、OOIZE实现mapreduce/hive等任务调度实战案例

2.2.3 数据导出

数据导出概念介绍、SQOOP基础知识、SQOOP原理及配置说明、SQOOP数据导入实战、SQOOP数据导出实战、SQOOP批量作业操作

2.3 web点击流日志分析系统实战项目

2.3.1 项目介绍

1. 在PC时代，营销的核心是购买，在移动互联网时代，其核心是如何实现用户个性化互动，对用户传播更为精准化的内容，而实现这一核心的基础就是对数据的管理和分析——数据驱动型商业模型。

2. 各类互联网服务产品(如网站、APP)都可以通过前端技术获取用户的详细行为数据(如访问的页面，点击的区域、登陆的频次、注册行为、购买的行为等)，将这些点击流日志数据与后台商业数据综合起来，就可以挖掘对公司运营决策意义非凡的商业价值。

3. 本项目则是一个用大数据技术平台实现的点击流日志分析数据挖掘系统，项目内容涵盖一个典型数据挖掘系统中，包括需求分析、数据采集、数据存储管理、数据清洗、数据仓库设计、ETL、业务模型统计分析、数据可视化的全部流程。

2.3.2 需求分析

什么是点击流日志、点击流日志的商业价值、点击流日志分析需求

业务模型指标体系设计——流量分析、来源分析、受访分析、访客分析、转化率分析

2.3.3 系统设计及开发

1. 系统架构设计

2. 数据采集设计及开发——数据格式、数据内容分析、数据生成规律、采集系统技术选型解析、FLUME采集系统实现

3. 数据存储设计及开发——存储技术选型、存储业务流程解析、存储目录规划及文件命名规则、小文件合并实现

4. 数据统计设计及开发——数据预处理、数据加载、原始数据表的创建、数据入库、数据ETL

5. 报表统计设计——数据模型设计、事实表设计、维度表梳理

6. 业务指标设计及开发——PV统计(时间维度、终端维度、地域维度)、来访次数统计(时间维度、地域维度、终端维度)、独立访客统计(时间维度、终端维度、地域维度)、受访页面统计(时间维度、栏目维度)、页面热点图、转化率分析、来源关键词分析、来源搜索引擎分析、来源广告推广分析

2.3.4 任务调度系统设计实现

任务调度单元实现、各环节任务运行频次及依赖关系梳理、工作流设计及实现、工作流定义配置上传部署、工作流启动即状态监控

2.3.5 数据可视化——结果报表展现

1. hive分析结果使用sqoop导出到msyql数据库

2. 报表展现系统技术选型：

后台使用spingmvc + spring + mybatis

前端页面使用全静态异步刷新技术jQuery + Echarts

3. web展现程序架构搭建，使用maven构建项目工程

4. web展现程序页面设计开发：原型页面设计、js代码开发

5. 最终实现以下数据可视化效果：

(1)流量概况可视化效果：

(2)来源地域分析可视化效果：

(3)来源类型分析可视化效果：

3.Storm实时计算部分阶段

实时课程分为两个部分：流式计算核心技术和流式计算计算案例实战。

1.流式计算核心技术

流式计算核心技术主要分为两个核心技术点：Storm和Kafka，学完此阶段能够掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用。具备开发基于storm实时计算程序的技术能力。

学完此阶段可掌握的核心能力：

(1)、理解实时计算及应用场景

(2)、掌握Storm程序的开发及底层原理、掌握Kafka消息队列的开发及底层原理

(3)、具备Kafka与Storm集成使用的能力

学完此阶段可解决的现实问题：

具备开发基于storm的实时计算程序的能力

学完此阶段可拥有的市场价值：

具备实时计算开发的技术能力、但理解企业业务的能力不足

1.1、流式计算一般结构

2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。因为其高吞吐、高可靠等特点，很多互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲，根据业务需求，数据的处理可以分为离线处理和实时处理，在离线处理方面Hadoop提供了很好的解决方案，但是针对海量数据的实时处理却一直没有比较好的解决方案。就在人们翘首以待的时间节点，storm横空出世，与生俱来的分布式、高可靠、高吞吐的特性，横扫市面上的一些流式计算框架，渐渐的成为了流式计算的首选框架。如果庞麦郎在的话，他一定会说，这就是我要的滑板鞋!

上图是流式分析的一般架构图，抽象出四个步骤就是数据采集、数据缓冲、数据处理、数据输出。一般情况下，我们采用Flume+kafka+Storm+Redis的结构来进行流式数据分析。实时部分的课程主要是针对Kafka、Storm进行学习

1.2、流式计算可以用来干什么

一淘-实时分析系统：实时分析用户的属性，并反馈给搜索引擎。最初，用户属性分析是通过每天在云梯上定时运行的MR job来完成的。为了满足实时性的要求，希望能够实时分析用户的行为日志，将最新的用户属性反馈给搜索引擎，能够为用户展现最贴近其当前需求的结果。

携程-网站性能监控：实时分析系统监控携程网的网站性能。利用HTML5提供的performance标准获得可用的指标，并记录日志。Storm集群实时分析日志和入库。使用DRPC聚合成报表，通过历史数据对比等判断规则，触发预警事件。

一个游戏新版本上线，有一个实时分析系统，收集游戏中的数据，运营或者开发者可以在上线后几秒钟得到持续不断更新的游戏监控报告和分析结果，然后马上针对游戏的参数和平衡性进行调整。这样就能够大大缩短游戏迭代周期，加强游戏的生命力。

实时计算在腾讯的运用：精准推荐(广点通广告推荐、新闻推荐、视频推荐、游戏道具推荐);实时分析(微信运营数据门户、效果统计、订单画像分析);实时监控(实时监控平台、游戏内接口调用)

为了更加精准投放广告，阿里妈妈后台计算引擎需要维护每个用户的兴趣点(理想状态是，你对什么感兴趣，就向你投放哪类广告)。用户兴趣主要基于用户的历史行为、用户的实时查�...

为何布瑞克要在此时推出免费服务第一书记和大学生村官的服务，有人要问，为什么布瑞克要做这样的事情，为这么这件事现在只有布瑞克能做？

一、我们的初心：让农民没有难种的地

布瑞克创始人孙彤及初创团队，毕业于北京大学，有感于农业的落后、农村和农民生活的困苦，立志让农业插上“计算机+金融”的翅膀，运用农业大数据和产业研究，解决农民为种植什么犯难的问题；运用大宗农产品电子商务解决农民卖粮贱、卖粮难的问题；运用金融工具解决农民生产经营缺钱的问题。我们认为，农民是中国最广大的身份和职业，能够为解决近8亿人的生产、生活问题做出哪怕一丝贡献，都将会带来无尽的价值感，而且也将会成就一个伟大的企业。为农业、农村和农民的三农问题服务，是布瑞克成立的初心，那么推出免费服务第一书记和大学生村官的服务，是我们非常愿意做的事情。

二、我们的能力：十多年农业产业研究及咨询经验积累

我们有着国内排名前列的农业咨询团队，团队成员来源于北京大学、中国人民大学、中国农业科学院等，有着近10多年的农业产业研究积累，服务对象包括国家级部委，省市级相关机构、科研院所、国内农业龙头企业、ABCD跨国农业企业。

通过布瑞克在农业大数据领域有近10年的数据和建模积累，借助布瑞克农产品数据库终端和研究咨询人员，我们可以帮助第一书记来破解农周期，解决种啥、养啥、啥时候买、啥时候卖的产销决策。

如通过对猪周期的研究和分析，运用价格模型和生猪存栏监测模型，可以帮助第一书记指导村里的养猪农户什么时候补栏、什么时候出栏、什么时候适当压栏、什么时候要尽早出栏，恰当的补栏时机就会有很好的出栏时机，从而帮助养猪农户最大限度增加收入。此外，农作物品种该种啥、啥时候卖都可以借助农产品大数据终端来实现。

目前，我们的数据库涵盖了数百种农产品的生产数据，区域上覆盖了全国2500个区县单位以及全球200多个国家或地区。第一书记可以通过布瑞克农产品数据终端查询初级数据和经过挖掘提炼的指标数据，如可以查询月度生猪存栏、能繁母猪存栏和定点屠宰量数据，作为中短期猪价走势判断的依据；可以查询生猪价格、仔猪价格、白条肉价格、玉米价格、饲料价格，作为短期猪价判断的依据；养殖利润、屠宰流通利润、批发零售利润、饲料成本、其他成本、仔猪成本，判断各环节的利润分配情况及价格传导机制作用下价格走势；猪粮比、肉料比、仔猪大猪比价、理论育肥阶段造肉成本、生猪季度供需平衡表，这是布瑞克研究挖掘的指标，该指标可以用来衡量养殖户对未来猪价预期，一般情况下出现比例小于1情况，说明市场已经充分恐慌，行情机会即将在未来三个月出现，比值超过2.5情况下，市场过度亢奋，如果刚处于行情启动初期，上涨还能继续延续，但如果猪价已经上涨接近一年时候，需要注意高位风险了。

数据终端申请和下载见文末，数据查询和使用方法，见布瑞克农业数据使用手册，在“布瑞克农业数据”公众号的“产业数据”栏目中的“数据教程”查看使用方法，链接如下：

http://mp.weixin.qq/s/WlIvPhgVwsYRfvAtPv5awQ

或者在下载申请账户使用农产品数据终端后，在右上角的使用手册，点击打开“使用手册”，有详细的使用方法说明。欢迎下载试用。

三、我们的实践：“老乡帮”解卖愁，黑色农庄治好农民“种啥恐惧症”

布瑞克旗下农牧人电商的“老乡帮”频道，致力于解决农特产品的销售难问题，通过众筹拍卖的形式，借助布瑞克消费大数据和广告分发系统、会员及员工朋友圈等方式，助力解决销售难问题，目前上线过礼泉苹果、盐城大闸蟹、兴化龙香芋、富平农家柿饼、宝鸡擀面皮、南丰贡桔、山东临沂大樱桃、山东马连庄甜瓜、西安临潼区相桥镇宽容村的白东升家的马铃薯等二十多个帮助案例，目前与农牧人合作对接的帮扶县也有二三十个。

在实际应用中，农业大数据+订单农业也初现成效。布瑞克智慧农业在商水实施订单农业精准扶贫方案，通过大数据分析、匹配，布瑞克智慧农业平台促成黑色农庄与商水县贫困户达成订单农业协议，由黑色农庄为贫困户提供资金，技术，农资等，并约定以高于市场的收购价格收购，种植的品种包括黑玉米、黑花生等各品种，今年秋季种植订单600余亩，平均每亩增收500元左右。

如何申请？

账号申请主要有以下两种方式：

第一种是驻村第一书记通过公众号、网站自助申请，通过上传自己工作证明、日常工作照，由布瑞克客服人员进行人工验证。

申请地址：http://agdata/register/rePage.html

或者在“布瑞克农业数据”公众号的“产业数据”中“账号申请”链接中提交申请信息。

第二种是与县一级扶贫办申请，由县级主管部门提供各第一书记、大学生村官、三支一扶、西部志愿者的基本资料，包括姓名、联系方式、所驻村组名称，由布瑞克统一为他们开通账号。

http://agdata/client/downLoadPage.html

第一书记和大学生村官，通过我们的农业大数据网站、布瑞克农业数据公众号等可以查询自助使用手册和视频，我们也将有专业的服务小组提供人工服务。平台资源对接通过我们的客服人员和数据填报入口，我们将整理后在县域扶贫信息和产品资源对接公益平台发布，对接批发市场和会员资源、自有电商资源、58速聘等资源。

数据等相关反馈可通过“布瑞克农业数据”公众号的 “县域数据”中的“数据扶贫填报入口”栏目，填报上传相关数据和信息。

或者用微信等扫描一下二维码，开始数据填报。

或者登陆如下网址实现：

https://wjx/jq/16788563.aspx

具体服务流程和反馈沟通方式参照本公众号详情介绍页面：

附二：《布瑞克农业大数据扶贫直通车——扶贫资源征集及平台推广介绍》

导语： 男子四人学习大数据，本是免费却要收1万8，事后老板亲自讲课

之前说免费的课程在学习前突然被告知需要交1万8千块钱。开课后没多久负责教学的老师都不见踪影，只剩一个人照着ppt念文案。究竟是发生什么事了呢？

小李说刚开始这家科技培训公司说有免费课程，他们觉得多一门技术多一条出路，所以和自己的同学，一行4人来到这家科技公司学习大数据，学习之前让交1万8的保障金。小李他们交了保障金后签了一份人才培养合作协议，培训时间一共是6个月。

之后就开始上课了，刚开始是由专业的老师来进行授课，讲的还不错，可是过了一段时间公司就搬家了，之前的所有老师都不见了，换成公司CEO开始授课，这名CEO明显不会讲课，完全是照着念，等了将近一个月都没有新的老师来授课，小李他们不干了。

小李说：他们一共上了两个月的课，也不想着都退回来，把这两个月的学费扣除，剩下的退回来就可以了。但是培训方让他们好好看看合同再跟他们说话。合同上退费的条件实在让人摸不着头脑。合同规定了培训为免费，但是退费的话需要小李他们介绍过来新的学员或者学的特别好准许毕业，且已经就业了才会给办理退费手续。看到这里大家是不有种变相传销的感觉。小李他们没有办法，找来当地媒体来曝光这件事寻求帮助。

记者来到这家公司，工作人员说老板在上课，不方便，需要等一会。等了很久老板也没出现，只是另出来一个人说是招生办的，他们说培训确实是免费的，收取的只是保障金，但是合同上写的课前（付清全部培训费用）他们又解释不清楚具体是哪方面费用以及怎么收费的。

后来在记者的追问以及小李他们强烈的态度下，这名招生办人员说会在3天之内商量出解决办法，让他们再等等。小李他们说可以再等几天。

这件事情小编有别样的看法

培训机构打着招聘工作人员的幌子，诱骗求职者交钱学习一门技术，学完之后的工作地点是这家机构随便找的，各种行业都有。学习费用有特别昂贵，小编表示没有那么多钱，他们马上说可以帮忙办理借贷。庆幸的是小编胆小，不愿意借款，逃过一劫。

小编觉得，遇到这种事情，首先我们要做的事就是实现看清楚合同。

如果真的想学习可以去正规的学校或者机构，前期自己要了解清楚这家学校，不要听别人说。

大家觉得遇到这样的事，我们应该怎么办呢？欢迎大家在下方留言。

图片来自网络

适合零基础，进阶，项目实战

系统学习，学成出来就业，起步就是15k

关注作者：其他文章可以找到大神组织

令人好奇

昨晚在公司留下来主动加班，不是为了赶项目进度，也不是为了改bug，说起来原因让人吃惊：我竟与一位来自北京的粉丝聊了一宿，晚上11点才打车回了住的地方。

能让我浪费下班后宝贵的业余时间，跟粉丝聊那么长时间，这里面绝对有猫腻。究竟我们之间谈了什么话题？搬好小板凳，且听我慢慢娓来。

Java市场存在变数

这位来自北京的Java朋友跟我说，他目前在西二旗一家互联网公司从事Java开发（大数据方向），税后月薪25K，在他们公司某项目里担任小组长。

他跟我说，他在帝都呆了快三年了，眼睁睁地看着一批又一批的同行同学失业，找不到合适他们的工作，只会CRUD，CRUD，CRUD的搬运工，上了年纪之后基本在北京就混不下去了，缩影如下：

更别说刚从学校出来，只会lowlow的ssh的应届生同学们！可谓毕业就失业！

究其原因，就是Java市场变了。不再是纯粹的crud搬运工就能生存了。年轻的搬运工比你有激情有精力能通宵，要的钱比你还低！你怎么比？

与此同时，更多的互联网公司，给开出高薪，只为招聘一个大数据方向的后台工程师。一句话，只有具备核心竞争力，30岁后你离开公司，到哪里都有底气！不信各位可以去智联招聘、boss直聘上面看看。

大数据浪潮下，何去何从

马云曾经说过，「 人类正从IT时代走向DT时代 」。

正如他说言，今天几乎所有的互联网公司背后都有一支规模庞大的数据团队和一整套数据解决方案作决策。

这个时代已经不是只有硅谷巨头才玩数据的时代，是人人都在依赖着数据生存，可以说如今社会数据价值已经被推到前所未有的高度。

插播一句，字节动码（核心产品：今日头条）给应届生的薪资是50K！不怕没有这个数，就怕你没能力拿！

懂行的都知道，从页面到后台，这里面有一个完整的数据链路，中间省略了技术细节。请看下面这张图：

二业界常提到的 Hadoop，Spark，Druid ，则都在用户侧的最下方，也就是数据研发与数据挖掘职能的工作。

目前腾讯的社交数据，百度的搜索数据以及阿里的交易数据每天都是PB级别，海量数据，都是公司最重要的资产。在过去，普通的Java开发也许只是写写业务逻辑相关，写写crud，而今天，Java是最有希望，也是最容易转型大数据开发的群体。毕竟Java可是css，jsp，后台逻辑，DBA，甚至运维为一体，性价比超高的“全栈工程师”。说白了可打杂。

而那些懂得大数据的工程师则已成为炽手可热的人才，平均起薪已达年薪30万以上，BAT大量需要这方面人才，这也是进入大公司的捷径。

和这位朋友聊了好久，感觉现在的Java，已经不是我这些年所认知的Java了，它的细分领域变得更多更专业。怪不得，32岁只会写写crud的Java搬运工，会被领导直接PASS。市场行情的变化，即甲方需求的变化，让我吃惊。

想入门大数据吗

听了这位朋友这么多的经验之谈，我对学习大数据也燃起了一定的兴趣。

大数据就业钱景大好

人才紧缺带来最直观现象就是薪酬的提升。

目前，一个大数据工程师的月薪轻松过万，一个有几年工作经验的数据工程师薪酬在40万~160万元之间不等，而更顶尖的大数据技术人才则是年薪轻松超百万。

高薪只要你敢想，敢付出，还害怕高薪的人不是自己吗？

那么问题来了，

如何才能让你快速提升呢？

文豪学院价值2980元的spark课程限时免费赠送！全程大咖级讲师亲授，为你解析行业发展趋势、就业前景，帮你了解技术、轻松入门，更快一步成为高薪大牛！

2980元spark课程截图如下

参加文豪学院大数据系统培训学习并通过考核可推荐微软、亚马逊、谷歌、英特尔、英伟达等的offer, 在毕业考试中获得前三名的，即可免费享受以上大型企业实/学习机会就业机会。（期间报销往返机票、住宿费用）

学习一门技术、深造一门技术，走上人生巅峰，就是这么简单！

如果你对大数据开发感兴趣，没有大数据基础也没有关系，如果有编程基础将对学习大有裨益。现在文豪免费对"大数据开发"感兴趣的朋友开放我们的大数据工程师精英计划！

如果你不想错过这次科技大变革，那就立即行动起来吧！

★ 完整体系课程一套：从入门到精通

★ 实时提问：解决工作遇到的问题

群名称：天气数据接口

群 号：305694703

根据乡镇天气id获取乡镇实况、逐小时预报、周边乡镇预报

名称

根据乡镇天气id获取乡镇实况、逐小时预报、周边乡镇预报

描述

* 周边乡镇预报数据

* 本乡镇实况

* 本乡镇逐小时预报

请求方式

post/get

请求地址

/china?m=townforcast&wid=101110403012

返回结果

[

{

"code": 20000,

"msg": "数据请求成功"

},

{

"alltown": [

{

"temp": "9 / -1°C",

"town": "蜂桶乡",

"townurl": "101270606011",

"weatherday": "小雨",

"weathernig": "阴"

},

{

"temp": "10 / 0°C",

"town": "鸡鸣乡",

"townurl": "101041600011",

"weatherday": "小雨",

"weathernig": "雨夹雪"

},

{

"temp": "9 / -1°C",

"town": "满月乡",

"townurl": "101041500019",

"weatherday": "小雨",

"weathernig": "雨夹雪"

},

{

"temp": "9 / 0°C",

"town": "周溪乡",

"townurl": "101041600024",

"weatherday": "小雨",

"weathernig": "阴"

},

{

"temp": "12 / 5°C",

"town": "大进镇",

"townurl": "101041500005",

"weatherday": "小雨",

"weathernig": "阴"

},

{

"temp": "12 / 4°C",

"town": "三墩土家族乡",

"townurl": "101270602040",

"weatherday": "小雨",

"weathernig": "阴"

},

{

"temp": "11 / 2°C",

"town": "井溪乡",

"townurl": "101270606020",

"weatherday": "小雨",

"weathernig": "小雨"

},

{

"temp": "12 / 2°C",

"town": "咸宜乡",

"townurl": "101041600020",

"weatherday": "小雨",

"weathernig": "阴"

},

{

"temp": "11 / 0°C",

"town": "渡口土家族乡",

"townurl": "101270602010",

"weatherday": "小雨",

"weathernig": "阴"

},

{

"temp": "8 / -1°C",

"town": "庙坝镇",

"townurl": "101041600015",

"weatherday": "小雨",

"weathernig": "阴"

},

{

"temp": "9 / 2°C",

"town": "漆树土家族乡",

"townurl": "101270602037",

"weatherday": "小雨",

"weathernig": "阴"

},

{

"temp": "12 / 2°C",

"town": "明通镇",

"townurl": "101041600016",

"weatherday": "小雨",

"weathernig": "阴"

}

],

"forecast_1h": [

{

"temp": 6,

"time": "08",

"weather": "小雨",

"weatherCode": "d07",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 6,

"time": "09",

"weather": "小雨",

"weatherCode": "d07",

"windD": "东风",

"windL": "<3级"

},

{

"temp": 6,

"time": "10",

"weather": "小雨",

"weatherCode": "d07",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 6,

"time": "11",

"weather": "小雨",

"weatherCode": "d07",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 7,

"time": "12",

"weather": "小雨",

"weatherCode": "d07",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 8,

"time": "13",

"weather": "小雨",

"weatherCode": "d07",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 9,

"time": "14",

"weather": "小雨",

"weatherCode": "d07",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 10,

"time": "15",

"weather": "小雨",

"weatherCode": "d07",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 10,

"time": "16",

"weather": "小雨",

"weatherCode": "d07",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 11,

"time": "17",

"weather": "小雨",

"weatherCode": "d07",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 10,

"time": "18",

"weather": "多云",

"weatherCode": "d01",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 8,

"time": "19",

"weather": "多云",

"weatherCode": "d01",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 7,

"time": "20",

"weather": "多云",

"weatherCode": "n01",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 7,

"time": "21",

"weather": "晴",

"weatherCode": "n00",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 6,

"time": "22",

"weather": "晴",

"weatherCode": "n00",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 6,

"time": "23",

"weather": "晴",

"weatherCode": "n00",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 5,

"time": "00",

"weather": "晴",

"weatherCode": "n00",

"windD": "东南风",

"windL": "<3级"

},

{

"temp": 4,

"time": "01",

"weather": "晴",

"weatherCode": "n00",

"windD": "南风",

"windL": "<3级"

},

{

"temp": 4,

"time": "02",

"weather": "晴",

"weatherCode": "n00",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 3,

"time": "03",

"weather": "多云",

"weatherCode": "n01",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 3,

"time": "04",

"weather": "多云",

"weatherCode": "n01",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 3,

"time": "05",

"weather": "多云",

"weatherCode": "n01",

"windD": "东北风",

"windL": "<3级"

},

{

"temp": 2,

"time": "06",

"weather": "多云",

"weatherCode": "d01",

"windD": "东南风",

"windL": "<3级"

},

{

"temp": 0,

"time": "07",

"weather": "阴",

"weatherCode": "d02",

"windD": "东南风",

"windL": "<3级"

}

],

"forecast_default": {

"humidity": 84,

"maxTemp": 11,

"minTemp": 0,

"temp": 12,

"time": "14:50",

"weather": "阴",

"weatherBg": "weatherBg03",

"wind": "东南风 1级"

}

}

]

参数说明

备注说明

该接口需要与其他接口配合使用户获取天气信息

3. 根据县id获取天气网数据

名称

根据县id获取天气网数据

描述

* 实况

* 生活指数

* 7天预报

* 预警信息

* 日出日落

请求方式

post/get

请求地址

/china?m=townlife&cntyid=101110403&cnty=神木

返回结果

[

{

"code": 20000,

"msg": "数据请求成功"

},

{

"forcast": {

"f_d_1_fl": "3.0",

"f_d_1_fx": "南风",

"f_d_1_fx_img": 0,

"f_d_1_wf": "多云",

"f_d_1_wf_img": 0,

"f_d_2_fl": "4.0",

"f_d_2_fx": "南风",

"f_d_2_fx_img": 0,

"f_d_2_wf": "多云",

"f_d_2_wf_img": 0,

"f_d_3_fl": "4.0",

"f_d_3_fx": "东北风",

"f_d_3_fx_img": 0,

"f_d_3_wf": "多云",

"f_d_3_wf_img": 0,

"f_d_4_fl": "3.0",

"f_d_4_fx": "西北风",

"f_d_4_fx_img": 0,

"f_d_4_wf": "阴",

"f_d_4_wf_img": 0,

"f_d_5_fl": "3.0",

"f_d_5_fx": "南风",

"f_d_5_fx_img": 0,

"f_d_5_wf": "阴",

"f_d_5_wf_img": 0,

"f_day_1": 1,

"f_day_2": 2,

"f_day_3": 3,

"f_day_4": 4,

"f_day_5": 5,

"f_n_1_fl": "3.0",

"f_n_1_fx": "南风",

"f_n_1_fx_img": 0,

"f_n_1_wf": "晴",

"f_n_1_wf_img": 0,

"f_n_2_fl": "3.0",

"f_n_2_fx": "南风",

"f_n_2_fx_img": 0,

"f_n_2_wf": "多云",

"f_n_2_wf_img": 0,

"f_n_3_fl": "3.0",

"f_n_3_fx": "西北风",

"f_n_3_fx_img": 0,

"f_n_3_wf": "多云",

"f_n_3_wf_img": 0,

"f_n_4_fl": "3.0",

"f_n_4_fx": "西北风",

"f_n_4_fx_img": 0,

"f_n_4_wf": "多云",

"f_n_4_wf_img": 0,

"f_n_5_fl": "3.0",

"f_n_5_fx": "西南风",

"f_n_5_fx_img": 0,

"f_n_5_wf": "雨夹雪",

"f_n_5_wf_img": 0,

"f_temp_h1": 7,

"f_temp_h2": 15,

"f_temp_h3": 16,

"f_temp_h4": 11,

"f_temp_h5": 11,

"f_temp_l1": 6,

"f_temp_l2": 1,

"f_temp_l3": 1,

"f_temp_l4": 4,

"f_temp_l5": 2,

"f_week_1": "四",

"f_week_2": "五",

"f_week_3": "六",

"f_week_4": "天",

"f_week_5": "一"

},

"lf": {

"l_detail_cl": "早晨天气寒冷，风力稍大，请尽量避免户外晨练，若坚持晨练请注意保暖避风防冻，建议年老体弱人群适当减少晨练时间。",

"l_detail_cy": "天气冷，建议着棉服、羽绒服、皮夹克加羊毛衫等冬季服装。年老体弱者宜着厚棉衣、冬大衣或厚羽绒服。",

"l_detail_gm": "将有一次强降温过程，极易发生感冒，请特别注意增加衣服保暖防寒。",

"l_detail_ls": "天气不错，午后温暖的阳光仍能满足你驱潮消霉杀菌的晾晒需求。",

"l_detail_ly"...

数据分析历经报表、BI、敏捷BI、自服务BI、数据挖掘等传统发展阶段，科技创新快速发展，今天，大数据已经进化到智能革命的阶段，任何企业都面临数据智能化的转型，大数据分析平台ETHINK在以上传统功能基础上，已为企业带来新的智能基因：

智能BI是“敏捷BI+深度洞察算法”

智能DM是“特征工程+机器学习+自动化挖掘”

智能AI是“数据+专家经验+智能算法”

ETHINK数据智能分析平台V8.0版本包括数据可视化、数据分析、数据挖掘等核心技术产品，欢迎对大数据有兴趣的企业和个人前来试用。（加入ETHINK体验QQ群：213750619，即可联系客服开通账号，不收取任何费用。）

ETHINK数据智能分析平台五款核心产品介绍：

快速BI：快速、简单、敏捷，帮助数据运营企业，建立拖拽式、数据探查式、在线分析的分析平台，自适应布局，可适应大屏、PC、移动BI等各类场景。

智能BI：强大、专业、智能，帮助行业企业建立拖拽式分析分析平台，强大的2次开发能力，帮助快速复制与行业推广。

数据挖掘分析：分布式内存计算大数据挖掘平台，流程式拖拽设计，包含从数据清晰加工、数据100多种算法，可以实现从客户流失分析、故障预警、风控、征信、推荐、预测等各类数据挖掘应用。

统计分析：统计分析平台集成了丰富的统计分析算法，通过拖拽的方式实现分析，平台包括数据探索、相关分析、方差分析、聚类分析、回归分析、时间序列分析、参数估计、假设检验等100余种统计分析方法，能够解决制造业、电信、金融、医疗、电力、零售、教育、政府等各个领域的问题。

小e机器人：包含图像、语音、自然语言感知，情感分析的听说读写感知，基于大数据深度学习的认知计算能力，是企业提供深度AI应用的基础平台。通过图像识别，文字识别，以及自然语言处理，ETHINK学习更多的知识，帮助机器服务人类。帮助实现图像识别、文本分析。通过特征工程，以及深度学习算法，结合专家经验和数据智能，实现类人智能应用。

想了解更多产品内容，可访问官网http://ethinkai网站的资源库中为大家提供了详细的操作手册，可自行下载。

每次更新，都是为了更好的前行

更酷炫的功能

全新的操作界面

为了每一位用户的体验而诞生

你，还要错过吗？？

附：ETHINK演示DEMO

至顶网CIO与应用频道 02月27日 编译：机器学习、人工智能、区块链、预测分析——所有令人惊叹的技术都承诺将革新商业和社会。

但如果没有数据的话，这些技术就一无是处。所幸的是，对于那些没有资源有条不紊收集每一条有用信息的企业和组织而言，他们可以免费从网上得到庞大（并且不断增加）的数据。

我们列出了2018年的30个免费在线大数据来源：

1、 世界银行开放数据（World Bank Open Data），是涵盖了全球人口统计数据、大量经济和发展指标的数据集。

2、 国际货币基金组织数据（IMF Data），国际货币基金组织公布的国际财务状况、债务率、外汇储备、商品价格和投资数据。

3、 美国国家教育统计中心（The US National Center for Education Statistics Data），提供了覆盖美国和世界各地的教育机构和教育人口统计的数据。

4、 英国数据中心（The UK Data Centre）是英国最大的社会、经济和人口的数据集。

5、 FiveThirtyEight，有大量提供政治和体育问题舆论数据的民意调查。

6、 FBI统一犯罪报告（FBI Uniform Crime Reporting），联邦调查局负责编辑和出版国家犯罪统计数据，并在国家、州和县级提供免费数据。

7、 美国司法局（Bureau of Justice），在这里你可以找到关于美国执法机构、监狱、假释和缓刑机构及法院的数据。

8、 Qlick Data Market提供免费包，可访问涵盖世界人口、货币、发展指标和天气数据的数据集。

9、 美国宇航局外行星存档（NASA Exoplanet Archive）的公共数据集涵盖了由美国宇航局空间探索任务收集的行星和恒星数据。

10、 联合国贸易数据库（UN Comtrade Database Statistics）统计是由联合国汇编并出版的资料，包括Comtrade Lab，展示了如何使用尖端分析和工具从数据中提取价值。

11、 金融时报市场数据（Financial Times Market Data）是关于全球金融市场的最新信息，包括股票价格指数、商品和外汇。

12、 谷歌趋势（Google Trends）是检查和分析全球互联网上搜索活动和趋势新闻的数据。

13、 Twitter，Twitter的优势在于大多数对话都是公开的，这意味着大量的数据可以通过其API获得，谁正在谈论什么，何地、何时以及为什么。

14、 谷歌学术（Google Scholar）包括学术论文、期刊、书籍和法律判例法的文本内容。

15、 Instagram，与Twitter一样，Instagram的帖子和对话默认为公开，其API允许对喜欢、提及和商业细节进行分析。

16、 OpenCorporates是全球最大的企业开放数据库。

17、 Glassdoor API提供了有关职位空缺、候选人、薪水和员工满意度的信息，可通过他们的开发者API获得。

18、 IMDB Datasets，是从网络上最大的电影、电视和从业人员中获得的多种格式数据集。

19、 OpenLibrary Data Dumps是关于世界各地图书馆书籍目录的数据集。

20、 Labelled Faces in the Wild整理并标记了13,000个人脸图像，用于开发涉及面部识别的应用。

21、 Microsoft Marco是微软的开放式机器学习数据集，用于阅读理解和问题回答的培训系统。

22、 机器学习数据集知识库（Machine Learning Dataset Repository）由集合了由参与机器学习项目的数据科学家贡献的开放数据集。

23、 易趣市场数据洞察（eBay Market Data Insights）提供了来自eBay的数以百万计的在线销售和拍卖数据。

24、 自然历史博物馆数据门户（Natural History Museum Data Portal）提供了关于伦敦博物馆藏品中近400万个历史标本的信息，以及自然世界的科学录音。

25、 欧洲核子研究中心开放数据（CERN Open Data），欧洲核子研究中心开展的粒子物理实验提供了超过1PB的数据。

26、 One Million Audio Cover Images数据集托管在archive.org上，涵盖世界各地发布的音乐，用于图像处理研究

27、 Complete Public Reddit Comments Corpus，2007年至2015年期间在Reddit上发布的10多亿份公共评论，用于训练语言算法。

28、 Microsoft Azure Data Markets Free Datasets，提供了涵盖从农业到天气所有内容的免费数据集。

29、 Irish Electric Vehicle Charge Point Status收集了这个负责爱尔兰共和国和北爱尔兰电动汽车充电站网络数据机构的数据。

30、 LondonAir提供了来自伦敦各地的污染和空气质量数据。