2017-10-26郑州房产麦克风郑州房产麦克风

开 篇

在文章开始前，纠正一个上篇文章的错误，对于特色小镇的面积控制，数字后多了一个“万”字，结果导致这样的一个数字概念出现了巨大的偏差，这是我们工作疏忽导致的，感谢发现问题并及时为我们指出的各位领导，我们在此对所有关注、关心我们平台的读者表示歉意。

下面言归正传，既然上篇文章我们在特色小镇的概念上出现了问题，那么我们重新整理了特色小镇的相关名词及参数，供大家参考：

特色小镇相关名词

1、定义：特色小镇“非镇非区”，是创新发展平台。特色小镇不是行政区划单元上的“镇”，它没有行政建制；特色小镇也不是产业园区的“区”，它不是单纯的“大工厂”，而是按照创新、协调、绿色、开放、共享发展理念，聚焦特色产业，融合文化、旅游、社区功能的创新创业发展平台。

2、面积：3-5平方公里（4500-7500亩）

3、核心建设用地：1平方公里（1500亩）

4、总投资额：3年30亿元到50亿元

5、运行：各方参与者联合成立“特色小镇规划建设工作联席会议办公室”，作为统筹特色小镇的重要机构。

6、发展使命：特色小镇是区域经济的发动机，是转型升级的试验田。示范小镇可以从市级开始，升级到省级、国家级、世界级，特色小镇要有领跑者，为建成一批高质量特色小镇树好典型、做好榜样，带动其他小镇比学赶超。

以上相关数据根据浙江省政府于2015年4月出台的《浙江省人民政府关于加快特色小镇规划建设的指导意见》中提出的规划建议进行整理得出。

用一个表格来阐述特色小镇的基本信息，如下：

特色小镇

产业

涵盖范围广，核心锁定最具发展基础、发展优势和发展特色的产业

功能

产业、文化、旅游、社区”一体化的符合功能载体

规模

视产业规模而定

形态

行政建制镇，或边界明确的非镇非区非园（这里所提区、园为传统意义上的工厂区以及工业园等）空间，或聚落空间/集聚区

特色小镇发展动力

1、基于国情的政策意见推动

“特色小镇建设”是国家新农村建设、新型城镇化在新时期、新常态下的“新举措、新模式”。

2、基于实效的财政土地政策

国家层面：国家发展改革委等有关部门支持符合条件的特色小镇建设项目申请专项建设基金；中央财政对工作开展较好的特色小镇给予适当奖励。

3、基于浙江的成功示范效应

浙江省决定创建100个省级特色小镇，不少小镇已经投入运行并显现勃勃生机。

4、基于现实的特色发展需求

有限局促的城建空间；个体私营经济比重大；经济总量增速减缓；市场供给丰度不足；块状经济分布；消费需求外溢。

那么对于特色小镇的评判标准，见下表：

特色小镇特征分析

国家第一批的127个特色小镇，我们进行了有针对性的数据分析，来看看每个项目的特征都是怎样的，希望通过对数据的分析，总结出一些特有规律，对随后的小镇项目开发提供依据，特征分析如下：（2017年7月26日，住房城乡建设部公布了第二批276个中国特色小镇名单。针对这第二批项目，我们也会持续进行数据收集、整理、分析工作，并及时将工作成果汇报给大家）

--

地理类型分布

下图反映了各种地理类型小镇的空间分布特征，可以大致看出，平原型的特色小镇在东部沿海地区较多，丘陵型的特色小镇在长江流域分布较多，山区类型的特色小镇在中西部地区和东南沿海分布较多。特色小镇的地理特征分布基本较为均衡。

--

区位特征

特色小镇与城市的关系可以分为三种类型：大城市近郊、大城市远郊和农业地区。下图可以看出，农业地区的特色小镇最多，其次是大城市近郊区，而大城市远郊区的特色小镇最少。从南北分布上看，大城市近郊的特色小镇在南方要多于北方，而农业小镇则在北方要多于南方。但总体而言，并未表现出明显的规律性。

--

辖区面积

辖区面积最大的是呼伦贝尔市额尔古纳市莫尔道嘎镇4160平方公里，最小的是黑龙江大兴安岭地区漠河县北极镇26平方公里，平均镇域面积255.85平方公里。从空间分布特征看，长三角和珠三角地区的镇辖区面积规模较小，湖北、内蒙古、西藏和新疆、云南等地区的镇辖区规模较大，但特征不是很明显。

--

建设用地

再来看看特色小镇的用地规模，下图中显示，小镇建成区面积呈现出了十分明显的极端现象，东部沿海地区的小城镇建成区规模普遍较大，而内陆地区的小镇建成区规模普遍较小。建成区规模最大的是天津市滨海新区中塘镇（56平方公里），最小的是北京市密云区古北口镇（24公顷）。有趣的是建成区规模最大与最小的都是在直辖市。平均建成区规模为6.68平方公里。127个镇，人均建设用地面积243.75平方米。

而各镇的控规编制情况，平均达到了11.31平方公里，是建成区面积的169%，详情见下图：

--

镇区人口分布图

从镇区人口规模的分布特点来看，规律性不是很明显。沿海地区和内陆地区都有人口大镇，也都有人口小镇。沿海镇区人口规模最大的镇是浙江省温州市乐清市柳市镇16.01万人，最小的是广东省肇庆市高要区回龙镇888人。内陆镇区人口规模最大的镇是新疆生产建设兵团第八师石河子市北泉镇9.47万人，最小的镇是西藏拉萨市尼木县吞巴乡300人。127个镇的镇区人口平均规模是2.74万人。

镇域人口分布图

从镇域人口规模看，除长三角、珠三角、山东半岛、川渝贵地区大镇较多外，其他地区分布较为均衡。镇域人口规模最大的镇是佛山市顺德区北滘镇28.81万人，最小的镇是西藏拉萨市尼木县吞巴乡2714人，平均规模是5.71万人。

从城镇化水平来看，127个特色小镇的平均城镇化水平为46.22%，比国家城镇化水平低了近10个百分点。

--

就业特征

特色小镇最关键的还是要解决居民的就业问题。从其就业的特征分布来看，长三角、珠三角、环渤海地区的特色小镇在提供就业岗位方面表现突出，就业规模最大的镇是广东省佛山市顺德区北滘镇（18.7万个就业岗位），最小的是青海省海西蒙古族藏族自治州乌兰县茶卡镇（1010个就业岗位），127个特色小镇平均提供的就业岗位为26624个。

但也不可否认，长江中游地区、西北地区和东北地区的特色小镇的就业供给能力依然偏弱，再进一步地分析特色小镇的就业人员构成，可以发现，除了为镇区人口提供就业岗位以外，特色小镇对周边地区的带动作用也比较明显，尤其在长三角地区和西南云贵川地区。127个特色小镇平均带动周边农村人口就业高达10385个，占全部就业岗位的39%。显然，特色小镇在乡村振兴的过程中也起到了非常重要的支撑作用。

但是，我们进一步地分析特色小镇的主导产业情况就会发现，其主导产业吸纳的就业人口只占全部就业人口的47.9%。看来特色小镇的主导产业尚不够清晰。

特色小镇十大类型

1、历史文化型小镇：

打造历史文化型小镇，一是要小镇历史脉络清晰可循；二是小镇文化内涵重点突出、特色鲜明；三是要小镇的规划建设延续历史文脉，尊重历史与传统。

2、城郊休闲型小镇：

打造城郊休闲型小镇，一是要小镇与城市距离较近，位于都市旅游圈之内，距城市车程最好在2小时以内；二是小镇要根据城市人群的需求进行针对性的开发，以休闲度假为主；三是小镇的基础设施建设与城市差距较小。

3、新型产业型小镇：

打造新兴产业型小镇，一是小镇位于经济发展程度较高的区域；二是小镇以科技智能等新兴产业为主，科技和和互联网产业尤其突出；三是小镇有一定的新兴产业基础的积累，产业园区集聚效应突出。

4、特色产业型小镇：

打造特色产业型小镇，一是要小镇产业特点以新奇特等产业为主；二是小镇规模不宜过大，应是小而美、小而精、小而特。

5、交通区域型小镇：

打造交通区位型小镇，一是要小镇交通区位条件良好，属于重要的交通枢纽或者中转地区，交通便利；二是小镇产业建设应该能够联动周边城市资源，成为该区域的网络节点，实现资源合理有效的利用。

6、资源禀赋型小镇：

打造资源禀赋型小镇，一是要小镇资源优势突出，处于领先地位；二是小镇市场前景广阔，发展潜力巨大；三是对小镇的优势资源深入挖掘，充分体现小镇资源特色。

7、生态旅游型小镇：

打造生态旅游型小镇，一是要小镇生态环境良好，宜居宜游；二是产业特点以绿色低碳为主，可持续性较强；三是小镇以生态观光、康体休闲为主。

8、高端制造型小镇：

打造高端制造型小镇，一是要小镇产业以高精尖为主，并始终遵循产城融合理念；二是注重注重高级人才资源的引进，为小镇持续发展增加动力；三是突出小镇的智能化建设。

9、金融创新型小镇：

打造金融创新型小镇，一是要小镇经济发展迅速的核心区域，具备得天独厚的区位优势、人才优势、资源优势、创新优势、政策优势；二是小镇有一定的财富积累，市场广阔，投融资空间巨大；三是科技金融是此类小镇发展的强大动力和重要支撑。

10、时尚创意型小镇：

打造时尚创意型小镇。一是小镇以时尚产业为主导，并与国际接轨，引领国际时尚潮流；二是小镇应该以文化为深度，以时尚为广度，实现产业的融合发展；三是小镇应该打造一个时尚产业的平台，促进国内与国际的互动交流。

写到这里，今天的内容分享就到这里了，也许有朋友会问，文章中的数据是从何而来？对此，我们卖个关子，近期会有重要信息发布，到时大家不光能够知道数据的来源，而且还能够通过我们获得这样的数据，为各个项目提供数据护航。

关于下篇内容，我们聊一下特色小镇相关政策？有兴趣不？欢迎留言讨论！

编辑 | 重量级

制作 | Edmond

长按关注

郑州房产麦克风

“ 没有任何人任何事能够阻碍大数据、互联网。”马云爸爸在 2017 世界智能大会上如是说。

IDC公司对大数据也进行了预测：大数据和业务分析市场将从2018年的1301亿美元增长到2020年的2030多亿美元。

目前，大数据及分析市场正迅猛发展，与此相关的毕业生也成为炙手可热的专业人才。而随着新的大数据技术正在进入市场，未来大数据发展方向千变万化。

时代瞬息万变，对于年轻人来说，该如何规划自己的未来？是否要抓住这个时代风口，成为大数据人才的一份子？

对于留学生而言，是否从事大数据领域的工作，关心的问题还包括：

▲大数据发展情况如何，未来有什么发展趋势？

▲大数据在金融、教育等各领域是如何应用的？

▲大数据人才需求现状是怎样的，具体有哪些岗位？

▲大数据人才需要哪些技能？

▲怎么知道自己适不适合做大数据？

▲大数据人才如何做职业规划？

▲非 data science专业的学生该如何做大数据？

▲想做大数据，大学期间应该学哪些课程？

对Business Analyst，Marketing Analyst，Data Analyst 方向感兴趣的学生;想从事金融、商业、市场、数据等分析师岗位的人

想了解更多

关注并私信我吧

大数据时代的到来，越来越多的人选择学习大数据，那关于大数据分析的六大基本方面是哪些，一起来了解一下

可视化分析

不管是对数据分析专家还是普通用户

数据可视化是数据分析工具最基本的要求

可视化可以直观的展示数据

让数据自己说话，让观众听到结果

数据挖掘算法

可视化是给人看的，数据挖掘就是给机器看的

集群、分割、孤立点分析还有其他的算法

让我们深入数据内部，挖掘价值

这些算法不仅要处理大数据的量

也要处理大数据的速度

预测性分析能力

数据挖掘可以让分析员更好的理解数据

而预测性分析可以让分析员根据可视化分析和数据挖掘的结果

做出一些预测性的判断

语义引擎

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从"文档"中智能提取信息

数据质量和数据管理

数据质量和数据管理是一些管理方面的最佳实践

通过标准化的流程和工具对数据进行处理

可以保证一个预先定义好的高质量的分析结果

数据存储，数据仓库

数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台

成都加米谷大数据科技有限公司

个人培训 丨 企业内训

成都市高新区天府二街蜀都中心1栋705

2017-10-26郑州房产麦克风郑州房产麦克风

开 篇

在文章开始前，纠正一个上篇文章的错误，对于特色小镇的面积控制，数字后多了一个“万”字，结果导致这样的一个数字概念出现了巨大的偏差，这是我们工作疏忽导致的，感谢发现问题并及时为我们指出的各位领导，我们在此对所有关注、关心我们平台的读者表示歉意。

下面言归正传，既然上篇文章我们在特色小镇的概念上出现了问题，那么我们重新整理了特色小镇的相关名词及参数，供大家参考：

特色小镇相关名词

1、定义：特色小镇“非镇非区”，是创新发展平台。特色小镇不是行政区划单元上的“镇”，它没有行政建制；特色小镇也不是产业园区的“区”，它不是单纯的“大工厂”，而是按照创新、协调、绿色、开放、共享发展理念，聚焦特色产业，融合文化、旅游、社区功能的创新创业发展平台。

2、面积：3-5平方公里（4500-7500亩）

3、核心建设用地：1平方公里（1500亩）

4、总投资额：3年30亿元到50亿元

5、运行：各方参与者联合成立“特色小镇规划建设工作联席会议办公室”，作为统筹特色小镇的重要机构。

6、发展使命：特色小镇是区域经济的发动机，是转型升级的试验田。示范小镇可以从市级开始，升级到省级、国家级、世界级，特色小镇要有领跑者，为建成一批高质量特色小镇树好典型、做好榜样，带动其他小镇比学赶超。

以上相关数据根据浙江省政府于2015年4月出台的《浙江省人民政府关于加快特色小镇规划建设的指导意见》中提出的规划建议进行整理得出。

用一个表格来阐述特色小镇的基本信息，如下：

特色小镇

产业

涵盖范围广，核心锁定最具发展基础、发展优势和发展特色的产业

功能

产业、文化、旅游、社区”一体化的符合功能载体

规模

视产业规模而定

形态

行政建制镇，或边界明确的非镇非区非园（这里所提区、园为传统意义上的工厂区以及工业园等）空间，或聚落空间/集聚区

特色小镇发展动力

1、基于国情的政策意见推动

“特色小镇建设”是国家新农村建设、新型城镇化在新时期、新常态下的“新举措、新模式”。

2、基于实效的财政土地政策

国家层面：国家发展改革委等有关部门支持符合条件的特色小镇建设项目申请专项建设基金；中央财政对工作开展较好的特色小镇给予适当奖励。

3、基于浙江的成功示范效应

浙江省决定创建100个省级特色小镇，不少小镇已经投入运行并显现勃勃生机。

4、基于现实的特色发展需求

有限局促的城建空间；个体私营经济比重大；经济总量增速减缓；市场供给丰度不足；块状经济分布；消费需求外溢。

那么对于特色小镇的评判标准，见下表：

特色小镇特征分析

国家第一批的127个特色小镇，我们进行了有针对性的数据分析，来看看每个项目的特征都是怎样的，希望通过对数据的分析，总结出一些特有规律，对随后的小镇项目开发提供依据，特征分析如下：（2017年7月26日，住房城乡建设部公布了第二批276个中国特色小镇名单。针对这第二批项目，我们也会持续进行数据收集、整理、分析工作，并及时将工作成果汇报给大家）

--

地理类型分布

下图反映了各种地理类型小镇的空间分布特征，可以大致看出，平原型的特色小镇在东部沿海地区较多，丘陵型的特色小镇在长江流域分布较多，山区类型的特色小镇在中西部地区和东南沿海分布较多。特色小镇的地理特征分布基本较为均衡。

--

区位特征

特色小镇与城市的关系可以分为三种类型：大城市近郊、大城市远郊和农业地区。下图可以看出，农业地区的特色小镇最多，其次是大城市近郊区，而大城市远郊区的特色小镇最少。从南北分布上看，大城市近郊的特色小镇在南方要多于北方，而农业小镇则在北方要多于南方。但总体而言，并未表现出明显的规律性。

--

辖区面积

辖区面积最大的是呼伦贝尔市额尔古纳市莫尔道嘎镇4160平方公里，最小的是黑龙江大兴安岭地区漠河县北极镇26平方公里，平均镇域面积255.85平方公里。从空间分布特征看，长三角和珠三角地区的镇辖区面积规模较小，湖北、内蒙古、西藏和新疆、云南等地区的镇辖区规模较大，但特征不是很明显。

--

建设用地

再来看看特色小镇的用地规模，下图中显示，小镇建成区面积呈现出了十分明显的极端现象，东部沿海地区的小城镇建成区规模普遍较大，而内陆地区的小镇建成区规模普遍较小。建成区规模最大的是天津市滨海新区中塘镇（56平方公里），最小的是北京市密云区古北口镇（24公顷）。有趣的是建成区规模最大与最小的都是在直辖市。平均建成区规模为6.68平方公里。127个镇，人均建设用地面积243.75平方米。

而各镇的控规编制情况，平均达到了11.31平方公里，是建成区面积的169%，详情见下图：

--

镇区人口分布图

从镇区人口规模的分布特点来看，规律性不是很明显。沿海地区和内陆地区都有人口大镇，也都有人口小镇。沿海镇区人口规模最大的镇是浙江省温州市乐清市柳市镇16.01万人，最小的是广东省肇庆市高要区回龙镇888人。内陆镇区人口规模最大的镇是新疆生产建设兵团第八师石河子市北泉镇9.47万人，最小的镇是西藏拉萨市尼木县吞巴乡300人。127个镇的镇区人口平均规模是2.74万人。

镇域人口分布图

从镇域人口规模看，除长三角、珠三角、山东半岛、川渝贵地区大镇较多外，其他地区分布较为均衡。镇域人口规模最大的镇是佛山市顺德区北滘镇28.81万人，最小的镇是西藏拉萨市尼木县吞巴乡2714人，平均规模是5.71万人。

从城镇化水平来看，127个特色小镇的平均城镇化水平为46.22%，比国家城镇化水平低了近10个百分点。

--

就业特征

特色小镇最关键的还是要解决居民的就业问题。从其就业的特征分布来看，长三角、珠三角、环渤海地区的特色小镇在提供就业岗位方面表现突出，就业规模最大的镇是广东省佛山市顺德区北滘镇（18.7万个就业岗位），最小的是青海省海西蒙古族藏族自治州乌兰县茶卡镇（1010个就业岗位），127个特色小镇平均提供的就业岗位为26624个。

但也不可否认，长江中游地区、西北地区和东北地区的特色小镇的就业供给能力依然偏弱，再进一步地分析特色小镇的就业人员构成，可以发现，除了为镇区人口提供就业岗位以外，特色小镇对周边地区的带动作用也比较明显，尤其在长三角地区和西南云贵川地区。127个特色小镇平均带动周边农村人口就业高达10385个，占全部就业岗位的39%。显然，特色小镇在乡村振兴的过程中也起到了非常重要的支撑作用。

但是，我们进一步地分析特色小镇的主导产业情况就会发现，其主导产业吸纳的就业人口只占全部就业人口的47.9%。看来特色小镇的主导产业尚不够清晰。

特色小镇十大类型

1、历史文化型小镇：

打造历史文化型小镇，一是要小镇历史脉络清晰可循；二是小镇文化内涵重点突出、特色鲜明；三是要小镇的规划建设延续历史文脉，尊重历史与传统。

2、城郊休闲型小镇：

打造城郊休闲型小镇，一是要小镇与城市距离较近，位于都市旅游圈之内，距城市车程最好在2小时以内；二是小镇要根据城市人群的需求进行针对性的开发，以休闲度假为主；三是小镇的基础设施建设与城市差距较小。

3、新型产业型小镇：

打造新兴产业型小镇，一是小镇位于经济发展程度较高的区域；二是小镇以科技智能等新兴产业为主，科技和和互联网产业尤其突出；三是小镇有一定的新兴产业基础的积累，产业园区集聚效应突出。

4、特色产业型小镇：

打造特色产业型小镇，一是要小镇产业特点以新奇特等产业为主；二是小镇规模不宜过大，应是小而美、小而精、小而特。

5、交通区域型小镇：

打造交通区位型小镇，一是要小镇交通区位条件良好，属于重要的交通枢纽或者中转地区，交通便利；二是小镇产业建设应该能够联动周边城市资源，成为该区域的网络节点，实现资源合理有效的利用。

6、资源禀赋型小镇：

打造资源禀赋型小镇，一是要小镇资源优势突出，处于领先地位；二是小镇市场前景广阔，发展潜力巨大；三是对小镇的优势资源深入挖掘，充分体现小镇资源特色。

7、生态旅游型小镇：

打造生态旅游型小镇，一是要小镇生态环境良好，宜居宜游；二是产业特点以绿色低碳为主，可持续性较强；三是小镇以生态观光、康体休闲为主。

8、高端制造型小镇：

打造高端制造型小镇，一是要小镇产业以高精尖为主，并始终遵循产城融合理念；二是注重注重高级人才资源的引进，为小镇持续发展增加动力；三是突出小镇的智能化建设。

9、金融创新型小镇：

打造金融创新型小镇，一是要小镇经济发展迅速的核心区域，具备得天独厚的区位优势、人才优势、资源优势、创新优势、政策优势；二是小镇有一定的财富积累，市场广阔，投融资空间巨大；三是科技金融是此类小镇发展的强大动力和重要支撑。

10、时尚创意型小镇：

打造时尚创意型小镇。一是小镇以时尚产业为主导，并与国际接轨，引领国际时尚潮流；二是小镇应该以文化为深度，以时尚为广度，实现产业的融合发展；三是小镇应该打造一个时尚产业的平台，促进国内与国际的互动交流。

写到这里，今天的内容分享就到这里了，也许有朋友会问，文章中的数据是从何而来？对此，我们卖个关子，近期会有重要信息发布，到时大家不光能够知道数据的来源，而且还能够通过我们获得这样的数据，为各个项目提供数据护航。

关于下篇内容，我们聊一下特色小镇相关政策？有兴趣不？欢迎留言讨论！

编辑 | 重量级

制作 | Edmond

长按关注

郑州房产麦克风

洞察与大数据之间是什么关系？大数据解决不了的问题可以用洞察来解决吗？

大数据与洞察之间不是相互替代关系。前者是后者的原材料，后者是用前者生产出的产品，二者之间并不矛盾。

大约从2012起，中国兴起了一股大数据热潮。在各方的炒作下，大数据被包装得无所不能，成为解决各种问题的万能良药。于是乎，人们都在谈论大数据，仿佛不懂大数据就会被时代抛弃了一样。很多企业盲目上了大数据系统，有的甚至斥巨资来追赶这股热潮，还有的大幅削减在传统洞察方面的投资，转投到大数据上。2016年以来，热潮迅速退去，人们才发现，号称搞大数据的，大部分是在裸泳，不少甚至在以“黑数据”冒充“大数据”在骗钱。于是，交了学费、尝了苦头的企业，产生了另一种认识，即大数据否定不能解决问题，开始对各种大数据持怀疑和态度了。

其实这里存在一个认识误区，就是把知识的各个层次混淆了，把数据与洞察混为一谈。严谨一点说，知识有四个层次，即：数据，即产生洞察的原材料；信息，即经过加工和处理，形成的对事物属性的描述；知识，即经过人类大脑的加工，融入人类的价值判断，对事物的优劣、是非的认识；洞察，则是对知识的升华，具有指向性，可以告诉人们如何选择，或者怎样的选择会导致怎样的结果。由于人们在现实生活中通常并不做这种区分，把大数据与大数据应用、大数据洞察，也就不足为怪了。

无论大数据热潮中炒作者把大数据说得多么神，他们所能做的，基本是停留在数据和信息层的，特别强调数量的大，是对数据的获取、结构化、清洗、描述而已。这样的所谓“大数据”，当然没有多少实际用处，解决不了什么实际决策问题。我们眼里的大数据，则是数量（Volume）、多样性（Variety）、激增性（Velocity）、价值性（Value）的统一，是把各种来源、各种形式的大量且在不断快速增长的数据，经过数据技术的分析挖掘，融入知识、理论模型，从而形成知识和洞察的过程和应用。

不得不说，现存的大数据产品和服务，尽管在实用价值上有了很大进步，但输出结果普遍存在机械性、内部一致性问题或曰逻辑自洽问题。背后的原因，主要是过度依赖数据可供性和技术，缺少了对数据背后商业意义与商业逻辑的理解，机械地把现象间的共发当作因果，甚至不考虑时间先后。这就是我们强调数据、技术、知识三位一体结合的原因，其中的知识，就是指对数据背后商业意义和商业逻辑的理解，包括决策的理论与模型。

张文双参加”第四届‘一带一路’园区建设国际合作峰会暨第十五届中国企业发展论坛营商环境峰会”同向与会代表介绍了动因大数据与传统大数据的本质区别,他说:“我们把消费者通过社交媒体、自媒体平台表达意见、态度、价值取向产生大数据的称作表达大数据,其特点是芜杂、不聚焦;把他们在电商、服务平台通过交易、出行、搜索、浏览等操作形成的大数据称作痕迹大数据,这种大数据具有事后性和碎片性;而动因大数据的价值在探究表达、痕迹背后的态度、心理及场景因素,具有强烈的主动性、目的性、预示性,更好地诠释现象背后的深层关系,解读原因,预测未知。他相信,动因大数据将在表达大数据和痕迹大数据基础上,形成大数据的第三极。这三种大数据相互支撑,相互补充,才是大数据的完整图景。（作者：张文双）

作者简介：

张文双，云图元睿（上海）科技有限公司董事长，主要创始人。经济学专家，营销管理专家，曾任WPP集团旗下国际研究集团中国区副总裁、董事 ，全球研发机构产品评审委员会（PET）成员、营销科学集团（MSG）中国区负责人，战略管理委员会核心成员。美国营销协会（AMA）会员。2017年与合伙人联合创建云图起势（上海）科技有限公司 及云图元睿（上海）科技有限公司。现任云图元睿（上海）科技有限公司董事长、CEO 。

主要研究咨询领域：市场细分战略，新产品研发战略，品类管理战略，品牌资产评估与管理，顾客资产评估与管理，人才资产评估与管理，多源数据整合与挖掘，高级统计分析与建模。（源自：百度百科）

大数据是IT领域热度最高的项目之一，其主体内容为统计学、运筹学、机器学习、沟通能力、编程、可视化、商业直觉、数据处理和行业知识等。大数据培训是大数据发展带动下的衍生行业，是培养大数据专业人才的关键。北大青鸟旗舰总校给您更好的发展，体验不一样的大数据课程。

课程模块

模块一

模块二

模块三

模块四

模块五

产品体系-优势、亮点（专业版）

01课程绝对深度+前沿性 好工作、职业发展、各种技术转型

Java+大数据 全栈、技术储备

加入“互联网架构师”课程 绝对提升Level

业务架构

信息架构

应用架构

技术架构

安全架构

网络拓扑架构

不断增加的新技能点

02遇到问题、分析问题、解决问题—最佳实践性教学

业务级解决方案

03遇到问题、分析问题、解决问题—最佳实践性教学

业务级解决方案

系统级解决方案

04项目贯穿、真枪实弹

丰富的项目库，互联网项目为主

垂直架构 | 分布式架构 | 微服架构

互联网应用——最佳解决方案

架构方面

技术方面

业务方面

所有的项目均采用敏捷方式进行开发管理

传统行业

1、架构：垂直架构

业务相对简单、用户量较小、较少的高并发处理考虑

2、技术

Java Core、Web框架(SSM/SSH)等

3、数据存储

Oracle、MySql

互联网行业

1、架构：分布式集群架构

用户量/PV量大增、高并发/高访问处理、业务模块化…

2、技术

DubboX(微服)、MQ、分布式事务处理、缓存技术等

3、海量数据大数据(抓取数据+数据分析挖掘+可视化)

Hadoop、Spark、Storm、Deep-Learning

互联网技术岗位变化-1

1、技术相互交融，各岗位之间界限不明显

对人员的要求：广度+深度

2、技术岗位的职业发展

Backend Dev—技术转型便捷性

3、大数据岗位需具备开发语言基础

互联网技术岗位变化-2

1、产品变革，大数据学院更适应市场需求

2、开发语言作为基础纳入到大数据学院中

大数据岗位技术要求

1、java/Python

2、分布式、高并发、集群、架构设计

3、Hadoop、Spark、Storm、Hive......

4、数据库&缓存技术

5、Web框架

大数据岗位开发语言要求

在大数据岗位总体技术要求分析中，其中Java语言占到73.12%的出现频率，即在大数据工程师招聘信息中有73.12%的招聘信息对Java语言有技术要求

大数据岗位类型

大数据岗位薪资

规划思路

立足当下，把握趋势，分层次培养,成就高薪就业

旗舰总校具备拓展市场的能力

多产品，清晰各类产品的市场定位

产品体系：广度+深度 | 基础升级

产品模块化，可自由组合+拆分

线下培训是适用于所有想学大数据的朋友，对于基础差、自学能力较弱、自控力较弱的朋友来说，选择线下机构是最好的选择，远程和视频等教学方式很容易半途而废。

在如此快速的到来的大数据革命时代，我们还有很多知识需要学习，选择北大青鸟旗舰总校，未来定会前程似锦。

一全排序

Hadoop自带的Partitioner的实现有两种，一种为HashPartitioner, 默认的分区方式，计算公式\nhash(key)%reducernum，另一种为TotalOrderPartitioner,\n为排序作业创建分区，分区中数据的范围需要通过分区文件来指定。

分区文件可以人为创建，如采用等距区间，如果数据分布不均匀导致作业完成时间受限于个别reduce任务完成时间的影响。

也可以通过抽样器，先对数据进行抽样，根据数据分布生成分区文件，避免数据倾斜。

注意，key可以是数字型，也可以是BinaryComparable（字符串），当是BinaryComparable时，则以key构造Trie Tree；否则以二分查找来确定key的所属区间。

二单词共现矩阵算法

其目的是在海量语料库中发现在固定窗口内单词a和单词b共同出现的频率，从而构建单词共现矩阵，这样的矩阵可以是对称的，也可以是不对称的，这要看具体的应用。

这种抽象化的任务的有效解决在实际生活中有着很多的应用。例如电子商家希望发现不同物品被同时购买的情况以便有效安排货物的摆放位置；同时对信息检索领域同义词词典的构建以及文本挖掘等都有着重要的实际应用价值。

根据同现关系的不同，可能需要实现和定制不同的FileInputFormat和RecordReader，如同现关系为一个英文句子，则需要实现以一个英文句子为单位的FileInputFormat和RecordReader，如同现关系为一个段落，则需要实现以一个段落为单位的FileInputFormat和RecordReader

三倒排索引

Inverted Index(倒排索引)是目前几乎所有支持全文检索的搜索引擎都要依赖的一个数据结构。基于索引结构，给出一个词(term)，能取得含有这个term的文档列表(the list of documents)，没什么可说的，必须掌握。

大数据需要学习什么?很多人问过我这个问题。每一次回答完都觉得自己讲得太片面了，总是没有一个合适的契机去好好总结这些内容，直到开始写这篇东西。大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。

大数据需要的语言 Java

java可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从Jave Web开发转岗过来的(当然也不是绝对我甚至见过产品转岗大数据开发的，逆了个天)。

一是因为大数据的本质无非就是海量数据的计算，查询与存储，后台开发很容易接触到大数据量存取的应用场景 二就是java语言本事了，天然的优势，因为大数据的组件很多都是用java开发的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入学习，填上生产环境中踩到的各种坑，必须得先学会java然后去啃源码。

说到啃源码顺便说一句，开始的时候肯定是会很难，需要对组件本身和开发语言都有比较深入的理解，熟能生巧慢慢来，等你过了这个阶段，习惯了看源码解决问题的时候你会发现源码真香。

Python和Shell

shell应该不用过多的介绍非常的常用，属于程序猿必备的通用技能。python更多的是用在数据挖掘领域以及写一些复杂的且shell难以实现的日常脚本。

分布式计算

什么是分布式计算?分布式计算研究的是如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多服务器进行处理，最后把这些计算结果综合起来得到最终的结果。

举个栗子，就像是组长把一个大项目拆分，让组员每个人开发一部分，最后将所有人代码merge，大项目完成。听起来好像很简单，但是真正参与过大项目开发的人一定知道中间涉及的内容可不少。

比如这个大项目如何拆分?任务如何分配?每个人手头已有工作怎么办?每个人能力不一样怎么办?每个人开发进度不一样怎么办?开发过程中组员生病要请长假他手头的工作怎么办?指挥督促大家干活的组长请假了怎么办?最后代码合并过程出现问题怎么办?项目延期怎么办?项目最后黄了怎么办?

仔细想想上面的夺命十连问，其实每一条都是对应了分布式计算可能会出现的问题，具体怎么对应大家思考吧我就不多说了，其实已经是非常明显了。也许有人觉得这些问题其实在多人开发的时候都不重要不需要特别去考虑怎么办，但是在分布式计算系统中不一样，每一个都是非常严重并且非常基础的问题，需要有很好的解决方案。

最后提一下，分布式计算目前流行的工具有：

离线工具Spark，MapReduce等 实时工具Spark Streaming，Storm，Flink等

分布式存储

传统的网络存储系统采用的是集中的存储服务器存放所有数据，单台存储服务器的io能力是有限的，这成为了系统性能的瓶颈，同时服务器的可靠性和安全性也不能满足需求，尤其是大规模的存储应用。

分布式存储系统，是将数据分散存储在多台独立的设备上。采用的是可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

上图是hdfs的存储架构图，hdfs作为分布式文件系统，兼备了可靠性和扩展性，数据存储3份在不同机器上(两份存在同一机架，一份存在其他机架)保证数据不丢失。由NameNode统一管理元数据，可以任意扩展集群。

主流的分布式数据库有很多hbase，mongoDB，GreenPlum，redis等等等等，没有孰好孰坏之分，只有合不合适，每个数据库的应用场景都不同，其实直接比较是没有意义的。

最后：

大家都知道大数据的技术日新月异，作为一个程序猿想要保持竞争力就必须得不断地学习

随着互联网时代的到来，颠覆了传统行业的盈利模式，大家都把注意力集中在了互联网上。前几年大数据时代的来临，为各行各业提供了更加开阔的数据用作分析。

百科对于大数据是这样解释的：麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据大数据，核心仍然是‘数据’。在学习大数据技术前，我们首先应该明白大数据的‘数据的本质’。

首先，不论是企业行为或是政府决策，亦或者个人文化和心智修养，判断世间万物，甚至包括洞察宏大的宇宙变化和时空转换，都可以也应该嵌入数据化去思考，若是无法理解这一点，那么就要思考自身是否适合往大数据方向发展。

其次，研究并开发利用绝大部分数据大多是无用且有害的，这个过程既枯燥而且也不确定得来数据的价值。但是，可以利用一些好的办法和简单的规律，使数据活用起来，否则，学习发展大数据将失去本该有的意义。

最后，从事大数据工作的各类人才在进行数据化思考时，一定要时刻想到、意识到‘关联’二字。关联一是要找出数据与数据之间的关联性，二是要处理好的数据从自动生成到传输存储，三是要加工挖掘再到形成有价值的东西流通交易，最后再回到对源数据生成及其采集流程的有针对性地再造。这一循环各环节缺一不可，以此建立人与人之间合作信任的长效可持续机制。

大数据不是独奏，而是不断连接、无处不在的数据

前几天有私信给我要大数据学习资料，我连夜整理了一些有深度的教程和参考资料，从入门到高级，文件已经上传好，正在学习大数据的可以免费下载学习，文件下载方式：

首先把代码撸起来！首先把代码撸起来！首先把代码撸起来！哈哈！编程是们手艺活。什么意思？得练啊！

一、大数据应用思维

【例1】

产品经理给大数据部门提了个需求：我想知道所有用户的标签，比如哪些用户喜欢时尚类型的微博、哪些用户是单身狗等，好给这些人针对性推阿里巴巴的广告，而且很急，下个月新版本就要上线。

大数据部门的程序员们收到需求之后，一分析，数据有好几百TB，一台机器跑要跑7个月（200多天），所以得用分布式计算。于是搞了100台服务器，并把这100台服务器分成两部分，一部分有90台，叫Master，负责划分数据，分配数据处理任务；一部分有10台，叫Worker，负责归并数据块，计算出最终结果。

服务器搭建好了，架构弄好以后，程序员开始分头写程序，一部分负责写数据文件的划分，把文件分成一小块一小块来处理；一部分负责写计算任务调度，就是把划分好的数据文件分配到90台Master服务器中；一部分负责写归并处理程序，部署到剩下的10台Worker服务器，接收那90台服务器传过来的数据，并计算结果；一部分负责写出错检测，检查哪些机器挂了导致计算任务停止了，一旦发现出错了，把计算任务分配到其他正常的服务器上计算。

10台Worker服务器根据1，2，3...10，进行了编号，假设每个人的都有一个微博ID（是数字）,按照微博ID的个位数来进行划分，比如我ID是 1001，那我的处理结果会在1号服务器，ID是100213，那么处理结果就在3号服务器。

假设上面的流程都正常，因为机器多了，原本需要200多天的任务，有了100台机器，结果3天就跑完了！得到了这样的微博用户特征（@大师兄[单身概率 88%，科技工作者概率90%，性别男概率100%，本科毕业概率81%，收入水平5000元/月概率 10% ...]）。

二、数据处理的流程

大数据的数据处理这件事用一种非技术的角度来看的话，可以按处理顺序分为三个部分，第一个部分是数据采集，第二个部分是数据存储，第三个部分是数据分析，这也是大数据搭建的基本产品模型。

1、数据采集

● 基本原则

全：多种源（客户端、服务端、数据库等），完善的数据源（零售、C端、电商、供应链等）全量而且非抽样

细：Who、When、Where、How、What

数据采集最重要的就是数据源，数据源好，后面的事情都很容易。但如果数据源就有问题或是太差不全之类的，后面有些问题用再复杂的算法可能都解决不了，可能都是很难得到正确的结论。所以数据采集处理流程有两个基本的原则，一个是全，一个是细。

● 全：就是说我们要拿多种数据源，不能说只拿一个客户端的数据源，服务端的数据源没有拿，数据库的数据源没有拿，做分析的时候没有这些数据你可能是搞歪了。大数据里面讲的是全量，而不是抽样，因为数据之间可能有很大差异。比如纵向里，做全国零售数据分析的时候，不能只把四川或者北京的拿来分析，因为它一定代表不了黑龙江、甘肃等地方，所以必须要全量分析全国数据。横向里，我们在分析某个商品的总的销售情况的时候，我们除了分析线下零售数据还有需要C端外送数据和电商数据，因为一个东西可能在公司的多个业务系统上销售。所以对于多个业务系统的公司，需要每个业务系统涉及的数据都要足够全，不能有任何一个系统有缺失。

● 细：其实就是强调多维度，在采集数据的时候尽量把每一个的维度、属性、字段都给它采集过来。比如：像 where、who、how 这些东西给它替补下来，后面分析的时候就跳不出这些能够所选的这个维度，而不是说开始的时候也围着需求。根据这个需求确定了产生某些数据，到了后面真正有一个新的需求来的时候，又要采集新的数据，这个时候整个迭代周期就会慢很多，效率就会差很多，尽量从源头抓的数据去做好采集。

● 数据清洗：在数据采集过程种需要对源数据做清洗处理。其实也是对数据做加工的过程，确保命名约定，编码结构，属性维度等一致性。因为本身的源数据会存在垃圾数据，本身也是杂乱的没有很好的逻辑，数据清洗的过程就是让数据更具逻辑性，更干净有序的存储。

2、数据存储

①、数据建模

数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后，在visio或erwin等工具建立数据库实体以及各实体之间关系的过程（实体一般是表）。在软件工程中，数据建模是运用正式的数据建模技术，建立信息系统的数据模型的过程。（百度百科）

数据模型就是对现实世界的一个抽象化的数据的表示。大数据的数据建模则是基于大数据本身的数据量、数据特征、业务需求、还有自身分析重点和目标做的数据模型。我们可以针对分析的需求对数据重新进行解码，它内容可能是一致的，但是我们的组织方式改变了一下。就拿用户行为这块数据来说，就可以对它进行一个抽象，然后重新把它作为一个判断表。数据建模时常常考虑的有两个概念，一个是维度，一个是指标

通常各个业务系统，一般前端做一个请求，然后对请求经过处理，再更新到数据库里面去，数据库里面建了一系列的数据表，数据表之间都是很多的依赖关系。这些表一个业务项发展差不多一年以上它可能就牵扯到几十张甚至上百张数据表，然后把这个表直接提供给业务分析人员去使用，理解起来难度是非常大的。数据建模则可以把这些关系重构，让业务人员更容易理解。

②、数据仓库

● 面向主题：数据仓库是围绕着一些主题，如顾客，供应商，产品，销售等创建的。数据仓库关注决策者的数据建模与分析，排除对决策无用的数据，提供特定简单明确的数据视图。

● 集成：构造数据仓库时，数据来源是多种异构的数据源，使用数据清洗和数据集成技术，确保命名约定，编码结构，属性维度等一致性。

● 伴随时间变化：数据仓库存储从时间维度提供信息，所以每一条数据必须包含时间维度，同时也就需要各个业务系统在建表时加入“创建时间、修改时间、创建人、修改人、是否删除”五个字段

● 非易失：数据仓库不同于普通的业务应用数据，它跟操作环境下的应用数据是分离的，所以它不需要参与事务处理和并发控制。通常它只需要两种数据访问：数据的装入（抽取）和数据访问，不存在数据更新或者数据删除，所以数据修改时需要加入数据修改时间、修改人，数据删除时在数仓标记数据已经删除。

数据仓库在创建的时候需要分库和分表：创建表时根据数据清洗阶段进行分库，根据主题域进行分表。

③、数据集市

数据集市(Data Mart) ，也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。数据中心的重点就在于它迎合了专业用户群体的特殊需求，在分析、内容、表现，以及易用方面。数据中心的用户希望数据是由他们熟悉的术语表现的。

用通俗的话说数据仓库是为数据集市提供服务，在数据仓库里，每个数据单元都与特定的时间相关。数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策。而数据集市就是数据仓库的一个子集，他主要面向部门级业务，并且只面向某个特定的主题。为了解决灵活性与性能之间的矛盾，数据集市就是数据仓库体系结构中增加的一种小型的部门或工作组级别的数据仓库。数据集市存储为特定用户预先计算好的数据，从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。

在数据结构上，数据仓库是面向主题的、集成的数据的集合。而数据集市通常被定义为星型结构或者雪花型数据结构，数据集市一般是由一张事实表和几张维表组成的。

数据集市特点：

● 数据集市的特征包括规模小。

● 有特定的应用。

● 面向部门。

● 由业务部门定义、设计和开发。

● 业务部门管理和维护。

● 能快速实现。

● 购买较便宜。

● 投资快速回收。

● 工具集的紧密集成。

● 提供更详细的、预先存在的、数据仓库的摘要子集。

● 可升级到完整的数据仓库。

3、数据分析

当数据采集回来并存储好以后就可以在这基础上运用这些数据来做数据分析了，对于互联网产品常用的分析方式有四种：

①、多维度分析： 多维事件的分析，对不同维度之间的组合、关系进行分析。

②、漏斗分析：对于电商、订单相关的这种行为的产品来说非常重要，要看不同的渠道转化这些东西，一个用户从做第一步操作到后面每一步操作，可能是一个杂的过程。

③、留存分析：用户来了之后我们希望他不断的来，不断的进行购买，这就是留存。

④、回访分析：回访是留存的一种特别的形式，可以看他一段时间内访问的频次，或者访问的时间段的情况

上面说的四种分析结合起来去使用，对一个产品的数据支撑、数据驱动的这种深度就要比只是看一个宏观的访问量或者活跃用户数就要深入很多。