11月22日，由国际商业机器有限公司（IBM）参与，Avazu（艾维邑动）主办的应“云”而生，“数”聚有为——云计算助力大数据掘金线下沙龙在上海四季酒店顺利举行。会议现场，Avazu（艾维邑动）携手IBM与参会的行业嘉宾分享了互联网时代下Avazu在科技领域同IBM深入携手合作所取得的优异成果。

Avazu作为全球领先的移动程序化广告平台，通过自身丰富的行业经验和领先科技，为参会嘉宾带来更多的智慧灵感，同时也与到场的嘉宾们开启了一场关于云计算、大数据挖掘的深度探讨。

会议现场

嘉宾签到

站在科技大变革的时代边沿，大数据演化的链条沿着技术的枝干扩展开来，每位嘉宾的发言都凝结为指向一方的标识，为大数据下隐藏的价值指明未来的方向。

Avazu（艾维邑动）现为大家奉上大会的精彩瞬间。

蒋旭春——IBM大中华区云计算事业部产品总监

游戏、广告、泛娱媒体行业的云使用

蒋旭春作为CSP VAS SDP领域专家,在全球交付过多个AppStore, Cloud, SmartCity, PaaS/IaaS, SNS, SDP, eRead 项目, 有着丰富的大型解决方案设计和复杂项目实施经验，通过蒋旭春的分享，参会嘉宾对泛媒体行业区块链的云使用有了更加深刻的了解。

庄旭——Avazu DSP 总监

百亿级全球流量一站式采购DSP的数据之道

基于IBM softlayer，Avazu DSP实现了超过250亿日展示曝光，庄旭理论结合实际，为参会嘉宾讲解一站式采购的数据之道。

何军——IBM大中华区云计算事业部大数据平台技术经理

如何依托云平台助力海量数据分析

何军任职IBM超过15年，熟悉传统IT系统和数据架构，对于数据规划、数据治理有非常丰富的经验。通过这次分享，何军将自己对云平台如何助力海量数据分析的经验与认识，精准的传达给参会嘉宾。

应海峰——nDefender云盾项目负责人

大数据市场，企业云安全战略如何部署的精妙见解

应海峰作为杰出90后创业者，在大数据市场有深刻的洞见，通过他深入浅出的讲解，参会嘉宾知晓了企业云战略如何更高效地建立和部署。

圆桌讨论

在圆桌讨论环节，会议采用嘉宾微信提问，逐一作答的方式积极交换和分享信息，嘉宾通过一问一答的形式汲取新的营养。

本次以 “应‘云’而生，‘数’聚有为”为主题的线下沙龙在嘉宾们热烈的探讨中圆满落下帷幕，同时也为所有到场嘉宾呈现了一场云计算助力大数据掘金的干货盛宴。来自出海全球化和云计算的行业先行者们就云平台助力海量数据分析、流量采买、游戏广告泛娱乐媒体行业云使用等做了深入的分享和探讨。演讲嘉宾经过精心的筹备，为大家呈现了一场云计算助力出海的饕餮盛宴。在砥砺前行的同时，Avazu也期盼与您下次相见，与行业同仁一同探讨、展望中国的产业革新，共融共赢。

关于Avazu

2009年成立，总部位于上海，是全球最大的移动程序化广告平台之一，为广告商提供一站式效果营销解决方案，已覆盖全球135个国家，85%以上的网民，AvazuDSP实现了超过250亿日展示曝光、平均提高7倍在线销售额的突破。

关于nDefender

nDefender隶属于跨国互联网集团DotC United Group，拥有雄厚的国际技术资源，致力于在原有安全技术基础上，有效融合大数据、机器学习、安全可视化等技术，提供形态灵活的安全产品，保障客户业务安全。

防御基础

1.1. 攻击流量到底多大

谈到DDoS防御，首先就是要知道到底遭受了多大的攻击。这个问题看似简单，实际上却有很多不为人知的细节在里面。

以SYN Flood为例，为了提高发送效率在服务端产生更多的SYN等待队列，攻击程序在填充包头时，IP首部和TCP首部都不填充可选的字段，因此IP首部长度恰好是20字节，TCP首部也是20字节，共40字节。

对于以太网来说，最小的包长度数据段必须达到46字节，而攻击报文只有40字节，因此，网卡在发送时，会做一些处理，在TCP首部的末尾，填充6个0来满足最小包的长度要求。这个时候，整个数据包的长度为14字节的以太网头，20字节的IP头，20字节的TCP头，再加上因为最小包长度要求而填充的6个字节的0，一共是60字节。

但这还没有结束。以太网在传输数据时，还有CRC检验的要求。网卡会在发送数据之前对数据包进行CRC检验，将4字节的CRC值附加到包头的最后面。这个时候，数据包长度已不再是40字节，而是变成64字节了，这就是常说的SYN小包攻击，数据包结构如下：

|14字节以太网头部|20字节IP头部|20字节TCP|6字节填充|4字节检验||目的MAC|源MAC|协议类型| IP头 |TCP头|以太网填充 | CRC检验 |

到64字节时，SYN数据包已经填充完成，准备开始传输了。攻击数据包很小，远远不够最大传输单元（MTU）的1500字节，因此不会被分片。那么这些数据包就像生产流水线上的罐头一样，一个包连着一个包紧密地挤在一起传输吗？事实上不是这样的。

以太网在传输时，还有前导码（preamble）和帧间距（inter-frame gap）。其中前导码占8字节（byte），即64比特位。前导码前面的7字节都是10101010，1和0间隔而成。但第八个字节就变成了10101011，当主机监测到连续的两个1时，就知道后面开始是数据了。在网络传输时，数据的结构如下：

|8字节前导码|6字节目的MAC地址|6字节源MAC地址|2字节上层协议类型|20字节IP头|20字节TCP头|6字节以太网填充|4字节CRC检验|12字节帧间距|

有了上面的基础，现在可以开始计算攻击流量和网络设备的线速问题了。当只填充IP头和TCP头的最小SYN包跑在以太网络上时，100Mbit的网络，能支持的最大PPS（Packet Per Second）是100×106 / (8 * (64+8+12)) = 148809，1000Mbit的网络，能支持的最大PPS是1488090。

1.2. SYN Flood防御

前文描述过，SYN Flood攻击大量消耗服务器的CPU、内存资源，并占满SYN等待队列。相应的，我们修改内核参数即可有效缓解。主要参数如下：

net.ipv4.tcp_syncookies = 1net.ipv4.tcp_max_syn_backlog = 8192

net.ipv4.tcp_synack_retries = 2

分别为启用SYN Cookie、设置SYN最大队列长度以及设置SYN+ACK最大重试次数。

SYN Cookie的作用是缓解服务器资源压力。启用之前，服务器在接到SYN数据包后，立即分配存储空间，并随机化一个数字作为SYN号发送SYN+ACK数据包。然后保存连接的状态信息等待客户端确认。启用SYN Cookie之后，服务器不再分配存储空间，而且通过基于时间种子的随机数算法设置一个SYN号，替代完全随机的SYN号。发送完SYN+ACK确认报文之后，清空资源不保存任何状态信息。直到服务器接到客户端的最终ACK包，通过Cookie检验算法鉴定是否与发出去的SYN+ACK报文序列号匹配，匹配则通过完成握手，失败则丢弃。当然，前文的高级攻击中有SYN混合ACK的攻击方法，则是对此种防御方法的反击，其中优劣由双方的硬件配置决定

tcp_max_syn_backlog则是使用服务器的内存资源，换取更大的等待队列长度，让攻击数据包不至于占满所有连接而导致正常用户无法完成握手。net.ipv4.tcp_synack_retries是降低服务器SYN+ACK报文重试次数，尽快释放等待资源。这三种措施与攻击的三种危害一一对应，完完全全地对症下药。但这些措施也是双刃剑，可能消耗服务器更多的内存资源，甚至影响正常用户建立TCP连接，需要评估服务器硬件资源和攻击大小谨慎设置。

除了定制TCP/IP协议栈之外，还有一种常见做法是TCP首包丢弃方案，利用TCP协议的重传机制识别正常用户和攻击报文。当防御设备接到一个IP地址的SYN报文后，简单比对该IP是否存在于白名单中，存在则转发到后端。如不存在于白名单中，检查是否是该IP在一定时间段内的首次SYN报文，不是则检查是否重传报文，是重传则转发并加入白名单，不是则丢弃并加入黑名单。是首次SYN报文则丢弃并等待一段时间以试图接受该IP的SYN重传报文，等待超时则判定为攻击报文加入黑名单。

首包丢弃方案对用户体验会略有影响，因为丢弃首包重传会增大业务的响应时间，有鉴于此发展出了一种更优的TCP Proxy方案。所有的SYN数据报文由清洗设备接受，按照SYN Cookie方案处理。和设备成功建立了TCP三次握手的IP地址被判定为合法用户加入白名单，由设备伪装真实客户端IP地址再与真实服务器完成三次握手，随后转发数据。而指定时间内没有和设备完成三次握手的IP地址，被判定为恶意IP地址屏蔽一定时间。除了SYN Cookie结合TCP Proxy外，清洗设备还具备多种畸形TCP标志位数据包探测的能力，通过对SYN报文返回非预期应答测试客户端反应的方式来鉴别正常访问和恶意行为。

清洗设备的硬件具有特殊的网络处理器芯片和特别优化的操作系统、TCP/IP协议栈，可以处理非常巨大的流量和SYN队列。

1.3. HTTP Flood防御

HTTP Flood攻击防御主要通过缓存的方式进行，尽量由设备的缓存直接返回结果来保护后端业务。大型的互联网企业，会有庞大的CDN节点缓存内容。

当高级攻击者穿透缓存时，清洗设备会截获HTTP请求做特殊处理。最简单的方法就是对源IP的HTTP请求频率做统计，高于一定频率的IP地址加入黑名单。这种方法过于简单，容易带来误杀，并且无法屏蔽来自代理服务器的攻击，因此逐渐废止，取而代之的是java script跳转人机识别方案。

HTTP Flood是由程序模拟HTTP请求，一般来说不会解析服务端返回数据，更不会解析JS之类代码。因此当清洗设备截获到HTTP请求时，返回一段特殊java script代码，正常用户的浏览器会处理并正常跳转不影响使用，而攻击程序会攻击到空处。

1.4. DNS Flood防御

DNS攻击防御也有类似HTTP的防御手段，第一方案是缓存。其次是重发，可以是直接丢弃DNS报文导致UDP层面的请求重发，可以是返回特殊响应强制要求客户端使用TCP协议重发DNS查询请求。

特殊的，对于授权域DNS的保护，设备会在业务正常时期提取收到的DNS域名列表和ISP DNS IP列表备用，在攻击时，非此列表的请求一律丢弃，大幅降低性能压力。对于域名，实行同样的域名白名单机制，非白名单中的域名解析请求，做丢弃处理。

1.5. 慢速连接攻击防御

Slowloris攻击防御比较简单，主要方案有两个。

第一个是统计每个TCP连接的时长并计算单位时间内通过的报文数量即可做精确识别。一个TCP连接中，HTTP报文太少和报文太多都是不正常的，过少可能是慢速连接攻击，过多可能是使用HTTP 1.1协议进行的HTTP Flood攻击，在一个TCP连接中发送多个HTTP请求。

第二个是限制HTTP头部传输的最大许可时间。超过指定时间HTTP Header还没有传输完成，直接判定源IP地址为慢速连接攻击，中断连接并加入黑名单。

2. 企业级防御

互联网企业防御DDoS攻击，主要还是使用上文的基础防御手段， 重点在于使用监控、组织以及流程等东西来保障及时、正确的使用这些手段，并根据攻击策略的改变而改变。

2.1. 异常监控

监控需要具备多层监控、纵深防御的概念，从骨干网络、IDC入口网络的BPS、PPS、协议分布，负载均衡层的VIP新建连接数、并发连接数、BPS、PPS到主机层的CPU状态、TCP新建连接数状态、TCP并发连接数状态，到业务层的业务处理量、业务连通性等多个点部署监控系统。即使一个监控点失效，其他监控点也能够及时给出报警信息。多个点的信息结合起来，有助于准确的判断攻击目标和攻击手法。

2.2. 流程以及预案、演习

一旦发现异常，立即启动在虚拟防御组织中的应急流程。防御组织需要囊括到足够全面的人员，至少包含监控部门、运维部门、网络部门、安全部门、客服部门、业务部门等，所有人员都需要2-3个备份。流程启动后，除了人工处理，还应该包含一定的自动处理、半自动处理能力。例如自动化的攻击分析，确定攻击类型，自动化、半自动化的防御策略，在安全人员到位之前，最先发现攻击的部门可以做一些缓解措施。

除了DDoS到来之时的流程等工作之外，更多的工作是在攻击到来之前。主要包含CDN节点部署、DNS设置、流程演习等。对于企业来说，具备多个CDN节点是DDoS防御容量的关键指标。当一个机房承担不住海量数据时，可以通过DNS轮询的方式，把流量引导到多个分布节点，使用防御设备分头处理。因此DNS的TTL值需要设置得足够小，能够快速切换，每个CDN节点的各种VIP设置也需要准备充分。

3. 总结

在虚拟化时代，海量用户的不同业务共处在相同的物理机平台，遭受DDoS攻击的可能性越来越高。而且一个用户被攻击可能牵扯到大量的其他用户，危害被显著放大，因此防御显得尤为重要。虚拟化云计算业务，平均每天遭受约200起DDoS攻击，最大流量达到接近80Gbit/s，所有这些攻击都在1分钟内自动处理完成，让客户远离DDoS的威胁，专心发展业务。

总地来说，对DDoS防御，主要的工作是幕后积累。台上十分钟，台下十年功，没有充分的资源准备，没有足够的应急演练，没有丰富的处理经验，DDoS攻击将是所有人的噩梦。

在各指导单位、赞助厂商、合作伙伴及所有参会者的全力配合下，2017世界云计算日·中国站（WHD.china）于5月23日圆满落幕！本次活动由云锁CEO王健担任大会主持，主题演讲、圆桌对话、展览展示三部分组成，围绕“云计算、云安全、云运维”等话题展开深度探讨。同时，国际化演讲嘉宾阵容也体现了大会的专业性及影响力。主办方WHD.china希望通过对大会主题的精心设置和讲师议题的反复打磨，力求为参会者带来一场技术和实践的饕餮盛宴。

President of WorldHostingDays——Soeren von Varchmin

云锁CEO——王健

上午的主题分享主要由业界领军人物分享他们的云实践心得，预判云趋势，剖析云安全动向。来自中国信息通信研究院主任工程师、可信云负责人、云计算开源产业联盟秘书长栗蔚开场，发表了《可信云，未来新生态》专题演讲。她指出在当前国内外云计算产业“火热”发展的背后，存在着的诸如数据安全、服务质量、权益保障等多种问题。而可信云是我国唯一针对云服务可信性的权威认证体系，用户可在事前根据可信云的标准选购产品和服务，在事中、事后分别进行动态的、定级的风险评估，以保障自身权益，促进云计算产业良性发展。紧接着，CSA全球战略总顾问兼亚太区代主席李雨航先生分析了当下不容乐观的网络安全形势，尤其重点剖析了当下肆虐全球网络系统的WannaCry勒索病毒。随后他指出在此形势下，我们一方面需制定更加严苛的网络安全法律，约束和严惩网络犯罪行为；另一方面安全公司需加大技术创新和研究，紧跟业务定制化安全、智能感知化安全、整合平台化安全三个发展趋势。李主席认为，未来整个生态链基于生物识别的技术将比较流行，物联网设备将有非常大的发展空间。

中国信息通信研究院主任工程师、可信云负责人、云计算开源产业联盟秘书长——栗蔚女士

CSA全球战略总顾问兼亚太区代主席——李雨航先生

Plesk是全球领先的可视化服务器控制面板。首席战略官Diarmuid Daltú 通过问答互动的形式，用数据阐明传统主机商该如何应对大型云主机商的飞速发展。他表示，主机商可利用Plesk支持开放第三方扩展的特点，无缝衔接WordPress，Joomla等建站及CMS工具，为目标客户提供行业定制化建站解决方案，占领市场主动权。他的演讲深入浅出，妙趣横生，将大会气氛推向高潮。紧接着，ICANN北京合作中心主任张建川向参会者阐释了什么是ICANN（即以及ICANN的工作内容，并指出作为互联网产业的基础，ICANN在互联网系统的安全稳定性和持续性方面发挥着重要的作用。最后，他倡导参会者加入到制定通用标识符的行列，共同预测发展趋势，确保互联网正常稳定运行。

Plesk CSO——Diarmuid Daltú（左）

阿里云副总经理金戈先生及易观资深分析师朱大林先生分别带来了《云数据和大计算如何成为企业发展的引擎》、《中国云计算生态化是大势所趋》的主题演讲，他们指出企业应找准自身定位，通过互联网云计算架构和产品，应对快速变化的市场，促进转型升级。将云计算和大数据打造成为中国企业发展新的动力引擎，从而实现企业资源的优化创新，建设拥有自我独特竞争力的云生态。

聚焦热点、剖析技术、落地应用

在下午的主题分享上，来自云计算、云安全、云运维领域顶级企业的一线专家们，分享了最新技术进展和应用实践。首先由中企通信云计算与信息安全服务部经理詹东东先生重点介绍了为产业升级点燃一体化源动力的创新ICT服务。他希望通过中企通信从咨询、设计、部署、运维等的一套完整的解决方案，帮助企业找到实现升级和转型的动力。美团云架构师滕传永先生则围绕中小企业混合云技术实践，分享了美团云在基础设施的设计、运维中积累的经验，以及如何在混合云产品中完成技术输出。国际嘉宾Resello云服务商城的创始合伙人Joeri Borstlap在演讲中指出当前国际市场需求巨大，而Resello可以向国际用户提供一整套的域名服务，以及高性能的自动化解决方案，帮助企业更加简单、便捷地开展业务。

在互联网信息如此易获得和透明的今天，企业如何增加自身竞争力并从中获胜？针对这一问题，融云、Entrust、亚洲诚信、云保久久的嘉宾们各自阐述了他们的观点。融云联合创始人兼CTO杨攀先生从CIO关注的几大问题，阐明了他的观点。企业应该去借助一个平台去构建协同沟通能力，构建移动信息化平台和入口，通过这个能力来提升企业的竞争力；Entrust渠道经理尹东梅女士与参会者探讨了云计算和主机服务中的数据安全保护策略；来自亚洲诚信的余宁先生则主要向大家介绍HTTPS常见安全威胁以及如何部署安全的HTTPS服务；云保久久CEO鲁海军先生介绍了IT保险和IT风险管理。他指出按照标准对IT事故进行定损和赔偿可帮助企业降低损失，目前最具代表性的云和数据中心已经部署了IT保险。此外，他表示将与全球平台合作，成立IT保险管理专家委员会，制定保险的国际标准以及搭建IT风险专家委员会。

特色活动丰富多彩，圆桌对话妙趣横生

由“云计算一姐”顾逸南女士主持的圆桌对话，将整场活动推向另一高潮！参与讨论的嘉宾包括易宝集团CTO陈斌、唱吧技术总监李玉峰、拉手网运维总监常纯、乐视云计算安全中心总经理万涛、阿里云事业群北京分公司副总经理李国欢。对话内容围绕云应用实践过程中对云的诉求和解决办法展开了积极深入的讨论，重点强调了认知云、使云透明化以及网络安全中预防的重要性，同时国内IT企业应当积极吸收国外优秀的云计算技术，并将其与国内巨大的市场需求相结合，促进中国云计算市场积极快速发展。

“云爵奖”花落谁家？

“云爵奖”的评选一直颇受业界的广泛关注和好评。今年的各种奖项花落谁家？一起来看今年 “云爵奖”的完整获奖名单：

年度最佳海外IDC服务商奖——Zenlayer

年度最佳云数据中心奖——中企网络通信技术有限公司

年度最佳云安全奖——亚洲诚信

年度最佳SSL证书奖——Entrust Datacard Corporation

年度最佳创新奖——美团云

年度最佳云平台奖——融云

随着云爵奖颁奖典礼的结束，本次汇聚众多IT大咖、精彩纷呈的中国站会议圆满地落下了帷幕。

随着云计算、大数据时代的到来，特别是智慧城市建设浪潮的兴起，云计算、大数据应用热潮已经掀开了新的一页。作为业界知名的云计算技能培训企业和高端IT人才教育品牌，码课学院通过对课程的不断升级、创新，已经具备了涵盖Linux、Hadoop、Storm、Scala、Spark等多个技术层面的云计算和大数据综合技能培训的雄厚实力，正逐渐加深对云计算大数据时代的影响。

大数据时代，云计算高薪人才需求增长

随着新科技领域如云计算、物联网、大数据的蓬勃发展，跑在时代前沿的高科技产业面临新一轮的人才需求，排在首位的当数云计算专业。据码课学院就业部数据统计，2012年至2015年的3年间，云计算的相关工作需求年增长率高达26%，大数据方向开发工程师（Hadoop2、Storm、Spark）的薪资待遇：入门级别月薪在10000-12000左右，精通级别为20000-50000左右。企业对云计算人才甚至出现了“一家有百家求”的空前局面。

大数据已经是未来IT行业发展的一个方向，根据市场研究机构IDC预测，到2016年大数据将实现8.128亿美元的销售额——复合年增长率达到60.2%，大数据已经在各行各业得到了大量使用，如互联网、金融、电信、医疗、气象、水文、航天等。市场对于大数据人才的需求量也与日俱增。通过学习这些大数据技术（如Hadoop2或Storm或Spark）可以让你从一位普通的程序员完成一次华丽的转身。

例如阿里计算云、百度云盘、华为云盘、中国移动“大云”、中国电信“e云”、中国联通“互联云”、联想“云存储、云终端”、华为“云帆”计划……无一不反映 了当代云计算这一新技术职业的崛起。在此背景下，打造专职人才的云计算培训也进行的如火如荼。

码课学院课程升级，对接高薪云计算人才需求

码课学院云计算高手班1期还未毕业时，提前面试拿到就业情况非常不错！经过第1期的历练和打磨，码课学院更加完善了课程体系，加深了课程的深度和广度，将知识进行了重新的整理及细化，内容的安排更加合理，知识一环扣一环，循序渐进，让学员在“so easy”的情况下完成云计算的学习。

紧跟技术潮流是码课学院师资一贯的追求，“让我们的学员走在别人的前面，让别人跟在我们屁股后面”是码课学院教育的目标。码课学院秉承一贯的严谨、求实、深入浅出的讲课风格，把新的研究成果奉献给大家。

此次云计算课程升级，主要目标是培养在云计算领域非常紧缺的大数据技术方向的人才，课程涉及到大数据技术中绝大部分知识，既夯实了学员的基本功底，又通过结合公司真实的项目案例，提高学员动手能力和解决问题的能力，可以让刚毕业的大学生达到有1-2年大数据工作经验的水平，学习能力强的或有IT工作经验的学员甚至可以达到2-3年大数据工作经验的水平。学员进入公司后可以快速地投入到工作当中，提高学员在企业中竞争力。

学员学习完本套课程可以从事云计算的大数据方向相关工作，可以胜任大数据数据挖掘、大数据实时处理等工作。

不忘初心，坚持为改变中国IT教育而奋斗

码课学院积极响应国家“互联网+”计划的号召，对于互联网、大数据等新兴技术高度重视，创办云计算大数据人才培养学科，并不断更新课程，展现出了不断进取、不满现状的互联网的创新思维和视角。围绕着互联网+、大数据开展的一系列高端教育服务既有理论高度、又有清晰的课程大纲，为教育事业奉献力量，码课学院正在行动。

今天主要介绍大数据产业特点及现状，新朋友可以翻阅我前面的文章，跟上学习大数据的步伐。希望大家持续学习，每天关注，我会连续更新文章，让大家系统学习和认识大数据。

一、大数据产业分类及特点

1.1 大数据产业分类

产业分类目前对于大数据产业的分类并没有统一规定，依据不同角度可以总结为以下几种：

（１）二分法 。主要依据占有大数据的情况，分为大数据产业和大数据衍生产业。大数据产业主要指自身生产数据或者获取数据的存储、分析、应用类产业。大数据衍生产业主要指从事大数据产业所需要的基础设施和技术支持类产业。

（２）三分法 。主要依据数据的营销模式将大数据产业分为３类：①应用大数据进行用户信息行为分析，实现企业自身产品和广告推介的产业；②通过对大数据进行整合，为用户提供从硬件、软件到数据整体解决方案的企业；③出售数据产品和为用户提供具有针对性解决方案的服务产业。

（３）五分法。 按照产业的价值模式分为大数据内生型价值模式、外生型价值模式、寄生型价值模式、产品型价值模式和云计算服务型价值模式（见表）。

１.２　大数据产业特点

（１）产业数据资产化 。在大数据时代，数据渗透到每个行业，逐渐成为企业资产，也成为大数据产业创新的核心驱动力。自身生产数据的互联网企业具有得天独厚的优势，其可以利用其丰厚的数据资产，挖掘数据的潜在价值，洞察用户的信息行为，推动产业利用数据实现精准和个性化的生产、营销和获利模式。

（２）产业技术的高创新性 。创新是大数据产业发展的基石。世界上每天都在生成海量数据，如何有效地获取数据、存储数据、整合数据和服务用户，需要大数据产业技术不断革新。具体来讲，包括对大数据的去冗降噪技术、高效率低成本的大数据存储与有效融合技术、非结构化和半结构化数据的高效处理、适合不同行业的大数据挖掘分析工具和开发环境、大幅度降低数据处理、存储和通信能耗等技术的不断优化和创新，为用户提供高效、高质量、个性化的服务。

（３）产业决策智能化 。大数据产业在推动企业决策智能化发展中起到领头羊的作用。首先是产业自身决策智能化的发展，其次是为行业决策智能化提供数据、技术与管理平台。赛迪的研究报告显示：过去，企业对数据的关注只是存储和传输，而企业利用的数据不足其获得数据的５％，在数据量每年约６０％增长的情况下，企业平均只获取其中２５％～３０％的数据，作为企业战略的数据还远未得到挖掘。随着大数据产业的发展，分布式计算的大数据推动生产组织向去中心、扁平化、自组织、自协调方向演化，促进劳动与资本一体化，并且在决策过程中极大地克服人类的有限理性，推动决策朝着智能化、科学化的方向发展。

（４）产业服务个性化。 Monetate公司的调查报告显示，与未利用数据分析的企业相比，投入并分析数据的企业增长率为４９％，而通过可量化的个性化实现在线销售额的增长率为１９％。因而，基于数据的分析成为大数据产业提供个性化服务的重要工具。这些产业通过数据挖掘用户的兴趣和偏好，针对个体需求开展个性化定制与云推荐业务，提升产品服务质量，满足用户更高级别的需求，以获得更高的经济收益。

二、我国大数据产业发展现状

2.1　政策与法律层面

（１）虽然我国大数据产业目前缺乏国家层面的政策，但是在相关的国家战略中已经涉及大数据技术与发展规划。例如《“十二五”国家战略性新兴产业发展规划》提出支持海量数据存储、处理技术的研发与产业化；《物联网“十二五”发展规划》也将信息处理技术列为４项关键技术创新工程之一，其中包括海量数据存储、数据挖掘、图像视频智能分析，另外３项关键技术创新工程包括信息感知技术、信息传输技术、信息安全技术，这些也是大数据产业的重要组成部分，与大数据产业发展密切相关。但这些只是大数据产业链的部分环节，尚缺乏系统性、整体性、纲领性的大数据产业政策。

（２）开放数据是指非专有的、机器可读的、免费的数据，任何人可以不受法律或技术限制来使用、重复使用、操作和传播这些数据。公布政府数据的目的不仅是为了接受监督，还可以激发创意，通过数据再处理来增加数据价值。政府部门所拥有的数据占整个社会数据的绝大部分，而政府数据开放政策的制定会进一步推动大数据产业的深入发展。与国外相比，我国在政府数据开放方面还没有相应的政策、法规出台，在一定程度上制约了我国大数据产业的发展。

（３）大数据环境下，关于信息主权的界定和网络用户隐私的保护将对国家安全和数字经济的发展创造良好环境。目前我国关于网络用户隐私保护的问题在相关法律中有所涉及。例如《计算机信息网络国际联网安全保护管理办法》第７条规定：“用户的通信自由和通信秘密受法律保护。任何单位和个人不得违反法律规定，利用国际联网侵犯用户的通信自由和通信秘密。”《计算机信息网络国际联网管理暂行规定实施办法》第１８条规定：“不得擅自进行未经许可的计算机操作，篡改他人信息，冒用他人名义发出信息，侵犯他人隐私。”大数据环境下，这些法律条款在用户隐私保护方面虽然起到一定的作用，但远远不够，目前我国并没有制定关于网络用户隐私安全的单行法律，这是我国大数据产业发展的一个重要制约因素。

2.2　产业层面

（１）产业区位。 我国大数据产业集聚区位于经济比较发达的地区，北京、上海依旧是发展的核心地区，这些地区的信息技术产业基础良好，并且已经形成了较完备的产业链，产业规模也在不断扩大，吸纳了全国比较优秀的信息技术人才，为相关企业向大数据产业迅速转型奠定了良好基础。同时，在这些地区也涌现出很多初创的公司加入到数据存储和数据分析的开发和研究中来。

（２）产业结构 。根据赛迪顾问云计算产业研究中心发布的报告，２０１２年，我国大数据产业链雏形已经初显。大数据产业链主要涉及数据的收集、存储、分析和应用等几个主要环节，国内很多信息技术企业也纷纷开始转型，向数据的管理、应用和服务转型。这种转型带来的变化主要有：①企业更加注重自身的数据开放和应用，提高企业决策效率和完善产品、服务营销策略；②硬件企业的升级和转型。例如联想通过与全球知名的存储公司ＥＭＣ合作，正式进入大数据的企业级应用领域；③互联网企业提高数据分析能力。例如阿里巴巴利用大数据提供阿里信用贷款与淘宝数据魔方，百度已经建成百度指数、司南等５大数据体系平台和消费者画像、品牌探针等技术分析方法。

2.3　人才层面

大数据产业迅速发展，数据科学家的概念应运而生。根据哈佛商业评论所言：数据科学家将成为２１世纪最性感的职业。数据科学家是采用科学方法、运用数据挖掘工具寻找新的数据洞察的工程师。数据科学家除应具备好奇心和怀疑的精神外，还应具有分析能力、技术能力、沟通与合作能力（见表）。数据科学家是复合型高端人才。麦肯锡预计，到2018年，仅在美国市场，数据科学家人才缺口就将达到１４～１９万，而相关方面的管理人才缺口将达到１５０万。人才短缺也是制约我国大数据产业发展的重要因素。

今天介绍了大数据产业特点及现状，后面会继续带你认识不一样的大数据。

如果您想长期获取科技信息的解读，记得关注我，我会每天更新，谢谢。同时如果您有什么意见和建议，欢迎评论。

本文来自巨头挖掘机，创业家系授权发布，略经编辑修改，版权归作者所有，内容仅代表作者独立观点。

永州与省网信办、华为公司开展战略合作

3月9日，省委网信办、永州市人民政府、华为技术有限公司三方战略合作协议签约仪式在长沙国际会展中心举行，此次合作将开启湖南云计算大数据产业发展的新纪元，助推永州成为全省新型智慧城市示范市、党政机关网站云化工作样板市、云计算大数据综合实训基地。

UCloud将召开Think in Cloud 2017大会

《互联网+，中国经济新机遇》研究报告指出，云计算、大数据像水电一样为用户便捷、低成本地使用计算资源打开方便之门，已成为了“互联网＋”赖以发展的新基础设施。如今，云计算行业已经形成了技术分享氛围，从阿里云的云栖大会，到UCloud的Think in Cloud大会，已经成为云计算行业发展的风向标。

金山云宣布正式加入CSA全球云安全联盟

目前加入CSA云安全联盟的成员包括AWS、微软、阿里云、腾讯云、金山云等。2016年10月，金山云通过国际云安全联盟CSA的C-STAR权威认证。此次成为CSA中国企业会员，金山云称将积极、持续地参与CSA等标准组织的安全标准制定，促进云计算安全性的提升，与成员伙伴共同推进云服务安全标准在国内的建立和推广。

赛迪信息打造“企业轻推云”，深化“赛迪云”服务

随着两化融合、数据强国、互联网+等国家战略的提出，新一代信息技术与新型商业模式融入实体经济，产业互联网、知识互联网时代逐渐到来。他表示，赛迪信息推出的“赛迪云”将提供云化的ERP、MES、CAE分析等服务。“企业轻推云”是中冶赛迪面向未来打造的核心云服务平台，同时也是一个智慧工作平台。

华云数据私有云CloudUltra：高水准通过可信云开源认证大考

近年来，中国云计算企业对开源的应用颇为广泛，绝大多数云计算解决方案中都会或多或少基于开源开发，加速部署。2016年3年，云计算开源产业联盟在工业和信息化部信息化和软件服务业司的指导下正式成立，并于同年展开对基于OpenStack进行开发的私有云平台产品进行可信云开源解决方案认证。

深入浅出，解读阿里云云盾WAF防护功能

以WAF为例，在当今的企业安全框架下，企业不但想要能看清楚访问我这个人是谁，还可以知道这个人在干些什么，正常访问的我们开门欢迎，搞破坏、偷东西的拒之门外。云盾的WAF还只是阿里云抓“黑手”的一个组成部分，以后我们把更多阿里云、云盾的安全防护手段介绍给大家，使得更多阿里云用户，可以通过聘请阿里云、云盾这个安全保镖，可以更好、更安全的实现云计算网络业务应用。

一众巨头紧追，云计算成阿里输不起的持久战

3月9日，华为副董事长、轮值CEO徐直军宣布，成立专门负责公有云的Cloud BU，2017年增加投入2000人。目前的领跑者阿里云在2011年正式上线，开始大规模对外提供云计算服务。况且阿里已经将集团的未来押注到了云计算当中，这很可能是一场阿里输不起的持久战。

以云平台连接智能制造助推产业转型升级

2017 年政府工作报告中指出，要大力改造提升传统产业，深入实施《中国制造2025》，加快大数据、云计算、物联网应用，以新技术新业态新模式，推动传统产业生产、管理和营销模式变革。应用云计算、大数据等新兴技术打造的云平台，能够消除传统产业在信息化道路上的高门槛，是提升中国制造业竞争力，实现“中国智造”的有效途径。

中国联通推出沃家云盘，布局网盘市场

2015年国庆期间,中国联通正式宣布旗下的应用产品——沃家云盘正式向用户开放,该产品面向全网用户开放,产品具体情况如下。沃家云盘是基于云计算技术的个人/家庭云数据中心,是一个提供文件同步、备份及分享等服务的网络云存储平台。2、 用户可用沃家云盘保存临时工作文件,替代U盘、移动硬盘等实物存储工具;。

微智全景创始人李岩:POS机将被商业智能终端覆盖

微智全景创办于2012年11月，是一家商业智能硬件服务商，在2015年5月获得上亿元B轮融资。在2017年3月8日北京微智全景信息技术有限公司举办的发布会上，创始人CEO李岩表示。微智全景创始人兼CEO李岩表示，在云计算、智能云服务等技术的快速变革背景下，“云”的能力提升与“端”的智慧形成矛盾，终端是联系客户与场景的触点、是线上线下商业的跨界点、是数据采集的源头、是云端服务的入口和智能输出的端口。

新电商的主角是实体企业，但不是所有实体企业都能掌握新电商能力。掌握新电商能力的重要标志，是企业演化出了人格特质，并依靠这种人格特质和粉丝群达成了心灵上的契合。这种人格特质也会融入产品中，构建起企业、产品、粉丝三者之间的深度链接。而这一切，包括人格特质的传播、粉丝的触达、线上线下多场景下的粉丝互动和产品销售，都要依靠新型的互联网技术来实现。

传统电商有一套基于平台的流量思维，认为守住中心化流量入口，再打折促销，就可以立于不败之地。然而，在互联网下半场已经没有流量红利，这套玩法已经很难玩转，新玩家几乎没有入局的机会。

在消费升级的年代，传统电商所依仗的低成本、低价格、高效率，已经和当今社会背道而驰。人们越来越有钱有闲，已经不满足于基本的物质需求，开始追求更高的品质，以及精神层面的体验。

在这种背景下，新电商的流量入口不再是低价，而是人格，即“心”。心是连接企业、产品和用户的精神力量。新电商企业将十分擅长打造自身鲜活的人格特质，用这种人格特质吸引粉丝、链接粉丝，并把这种人格特质体现在产品的加工制作上。这种连接稳固而持久，确保商家和粉丝有持续的互动和销售。

传统电商是中心化的，所有人都去天猫、淘宝或者京东傻瓜买东西。然而，电商平台的增长速度放缓，马云也提出“纯电商的时代已经过去，新零售的时代即将到来”。新零售强调线上、线下、物流必须结合在一起。它弱化了平台与平台之间的界限。它强调应用新型的电子化工具，实现了多种营销和销售场景的深度融合。

新零售是新电商的实践方式，新电商借助新零售的方式，弱化了线上与线下的区隔，在各种场景下触达用户、洞察用户，并服务用户。所以，如果说传统电商是所有顾客都去平台上找商家，那么新电商就是商家去各种场景触达用户。

触达用户的方式有很多，比如内容、商品展示、订单支付，以及物流发货。

新电商的主题很可能是小体量的、有人格特质的、拥有独立电视功能能力的实体企业。这样的企业懂得依靠自身的人格来聚粉，而人格的载体是内容。它们可以在微信、微博、视频、直播、线上阅读、线下物料等多种新媒体场景和用户“偶遇”，传播自身的价值观，并与潜在顾客维系情感连接。

他们也可以在门店、网店等夺走场所展示商品、完成销售。这种销售不再是一个商家对几万名顾客的舞台型销售；而是商家站在每一个顾客身边的个性化销售。而且，销售和支付可以是分隔开的。

以上这一切都有大数据和云计算做支撑，使得所有的订单可以统一汇总，所有的消费行为可以被追溯，所有的用户偏好都可以得到关注。

［导读］工业4.0、人工智能、大数据对计算规模增长产生了重大需求。近年来，中国高性能计算机得到突飞猛进的发展，从“天河二号”到“神威·太湖之光”，中国超级计算机在世界Top500连续排名第一。云计算、人工智能、大数据的发展对并行计算既是机遇又是挑战。如何提高应用的性能及扩展性，提高计算机硬件的使用效率，显得尤为重要。从主流大规模并行硬件到能够充分发挥其资源性能的并行应用，中间有着巨大的鸿沟。

本次讲座由清华-青岛数据科学研究院邀请到了北京并行科技股份有限公司研发总监黄新平先生，从高性能并行计算发展趋势，到高性能并行计算性能优化基础，包括从系统级到代码级分析，常用的优化方法与工具，并行计算优化实战等方面进行了深入浅出的讲解。

黄新平先生长期从事半导体、编译器和操作系统内核方面的工作，有10年的编译器设计， 包括GCC、英特尔、摩托摩拉公司的多款编译器的开发经验。Solaris 内核的x86 移植和优化，以及国内一些顶级互联网企业的技术支持工作，如新浪、360、京东、爱奇艺等。2014年加入北京并行科技，担任研发总监，负责整个产品研发，提供高性能计算的公有云及私有云服务。

课程精华笔记

▼

一、高性能和并行计算发展的趋势

黄新平先生首先阐述了为什么要关注计算的性能，因为世界上总有一些大问题，还有更多新问题需要大量的计算去解决。比如全基因的排序，精准医疗等应用。石油能源行业的地震勘探数据处理，最终得到油藏数据，价值以亿计。还有一些是没法做实验的，比如核试验，只能通过计算模拟。在现代化工业制造中，比如汽车制造中需要确定风阻系数，以前需要做模型进行风洞试验，又贵又慢，而现在做一个计算机CAD模型，用流体模拟软件去计算，就变得非常便宜而且灵活。

2008年奥运会的天气预报，需要精确到每个场馆，而以前是以城市为单位的，精度从百公里缩小到以1公里为单位的网格进行计算，整个计算量提高了不止成千上万倍，但计算必须在规定时间期限内算完，所以，必须要以更快的速度去进行计算。所有这种种，都体现了人类对计算性能的需求永无止境。

然后，黄新平先生阐述了CPU体系架构发展的趋势。

2007年以前，CPU的性能基本等同于频率，逐年按照指数级曲线增长。但是从2007年开始，CPU的频率已基本上不再增长，甚至还往下掉，这是因为纯粹的频率的上升导致了CPU功耗急剧加大，最终散热问题成为瓶颈。但是著名的摩尔定律还是被很好地遵守着，每年仍然不断按指数级增长的晶体管数目被用来做成CPU内部的多核，进行并行计算，以提高系统的性能。

这些年来，在处理器体系架构技术里面，对性能影响最大的、程序员可见的，一个是多核和超线程技术，另一个就是向量化。所谓向量化，比方说在矩阵相乘的运算中，普通的做法是一个循环分别取一行和一列里面的一个数，做乘加运算。如果先把行和列的数集中放在一个比较宽的寄存器里面，比如512位的寄存器可以放16个32位的单精度浮点数，一个乘加指令就能完成对这16个数的计算，从而得到16倍的速度提高。

还有一些是程序员不可见的底层技术，一个是指令流水线，类似于工厂生产流水线，多个指令在不同的执行阶段被同时处理，提高了吞吐率。一个是超标量，这个技术就是有多条指令同时在执行单元被执行。还有一个是乱序执行技术。指令按顺序执行的时候，假设其中有一条指令需要读取数据，一般来讲，从一级高速缓存中取得数据需要经历16个时钟周期左右的时间，在等待数据取回的时间里面，它后面的指令需要跟它一起等，这显然是极大的浪费。

如果后面的指令没有用到这个数据的话，实际上完全不用等，所以可以设计一个乱序执行机制，把一批指令都扔到执行单元里面去算。如果不需要等数据的指令就可以直接把结果算出来，在这个过程中需要等的数据到了，那条指令就可以执行了，然后按照指令顺序，一条一条指令完成退出，最终的执行结果还是按顺序的，但是执行的过程是乱序的。

乱序过程提高了整个运算单元的硬件利用率，掩盖掉慢速指令执行导致的延迟，能够带来非常大的性能增长。《计算机体系结构 - 量化研究方法》一书中有专门的章节讲乱序执行技术，如果大家感兴趣的话可以找来看看。在wiki上搜索Tomasulo算法也有比较详细的解释。

另外一个影响比较大的是集成内存控制器，原来内存控制器是做在主板上，现在做在CPU里面，这样使内存访问的速度比以前快很多，大幅度降低了延迟，提高了内存访问的速度。现实中CPU运算速度的提高是远远高于内存访问速度的提高的，这两者之间的差距越来越大，大多数指令执行仅需要一个时钟周期，而服务器内存的数据访问则大约需要300个时钟周期左右。

有很多的应用性能不高，就是因为有大量集中的内存访问，由于内存的速度跟不上计算速度，所以处理器不得不停下来等待数据到达。除了加大高速缓存的容量之外，还有一个办法就是增加高带宽的近核内存。例如大家比较熟悉的GPU，当处理器系统还在使用DDR3内存的时候，GPU早就使用DDR5内存了。

黄新平先生指出，如果不利用多核来写多线程的程序，以及线程中没有利用向量化指令来做运算，例如实测使用英特尔至强CPU的服务器，2007年和2014年相比，跑单线程并且没有使用向量化指令的程序，性能几乎没有增长。而经过多线程并行化和向量化调优之后，性能就会有102倍的提高了。

黄新平先生同时详细介绍了Intel近年推出的众核新产品Xeon Phi KNL。

在不断追求高性能的处理器当中，英特尔推出被称为众核处理器的一系列产品。第一代产品的代号是KNC。在全球高性能系统中，连续三年排名第一的天河二号，就使用了KNC。KNC看起来像GPU，插在PCIe 插槽上。一块KNC已经做到了1 TFlops的浮点性能， 也就是每秒钟可以执行1T条双精度浮点型运算指令。而现在的KNL一块CPU就可以达到3 TFlops。它的最高配置达到72个核，每个核4个线程，每个核有两个512位的向量处理单元。另外它的封装里面带了一个16G的近核内存，读写带宽高达400GB每秒以上，系统DDR4内存的带宽达到90GB每秒。

GPU是图形处理单元，增加了通用处理功能后，被称为GPGPU。它的设计思路与上面所说的类似，通过使用高带宽内存减少内存的访问延迟，使用数以千计的大量向量处理单元并行处理数据，从而获得极高的性能。现在GPGPU在机器学习里用得较多，GPGPU也针对机器学习做了较多的优化，比如降低浮点数精度，16位的浮点数，因为很多算法对精度要求很低，从而进一步提高了处理速度。

黄新平先生提出在高性能/并行计算系统越来越碎片化和普遍采用异构架构的今天，性能调优显得尤其重要。

从发展趋势来看，高性能运算的机器越来越普及，越来越碎片化。最早从巨型机，分布式处理机、向量机，到最后走向集群，而现在出现GPGPU之后，单台服务器，甚至是一台笔记本的性能就可以媲美几年前看起来很强大的高性能运算中心。高性能并行计算不再远在天边，而在你的指尖。第二个变化是异构架构的普及，协处理器，GPGPU，FPGA等高性能处理部件飞入寻常百姓家。在这样两个大趋势下，高性能和并行计算编程、调优不再是一个很遥远的事情，而是一个必须每天要面对的事情。

黄新平先生同时指出并行计算编程常用的有两个技术，一是OpenMP技术，一是MPI技术。

针对单台服务器，准确地说是共享内存系统，充分利用多核、多线程的并行处理能力，通常使用OpenMP技术。对于大量的数据做类似的处理的应用，通常在编程中使用计算密集循环来完成数据处理。这个循环一般就可以通过OpenMP 技术，添加编译器指导指令使其自动变成一个多线程程序，每个线程处理其中一部分数据，在执行完以后自动把结果收拢起来，得到最终结果，这样就能充分利用多核的处理性能了。

对于问题规模超过单节点处理能力的应用，可以使用MPI技术。利用很多台机器同时运算，比如天河二号上面有的应用需要使用上百万个核做处理，显然不可能有一台机器可以拥有100万个核，那么当使用这么多台机器一起处理数据的时候，一个重要的问题就是要通过网络互联来交换数据。如果自己从底层开始编写网络交换代码是不现实的，你会发现大部分时间都在调试各种网络问题，没有时间写算法了。而有一个通用的标准API把它封装起来，做这些底层工作，这个API就叫做MPI，用于发送信息和接收信息，实现数据交换。

异构程序的开发也比几年前好了很多。英特尔的KNL的开发就跟普通的CPU编程没有区别，针对GPGPU编程也可以使用CUDA或者OpenCL，这些都大幅度降低了开发的难度。因为时间的原因这里就不具体展开编程方面的介绍了，有兴趣的可以参阅相关书籍。

二、高性能和并行计算优化基础

黄新平先生首先介绍了决定性能调优上限的两个定律：阿曼达定律和Gustafson定律。

阿曼达定律说的是，如果一个程序包括并行和串行，随着机器数量增加，并行执行时间会越来越短，最后趋向于0，串行的时间没有变，这就是加速比，如果串行部分占到了整个执行时间的50%，意味着加到1024台机器也只能加速一倍，非常浪费，哪怕并行的部分占到90%，其实也就是加速了9倍。这个讲得是当工作量是固定的时候，可以并行处理的部分所占比例越高越好，描述的是程序的强可扩展性特性。

Gustafson定律说得是，在不断增加处理工作量的情形下，增加系统的规模是有用的。比如天气预报计算，如果增加了1万倍的处理量，又必须在规定时间之内算完，怎么办。很多情况下，工作规模增加的部分都是可以并行处理的部分，因此增加系统规模自然会缩短处理时间。这是一个非常乐观的定律，也就是说汇聚了很多机器一定能干更大的事。

阿曼达定律描述了随着增加更多的处理器，串行部分处理没变，只是并行部分的执行时间会不断减少，但总的加速比是受串行部分所占比例限制的。而Gustafson定律则描述了随着工作量的增加，加上更多的处理器单元，可以缩短并行处理的时间，从而在规定时间内，处理的工作量增加了。

黄新平先生然后介绍了调优的方法论：

调优是一个看起来很庞杂、很细致的工作。需要一个方法论做指导，才会事半功倍。调优过程是这样一个循环，首先要找到一个典型的、可重复的测试用例，然后使用这个测试用例得到一个基准,记录这个基准。在基准的测试过程中，需要收集大量的性能数据，这些性能数据将会指出问题所在。

系统的性能遵循木桶原理，也就是整体性能是由系统中最短的那块板决定的，在性能数据收集的过程中可以通过性能指标发现哪个地方有问题，根据具体问题就可以找到相应的解决方案来解决。使用解决方案解决这个问题之后，再重新测试收集，找到下一块短板。以此循环往复，直至性能达到期望或者无法继续增进为止。

整个优化应该采用自上而下的方法，顺序一定不能乱。首先通过标准性能基准测试程序确保系统的工作状态正常，比如使用SpecInt， SpecFP，Linpack等得到处理器的性能，对比设计性能指标，可以得知CPU是否工作正常，BIOS或者操作系统中的相关设置是否正确。使用Stream测试程序测试内存系统的性能，Netperf测试网络性能，Fio或者iozone等测试文件系统性能是否正常。在所有调优开始之前，一定要先把基础做好，一定要了解你的系统性能极限。

再来是应用调优，可以调节运行环境，或者有代码的可以调整代码，最后才会到处理器级别的调优，这里是榨干最后一滴性能的地方。

比如说我发现内存访问是一个问题，第一个步骤是检查硬件设置，服务器的内存插法是有黑魔法的，怎么插，插在不同位置上，性能是不一样的，BIOS内存访问方式设置也会有比较大的影响，可以翻看相关服务器的产品手册。

另外内存控制器是有不同通道的，每个通道速度不一样，而且一般来讲当内存所有通道都被插满内存条的时候，内存会被自动降频，因此每CPU使用单条大内存的性能会超过同样内存总容量下，所有内存插槽都插满了的小内存的速度。当服务器有多个处理器存在的时候，通常是一个非对称统一内存地址访问的架构（NUMA架构），也就是说每个CPU的内存控制器都有可能挂着自己的内存，它离得最近，别的CPU就远，因此内存是有距离的。BIOS中设置成对称多处理（SMP），内存编址将会混合远近不同的物理内存地址，达到均匀访问的目的，但是会损失性能。而现在几乎所有的主流操作系统都是NUMA 感知的，能充分利用NUMA架构，尽可能使用近距离内存以提高性能。

硬件调整做完之后还有软件调整，比如操作系统里调整内存页的大小，缺省的4K一个的小页在海量内存容量的情况下，意味着页表条目非常巨大。会增加DTLB Miss的机率，导致系统忙于装载切换DTLB和内存页，从而损失性能。

在应用代码中最主要相关的是数据结构和算法。比如说，某一点的坐标float X，Y，Z，有大量的点需要处理，而有时候会用不同的方式分别处理X...

图：如今“云计算”与生活息息相关

“云计算”（Cloud Computing）是当前信息技术领域的热门话题，它能为云服务用户提供“触手可及”的IT服务。云计算以其方便、经济、高可扩展性等优势吸引企业的目光，将其免於IT基础设施建设与维护的沉重压力，更专注於自身核心业务发展。日常生活中，“云盘”令我们可以大量存储文件，“云办公”可以在不同设备上浏览编辑文件，提高工作效率。如今云计算与生活息息相关，本文以深入浅出的方式，带领读者一睹云计算的风采。

我们为什么需要云计算？社交网络、大数据、物联网、人工智能、区块链等一大批应用迅速发展，这些新兴应用具有大量数据存储和高性能计算需求，这给软硬件的建设成本和维护成本带来不小的压力，许多中小企业无以为继。那么采用云计算可以解决上述问题吗？

降低成本 按需分配

举一个例子，旧时乡村没有自来水管道，为了解决用水问题，每家每户会挖一口井。随着人口增长，挖井成本增加，收益（水的产量）在减少——事实上家家都有井是一种浪费，而且需要自己管理，於是村民计劃大家一起建一个自来水厂，各家装上自来水管以解决大家用水需求。这是一个典型的云计算的例子，大家把资源统一管理，按需使用。简单地说，水厂就是“云”，水就是“计算”。由自来水厂供水这种方式就是“云计算”。云计算最大的好处是降低成本并按需分配，由专业人员统一管理，提供更安全的使用环境。

云计算的特点

以服务为中心将资源虚拟化是云计算重要的表现形式，它屏蔽底层细节和具体的技术实现，使数据中心管理、大规模数据处理、应用程序部署等技术问题对用户透明，最终实现即点即用的效果。云计算的特点可归纳如下：

弹性服务。资源配比可以根据用户的业务需求做到按需分配，动态调整，避免了因为服务器性能过载导致服务质量下降或冗馀而导致资源浪费。

资源池化。利用虚拟化技术，把物理资源整合成一个巨大的资源池，资源以共享资源池的方式统一管理。资源的放置、管理与分配策略对用户透明。

按需服务。将数据存储，基础设施等资源以服务的形式提供给用户，用户可以个性化的选择，云服务可以根据用户需求，自动分配资源。

精确计费。由於服务的可定制化，那么根据资源的使用情况对服务计费，可以更精确的权衡用户的实际资源使用情况，从而降低用户的计算使用成本。

多端接入。用户可以随时随地利用各种终端设备（如手机和电脑）通过互联网访问云计算服务，进行数据同步，实现一云多屏，一云多端。

云计算服务模式

以现时最常用、较权威的NIST（National Institute of Standards and Technology，美国国家标準技术研究院）定义，根据用户体验、从不同的层级划分，云计算主要分三种服务模式：

IaaS：Infrastructure-as-a-Service（基础设施即服务），IPs（Infrastructure Providers，基础设施提供商）管理了大量的计算资源，例如存储和计算能力。IaaS公司负责提供场外服务器，存储和网络硬件等基础设施资源。

PaaS：Platform-as-a-Service（平台即服务），PaaS是在云基础设施上进一步抽象，为用户提供系统运行的软件平台服务，例如开发平台、商业部署和应用平台等。PaaS获取硬件资源的方式对於用户来说是透明的，用户不必关心底层的硬件配置和硬件开销，由平台自动分配，用户只需基於平台开发和发布自己的应用即可。

SaaS：Software-as-a-Service（软件即服务），SaaS是基於云计算基础平台所开发的应用程式。企业可以通过购买软件提供商的SaaS层应用服务解决企业信息化问题，最常见的就是基於云的OA系统。对於普通用户来讲，SaaS应用服务令用户无须安装客户端或者App，直接通过网络获取服务，比如基於web端的H5应用，基於微信的小程序等。

云计算的目标是在降低成本的同时，还能提供大规模，高可靠，高可用，可伸缩的个性化服务。为了实现这个目标，背後需要数据中心管理、虚拟化、海量数据处理、资源管理与调度、安全与隐私保护等若干关键技术加以支持。

云计算技术分类　　

分布式技术

分布式系统利用网络，把成千上万台电脑连接起来，组成一台虚拟的超级计算机，这样的超级计算机不仅强大而且非常可靠，如果只是有某些节点坏了并不会影响整个系统的运行。分布式技术其实已经发展了很多年了，上世纪80年代末，Intel公司利用局域网将大量空閒的工作站联合起来进行芯片的计算数据集设计。随着互联网的发展和普及，分布式计算的研究在90年代之後达到高潮。

虚拟化技术

虚拟化技术是云计算的核心技术，虚拟化是表示计算机资源的抽象方法，可以将物理资源实体进行虚拟化，以实现对物理资源的整合、池化和共享，它在本质上就是将物理硬件和逻辑层进行一个映射。使用云计算时，用户总是向“云”发出服务请求和资源请求，而不是具体的某台机器。对用户来说，具体的硬件资源就是“只在此山中，云深不知处。”应用在“云”中某处运行，但实际上用户无须了解、也不用担心应用运行的具体位置。

数据中心构建技术

数据中心是云计算的核心部队，如何保持数据中心的强大和稳定性是保证上层服务可靠的基础问题。主要有两种重要的机制，一种是分布式文件系统，以HDFS为代表，另一个是分布式运算框架，以Mapreduce为代表。HDFS是Hadoop团队开发的开源系统，大部分IT厂商，包括百度云、英特尔“云”，Cloudera採用的都是HDFS的数据存储技术。MapReduce最早是由Google研究提出的一种面向大规模数据处理的并行计算模型和方法。

云计算安全技术

安全是亙古不变的话题。云计算具有用户数据集中存在云端，资源虚拟化、多用户跨域共享等特点，这些特点带来新的安全挑战。传统安全技术，如加密机制、安全认证机制、访问控制策略通过集成创新，可以为隐私安全提供一定支撑，但不能完全解决云计算的隐私安全问题。

目前对於云端的安全技术可以从不同的层次进行描述。在云的基础设施层，云用户身份管理服务、云访问控制服务、云审计服务、云密码服务等安全措施。在云的应用层，主要有DDOS攻击防护云服务，Botnet检测与监控云服务，云网页过滤与杀毒应用，内容安全云服务。但实际上，云计算安全远远不只是技术问题，它还涉及标準化、监管模式、法律法规等诸多方面。因此仅从技术角度探索云计算的安全问题远远不够，必须联合网络信息安全界、企业界以及政府相关部门，共同解决这个问题。

改变信息消费模式

以云计算为代表的技术革命对现有的信息产业及应用模式产生巨大影响。主要体现在互联网领域、工业领域和国家政府领域。信息消费模式可以这样描述，人们的信息消费模式大致经历了以硬件为中心的PC时代，到以软件为中心的移动互联网时代，现在我们正在进入以服务为中心的云计算时代。

在PC时代和智能手机时代，我们都习惯下载客户端或者App，进而学习如何使用这些软件，不仅需要佔用存储资源，更烦的是还需要不断的更新。云计算时代，以服务为中心，个人和企业用户将不再学习客户端软件的操作，只需要根据简洁的界面和窗口，访问站点就可获取服务。微信上的小程序，实现了“即点即用，用完即走”，这是云计算即服务的成功运用。除了面向个人提供基於云的服务，比如说云存储，云办公等。许多新的创业公司也将其业务基於阿里云，腾讯云这样的大型公有云上，以降低企业成本。目前互联网的所有应用可以说都是基於云的，从智慧物流，到大数据金融，在打开手机的瞬间，就已经在使用手机云进行数据云备份。

此外，云计算的特殊优势也吸引了各国政府的关注。例如美国各州政府，交通部和商务部基於亚马逊的AWS GovCloud搭建云平台，AWS目前为全球超过2300个政府部门提供云服务；中国政府也积极加入云政务建设，工信部出台《云计算发展三年行动计划（2017-2019年）》鼓励利用云计算技术优化电子政务系统。

本文对云计算技术及其应用做了简要介绍，云计算是当前发展十分迅速的新兴产业，具有广阔的发展前景，但同时其所面临的安全技术挑战也前所未有，任何技术的发展都是一个长期曲折的过程，我们需要足够的投入和支持。云计算已经在生活的各方面影响我们，但距离“万物智联”的时代还有一段路要走，云计算作为这辆列车的引擎，将和二十世纪电网一样彻底改变现代人生活方式，让我们一起拭目以待。