试想一下，你是一名生活在2046年的诉讼律师。

你刚接手了一个案子，当事人来咨询，通过与大数据系统的合作，你只消几分钟时间就全盘了解了客户的信息。

在大数据和人工智能下，你给团队成员分配任务，权威大数据平台支持的系统为你设计了整个工作流程的模板，你只需简单编辑，就可以掌控全局。

与众多权威法律机构对接的大数据系统大大便利了你的工作，你通过大数据对相关裁判进行分析，得到了该地区的裁判趋势、法院的主流观点乃至诉讼费用的初步计算等各种数据结论，综合了上述信息，你与当事人商量最佳的诉讼策略与方案。

你在大数据的辅助下成功打赢了官司，你的客户对诉讼结果十分满意，也对你的服务的专业性表示了肯定。

是的，这就是大数据的魅力。

一方面，建立在法律大数据基础上的云处理为法律大数据提供了标准的工作基础，让法律人能从杂乱的信息中脱身。另一方面，法律数据将成为法律人最关注的重要资源，通过对法律数据的深度挖掘，律师可以实现市场开拓、客户谈判、文件审查、诉讼策略的科学决策，为调整报价、管理控制当事人诉讼预期等打下基础。

作为成文法国家，运用大数据侧写裁判规律，提高同案同判效率已被写入最高人民法院十四五规划。可是对许多法律人来说，大数据和人工智能还是很远：大数据能干什么?如何把握大数据趋势并分辨其优劣进而有效地提升专业能力甚或整个行业的发展?大家都说未来已来，但是你还是摸不着头脑。

对法律人来说，机会来了！江左将在Lawplus开设新专栏——《法律大数据权威解读》，法律人要懂大数据，包在江左身上!

江左是谁?北京华宇元典信息服务有限公司CEO，最高人民法院等法律机关的合作伙伴，前北京市公诉人。

江左管理并服务的元典为法律圈提供过许多权威实务智能产品，李彦宏甚至在其新书《智能革命》中表达了对他们产品“睿法官”的赞赏：它不仅仅停留在收集资料、为案情“画像”的辅助阶段，而是可以做到对案情进行分析，采集案件的多元信息……使用人工智能助理的律所和法庭能够比同行更高效地处理案件，从而创造更高的收益。

依托元典在法律大数据的行业地位和能力，江左将会在专栏里告诉你为什么他是法律大数据的「权威解读」。

在专栏里

首先江左将以浅显的语言告诉法律人大数据到底是什么；其次，在行业浸淫多年，他将以自己的见识展望法律大数据在行业应用中可能的未来，帮助更多法律人利用大数据对接自身专业能力的提升；最后江左将以锐利的眼光，对国内外市场上的相关数据产品进行点评，帮助更多职业法律人找到专业能力进阶的最佳路径。

如果你是对大数据技术有兴趣的法律人，如果你想了解大数据如何提升法律人职业的专业化，但又分不清大数据、人工智能到底是什么，那么这个专栏就是为你准备的，如果你是一位分不清互联网、大数据和人工智能的围观群众，那么也请不要错过这个专栏，因为江左将以自己的专业能力带你由浅入深，认识真正的大数据和人工智能。

随着科技的迅猛发展

电子信息、大数据、人工智能

已经渐渐渗透了我们的生活

如果你喜欢电子

喜欢研究

是个动手实践达人

对前沿科学感兴趣

想要成为高级技术人才

紧跟科技前沿步伐，掌握先进科学技术

那就来智能科学与信息工程学院

了解一下

西安培华学院智能科学与信息工程学院源于学校1997 年设立的计算机系和2000 年设立的电子系。多年来，学院始终坚持以市场需求为导向、以学生应用能力培养为核心的办学理念，积极探索并实施产学研一体化的培养模式。现有教师中具有博士、硕士学位的教师比例达92%，具有高级职称教师比例达60%，双师型教师比例达到55%。学院现拥有一个省级实验教学示范中心和一个省级“电子信息类专业创新型人才培养模式试验区”。

学院风采

2018年承办“IEEE IMCEC 2018”国际学术会议

承办2018IEEE-IMCEC国际会议

2017年获批“西北大学与西安培华学院--电子与通信工程研究生联合培养省级示范工作站”。

培华-西北大学联合培养研究生示范站成立

2016年获批陕西省高等学校创新创业教育改革试点学院，通信工程专业同年获批陕西省“双一流”培育专业。

学院与中煤航测遥感集团、陕西天润科技股份有限公司、西安云火网络科技有限公司等单位共建“人才培养基地”十余个、拥有广州粤嵌通信科技股份有限公司、中国移动西安分公司、西安汇通网络科技有限公司等校外“实习实训基地”数十个。

师资力量

许立达 博士、院士

欧洲科学院院士、俄罗斯国家工程院外籍院士、美国奥多明尼昂大学任信息技术首席教授、教育部长江学者讲座教授、中国科学院海外杰出学者研究基金获得者、国家外国专家局重点引进专家。

程国建 博士、教授

智能科学与信息工程学院院长。曾留学德国图宾根大学。主持并完成十余项科研项目，包括国家自然科学基金项目2项，在相关学术研究领域及国际会议发表文章150余篇，出版专（译）著十余部。

田孝华 博士、教授

主持并理论研究项目5项，主持并科研项目十余项，应用推广4项；共计获得军科一等奖2项，军科二等奖1项，省科技二等奖1项，军科三等奖1项，陕西省自然科学优秀学术论文三等奖1项。

焦纯 博士、教授

承担多项国家级教研课题，主持省级教研课题2项，已发表教研论文10余篇，主编及副主编多部教材，作为主要完成者获多项国家级教学成果。

周清军 博士、副教授

曾就职于华为集成电路研发部；发表学术论文20余篇，核心十多篇，被EI收录10余篇，出版专著一部；主持并完成六项科研项目。

魏维 教授

曾留学英国兰卡斯特大学；发表学术论文30余篇，核心8篇，其中被EI / ISTP 收录5篇；主持并完成四项科研项目。

符艳军 博士、副教授

以第一作者发表学术论文20余篇，其中核心8篇，EI收录6篇，CSCD核心库2篇。

李冰 博士、副教授

曾留学美国亚利桑那大学；主持并参与五项科研项目，申请专利16项，发表学术论文19篇，著作3部。

杨恒博士、高级工程师

曾留学美国佐治亚理工学院；主持国家级项目2项，省级项目1项；发表学术论文30余篇，其中被EI检索23篇，ISTP检索11篇，英文论文17篇。

专业介绍

电子信息工程专业（本科）

工学学士/学制4年/理工

主干课程

电路分析基础、模拟电子技术、数字电子技术、信号与系统、高频电子线路、电磁场与电磁波、通信原理、数字信号处理、软件无线电、C语言程序设计、MATLAB编程、电路设计与制版软件应用、电子系统设计、微机原理与接口技术、可编程数字逻辑电路设计、嵌入式系统开发、传感器应用技术、面向对象程序设计、智能家居设计、短距离无线通信、物联网应用系统设计与开发、Android应用编程等。

电路分析基础课

培养方向

电子产品设计与开发、智能控制与应用、智能家居。

专业优势

拥有一支人员结构合理、应用型人才经验丰富的教学团队；支撑培养应用型人才的校内与校外实践教学条件优越，可从事丰富的课程实验与第二课堂活动；每年可参加的竞赛包括全国电子设计竞赛、大学生数学建模竞赛以及与行业结合紧密的智能汽车竞赛、嵌入式物联网设计大赛、3D打印大赛等、为学生优质就业创造了条件。

电子设计竞赛作品展示

就业方向

主要面向通信、雷达、导航、电子对抗、汽车电子、家电等电子产品与电子系统领域。培养电子技术应用工程师、可编程数字技术开发工程师、单片机开发工程师、控制系统开发工程师、电子产品测试工程师等。

实践实习单位

华清远见教育集团、国信蓝桥教育科技（北京）股份有限公司、北京凌阳爱普科技有限公司、西安云火网络科技有限公司、中煤航测遥感局、陕西天润科技股份有限公司等12家。

计算机科学与技术专业（本科）

工学学士/学制4年/理工

主干课程

模拟与数字电子技术、计算机高级应用、程序设计基础、面向对象程序设计、Web前端开发技术、Java Web程序设计与开发、JavaEE程序设计与应用、数据结构、软件工程、计算机操作系统、数据库原理及应用、计算机网络与通信、微机原理与接口技术、Android程序设计、嵌入式系统开发、Android网络应用开发、移动互联综合应用设计与开发等课程。

培养方向

移动互联系统设计与开发、网络安全、数据挖掘与分析、人工智能。

专业优势

本专业是智能科学与信息工程学院最早开设的本科专业，也是我校较早开展校企合作的专业之一。具有一支数量充足、结构合理、学历层次高、综合素质及业务能力强的专职师资队伍。所属教师均为硕士以上学历，高级职称教师占比达到60%以上。多名教师具有博士学位或海外留学经历，并担任西北大学研究生校外导师。专业负责人具备教授职称和工学博士学位，教育教学理念先进、专业建设经验丰富、教学及科研成果丰硕。

近年来，所属教师先后获得了全国应用型课程建设大课堂说课竞赛一等奖、陕西省教师计算机职业技能大赛一等奖、西安培华学院应用型特色课程评比大赛特等奖，并受聘为教育部应用型课程建设大讲堂讲师团成员，多次在全国进行应用型课程建设经验推广及交流的专题报告，获得了较大反响。经过十几年的办学实践，本专业已经在专业建设、师资队伍建设、课程建设、教学条件建设等方面打下了坚实基础，形成了良好的办学环境和较强的人才培养实力。

学生获奖

就业方向

本专业的就业方向包括应用软件开发/测试工程师、数据库管理与设计工程师、软件架构设计师、运维支持工程师、IT集成工程师、网站建设工程师、售前技术支持工程师等、包括当前用人需求旺盛、薪酬较高的Java工程师、Android工程师及网络工程师等就业岗位。

实践实习单位

华清远见教育集团、北京凌阳爱普科技有限公司、西安云火网络科技有限公司、中煤遥测遥感局、陕西天润科技股份有限公司等。

软件工程专业（本科）

工学学士/学制4年/理工

主干课程

程序设计基础、面向对象程序设计、数字电子技术、软件工程导论、数据结构与算法、离散结构、人机交互的软件工程方法、计算机系统基础、计算机操作系统、计算机网络、数据库原理与应用、工程经济学、团队激励与沟通、软件工程综合实践等。

培养方向

项目管理与系统基础、软件与金融系统开发、嵌入式系统开发

专业优势

国内外软件工程专业人才紧缺，每年都供不应求，就业前景十分看好；软件工程专业的毕业生起薪高，而且一直在稳步上涨。西安培华学院的软件工程专业，具有西北地区民办院校最优秀的师资队伍，专业带头人曾在软件强国爱尔兰攻读博士学位，在英国兰卡斯特大学进修计算机应用相关技术；专业教师全部具有硕士以上学位，多年专职从事计算机教育。学院教学和实验条件完备，实习实训环境优越。选择培华软件工程专业，你将有机会把自己的独特写进代码，向世界播发！

学生课程与项目设计讲述竞赛

就业方向

可视化应用程序开发、Web应用程序开发、数据库管理、软件测试、电子图形图像设计制作、网络构建工程、网络系统管理、计算机办公环境维护管理等。

实践实习单位

华清远见教育集团、北京凌阳爱普科技有限公司、西安云火网络科技有限公司、中煤遥测遥感局、陕西天润科技股份有限公司等12家。

通信工程专业（本科）

工学学士/学制4年/理工

主干课程

微处理器与接口技术、数字信号处理、数据通信技术、PTN 分组交换光传输系统、数字程控交换系统、通信原理、通信网络技术、软件无线电、扩频通信、LTE 移动分组核心网 EPC 系统、EPON 光接入系统、新一代移动通信技术、Java语言程序设计、Android系统开发、Verilog语言与芯片设计、现代FPGA开发及应用。

培养方向

5G移动通信、智慧医疗与智慧城市通信、无人驾驶通信与控制、通信芯片设计及FPGA开发。

专业优势

本专业是中煤航测遥感集团定点校外实践基地。2009年获学士学位授予权、 2016年获批陕西省“双一流”培育专业、2017年西北大学与西安培华学院“电子与通信工程研究生联合培养工作站”获批为陕西省研究生联合培养示范工作站。该专业教学团队均具有博士或硕士学位，具有高级职称、行业工作经历的双师型教师占比70%以上，近年来就业率始终保持95%。

数学建模竞赛

就业方向

可在通信工程领域内从事通信系统、通信网及设备的系统运行、技术研发、产品集成应用、调试、操作、维护及管理等相关工作；也可以从事常规的电子信息方面产品的设计、软件开发；也可在各党政机关、企事业单位从事专网的建设与运行维护。

实践实习单位

华清远见教育集团、国信蓝桥教育科技（北京）股份有限公司、北京凌阳爱普科技有限公司、西安云火网络科技有限公司、耐思生活环保科技（北京）有限公司、中煤遥测遥感局、陕西天润科技股份有限公司等12家。

中煤遥测遥感局首期定制班开班

空间信息与数字技术专业（本科）

工学学士/学制4年/理工

主干课程

程序设计基础、离散数学、数字电子技术、数据库原理及应用、面向对象程序设计、计算机网络与通信、数据结构、数字图像处理、空间信息与数字技术导论、测量学、地图学、地理信息系统概论、软件工程、GPS测量技术与应用、数字摄影测量、遥感导论、遥感图像解译、计算机图形学、电子地图原理与应用。

学生演示设计作品

培养方向

航空摄影测量（中煤航测遥感集团定向培养）；遥感技术与应用（陕西天润科技股份有限公司定制班）；空间信息可视化。

专业优势

本专业人才的培养立足行业企业的实际需求，与大型央企“中煤航测遥感集团”、陕西测绘信息行业龙头民企“陕西天润科技股份有限公司”签署战略合作协议，展开深度的校企合作。通过定向培养和定制班的形式联合培养高层次、高水平的工程应用型人才。所设立的专业方向课程大部分会由上述两家企业的高级工程师、企业技术专家代课。所学知识和技能贴近企业实际需求，学生在大四期间可以进入这些行业龙头企业带薪实习，通过技能考核的学生毕业就可以留在企业工作。此外，学院与“南京云创大数据科技股份有限公司”共同建立大数据教学实验平台，为本专业学生学习空间大数据处理、云计算、地理信息系统等前沿技术创造了良好的实验条件。

学生科技作品在上海创客嘉年华展出

就业方向

优先考虑进入中煤航测遥感集团和陕西天润科技股份有限公司这两家测绘和遥感技术领域的龙头企业工作。其余毕业生可从事国民经济各行业、包括城市信息管理、航空航天、交通、铁道、国防、公安、旅游、国土资源、海洋、建筑、金融、冶金、水利、电力、石油、煤炭、农业、测绘等，也可以到高等院校、科研院所、政府机关和高新技术公司从事各类数字工程规划、设计、管理的科研工作。

实践实习单位

中煤航测遥感集团、陕西天润科技股份有限公司。

百年培华欢迎你梦想

编辑：侯坤晨

材料整理：答凯艳

来源：智能科学与信息工程学院

大数据成了近年来最让人们兴奋的时髦词汇 (buzzword) 之一。它曾经被写进中国的《政府工作报告》里，人人都会聊大数据，几乎所有跟数字、数据、分析有关的事儿都可以被笼统地称作“大数据”。然而实际上，在科技行业内拥有数据量之大可以被称作大数据公司的公司却并不多——来自美国硅谷的 LinkedIn、Google、Facebook、Twitter、Uber，以及中国的 BAT 等，掰手指头都能数的过来。

大数据是这些科技公司数以十亿计的用户每天产生的点击、搜索、位置和其他各种各样的信息。对于这些公司来说，大数据是它们驱动业务增长的工具。在PingWest品玩近日举办的大数据沙龙上，来自Twitter、Uber和Google的数据专家就进行了相关分享。

对于Twitter来说，通过对大数据的挖掘和机器学习分析，能够不断的改善产品，提供更个性化更相关的体验。在这家社交网络公司担任机器学习平台技术主管的 Jack Guo 透露，Twitter高度依赖大数据的运用来提高产品质量，从而保障更高的用户活跃度和粘性。比如很多用户在未使用 Twitter 的时候错过了大部分的推文，所以 Twitter 会通过对数据的挖掘，找出错过的推文中用户最可能感兴趣的几条，置于用户倒序时间线顶端。

Jack Guo

作为共享出行方面的知名创业公司，Uber 做出的每一项产品或市场决策，其背后都有数据分析的结果作为支持。该公司资深数据科学家彭晨表示，Uber 对主要通过大数据分析来提高平台效率、服务的可靠性以及用户留存。具体来说，如何高效进行需求和供给的匹配，让更多乘客能够在更短的时间叫到车、让司机能够更快接到乘客，以及保证当高峰溢价机制开始执行时，那些选择接受溢价的人一定能叫到车等等，都是 Uber 正在用大数据做的事情。“我们还会挖掘出一些指标，专门用于推测哪些司机在注册了一两个月之后可能就不开了，对他们有一些适当的激励。”彭晨透露。

彭晨

一位 Google 资深数据科学家指出，Google 作为一家自己拥有海量用户，同时广告业务巨大的互联网公司，广告系统利用自己从用户获取的数据进行优化训练，提升了个性化推荐的效果。而在 Google 旗下的其他诸多业务，包括 YouTube 的视频推荐、Google Now 与各种产品的结合中，大数据的分析挖掘都有所体现。

越来越多的科技公司开始对大数据有了更好的实操能力，参加活动的嘉宾们都同意这来自于计算能力的显著增长。“用移动计算来举个例子，八年前 iPhone 开始，到现在短短几年已经发生很大变化，移动设备计算能力正在突飞猛进，”彭晨表示，也是因此，他坚信“奇点” (Singularity) 一定将会发生，“机器将能胜任大部分工作，而人也有可能实现寿命的大幅度延长。”

显然，彭晨的预言需要医疗行业更多地被科技行业颠覆。事实上，更多、更强和使用门槛更低的计算能力，正在使得对大数据的实操从科技行业渗透到更多的其他行业当中，当中包括医疗行业。对此 Google 的资深数据科学家认为，医疗领域内现在已经产生了很多数据，但因为医生水平的参差不齐、医疗行业传统势力的影响，以及隐私等因素，这个行业从整体来看并未真正拥抱大数据。“我们离 AI 取代人类太远，但我还是看好大数据在医疗行业的应用。”

随着大数据的应用不断发展于扩大，企业都将遇到新的机遇与挑战。企业可以通过大数据，看到新的见解或策略，但必须要保持不被巨大的数据所压倒。正如大部分专家所说，考虑到大数据存储的成本增加关系，现阶段并非追求所谓的“大”数据，要适当管理，少量的有组织的智能数据更加有用。

因此，在保证企业能够轻松访问到信息资源时，又能保护其资源作为数据管理人员，将面临以下挑战。

存储和“数据湖”的挑战

作为一个企业管理者必须记住，人们所说的“大数据”可以准确定义“分散数据”，其中大数据与传统数据库的区别是，传统数据库与大数据对比根本无法有效率的存储或者处理数据。

如今为了再次提升此方法，大多数人采用了云计算技术，但在大数据管理中经常被提到的一个概念——数据湖。它基本上就是一个数据库，通常使用Apache Hadoop，对其进行数据的转存和标识。如果企业需要寻求某类数据，他们可以通过使用标识来提取较小的数据块。

虽然现在数据湖可以解决大数据的存储问题，但管理不妥的数据湖作用几乎为0，因为用户根本不会知道数据湖中信息的实际情况，所以每个标签的数据来源至关重要，作为管理者必须不断更新监控这些标签，以便在出现问题时，第一时间解决。

复制数据和虚拟化

如果达到了有效管理数据湖，存储大数据也极具挑战性，并且将所有数据整合在一起，成为了一个全新的挑战。数据湖中的数据都是来自不同部门的信息整合，其中每个部门都可能会复制一个段特别有用的数据集，并将其用于自己的目的。这样做确实减轻了每个部门的负担，但是数据拷贝过程中，所提取的数据将会比之前占据空间大10倍，却没有任何改善方法。

不过现在好消息是，这个问题出现了新的虚拟化软件可以解决，虚拟化基本上只创建一个仅使用软件的虚拟计算机系统。这允许多个操作系统在单个服务器上运行，通过不断复制相同的数据来提高效率。而通过虚拟化，不同部门可以使用完全相同的数据足迹。

隐私和安全

现在大多数企业都开始重视大数据，但是要尤其注意大数据的诞生，也给黑客和罪犯提供了新的机会。为此请记住，很多大数据都是个人数据，因此受到政府机构的监管，但大数据可用于揭示不仅仅是新的业务策略，而且还可以了解到数据湖中的个人信息。有部分对安全不太谨慎的公司，可能会与人分享该数据。而如果造成数据泄露不仅会造成经济上的损伤，还会影响企业的声誉。

这些就表示着保护大数据的重要性，不仅要做到大数据传输保证端对端进行，还要限制对服务器的物理访问，实时监控大数据资料防止被入侵。

保护客户安全和有效存储大数据，使用户能够通过搜索相关信息。只是管理大数据实践的几个方面，但其中最重要的是，企业管理层必须明白，大数据本身是毫无意义的。只有通过保持灵活的方式将没有进行组织的大数据转化为结构化智能数据，企业才能获得最有价值的见解。

谷歌拥有无可争议的大数据获取端口，谷歌搜索的背后就是一座庞大的数据平台。在大数据时代，获取数据的渠道至关重要，难怪有人会说，得“数据”者得天下，在各个行业，玩转数据的案例比比皆是。

AI助力安防挖掘大数据

安防监控的数据是价值最低的数据。面对那么多摄像头和视频数据，很多时候我们只是把这些视频数据存在那里，并不会去看，并且也看不过来，其实挺浪费的。但是，客户需要的永远是有意义的情报，无论是出于安全因素破案，还是管理因素，都需要有意义的情报。

目前以视频数据为核心的安防监控体系其实给客户带来了大量的麻烦，因为产生了非常多数据，把这些数据放在客户跟前，好比大海捞针。

目前结构化数据已经可以使用非常成熟的手段去挖掘，这个过程中会有一些非常浅度地挖掘、简单的筛选，能够直接表达目标的性状、属性以及身份。

当我们需要的数据变成结构化数据以后，在不同行业、不同场景要有大量的数据挖掘应用才能够有效地把结构化数据变成有意义的情报。所以，未来人工智能在安防监控行业会有大量应用软件的市场空间，为各个垂直行业去做针对性的数据挖掘。

快递也有科技范儿

除了高科技设备，大数据同样助力快递提速增效。过去订单是按照产生时间的顺序出单，天南海北的订单都有，需要快递公司回网点分拨，现在基于大数据预测和云计算，提前在商家端做好订单分配，订单产生后，快递公司可直接按目的地区域分类、装车发货，大大提高了效率。

在义乌一家申通智能机器人分拣系统仓库，就有一群类似扫地机器人的机器在地面上来回移动。不同的是，每个机器“头顶”黄色小托盘，载着快件。地面上有一个个格口，格口按地域划分。每次到达指定格口，机器人的托盘翻起，快件顺着格口滑槽落入楼下的编织袋中，由人工进行打包。

机器人是如何到达指定格口，进行分拣的呢？原来是仓库两侧的放件员将快件放在机器人的托盘上，面单朝上进行信息采集，后台向机器人传达路径信息。机器人沿着地面上的二维码“路标”，到达指定位置卸货，几乎不会出现“撞车”现象。

商业银行加入队伍

银行的数据量是庞大的，对于商业银行的业务应用而言，则应从具体效用的角度来理解大数据思想及技术。

大数据技术支持商业银行对大量日志数据进行统计和建模，从而了解客户的行为习惯、风险偏好、健康情况、消费能力、渠道喜好、信用状况及人口统计学等多方面的信息，进而为客户“贴标签”、“画像”;亦可整合多种信息反馈渠道的数据，帮助商业银行实时关注、理解客户的真正业务需求。

如能有效地将大数据分析系统与移动互联网技术、线上线下一体化服务体系进行紧密融合，就可为商业银行的客户提供“千人千面”的个性化服务。

可见，从具体效用的角度来看，衡量一个商业银行是否真正应用了大数据、发挥了大数据的价值，就是要看其大数据系统是否能够显著提升数据分析和商业决策的效率，是否能够提高对客户的理解与认知能力，是否能够低成本、批量地实现较高水准的个性化客户服务。

大数据在航运业“起航”

航运大数据能做什么？专家解释道，基于大量的船舶类型、航线、船期等数据，分析全球大宗商品的实时走向，可以了解全球各大港口的货物类型、囤积情况等。

事实上，在航运业数据服务大有可为。在国内，从数以百万计的班轮船期信息，到由此衍生的动态船舶地理位置，还有全球总数高达一千七百多万TEU的集装箱实时地理位置信息，以及背后可挖掘的国际贸易相关客户信息、商品资料信息以及资金流信息等。这些不容小觑的庞大数据是联通了整个世界的贸易流的信息，是世界贸易的大血管，它的背后是每年4万亿美元的中国国际贸易总金额。

近年来，各个港口城市也正在努力兴建地域性的航运中心，瞄准的都是在蓝海经济中抢占核心数据，获得话语权。可以说，谁掌控和利用好“大数据”，谁就首先从航运的迷雾中突围，引领行业未来。

QQ空间就像是互联网上的城乡结合部，兼具博客论坛时代的土气和微博微信时代的洋气，拥有让写字楼里的薇薇安、杰西卡、莱斯利一秒变回“葬爱家族”的魔力。这个城乡结合部给了我们一个机会，可以重新审视过去的自己。

你有多久没有更新QQ空间，甚至不再登录上去看一眼？

短则几个月，长则一两年，我们常用的APP几乎就要更新一遍。在这个“但见新人笑，哪闻旧人哭”的互联网时代，面对令人眼花缭乱的产品，有多少人还记得十多年前红极一时的QQ空间？

本文是一位程序猿使用C#写的一个QQ空间蜘蛛网爬虫程序。程序断断续续的运行了两周，总共爬了3000万QQ数据，这些大数据背后隐藏了哪些信息？

这是我近期使用C#写的一个QQ空间蜘蛛网爬虫程序。程序断断续续的运行了两周，目前总共爬了3000万QQ数据，其中有300万包含用户（QQ号，昵称，空间名称，头像，最新一条说说内容，最新说说的发表时间，空间简介，性别，生日，所在省份，城市）的详细数据。

目前已经爬到我的第7圈好友（depth=7）共3000万数据。

爬虫主程序运行界面：

爬虫程序设计：

大致设计思路是模仿工厂的生产车间，使用三大独立循环线程组（GetWaitList，CrawlerQQInfos，SaveData）。

详细设计图：

再看看，我根据这份数据生成的一些有趣的统计图（数据量太大了一次加载到内存中直接报内存不够了，所以下面的统计数据只取了depth值小数据较完整约80W的数据）：

内存已经爆了，不能怪我。 谁赞助台服务器吧。

1、大家一般都在啥时候发说说呢？

从图中看出一天最冷门的时候是凌晨4点，这时全国正在睡觉的人最多。 大家最亢奋的是晚上10点到11点，人们都喜欢睡前看看别人的空间，发条说说。中午12点左右也有一波小高峰。

2、中国人都喜欢在几月生小孩呢？

最热门的是1月份和10月份，最冷门的是4月份。10月份生小孩的多好理解，一年忙差不多了，天气也不冷不热正是生小孩的好时候。 但1月份最高且和2月落差很大有点不好理解，那么冷的天生不怕冻吗？ 我估计是1月份也快过年了，以前没聚一起的好不容易聚一起了，就容易冲动，冲动就啪啪啪。 4月份生日的最少也好理解，中国人不喜欢4这个数字呗。 大数据有意思吧！！ 我觉得太好玩了，后面还有很多呢。

3、这是我目前爬取的用户所在地分布

你能猜出我是哪的了吗？前四名分别为：广东，湖南，四川，江苏。 没错，我就是湖南的！ 湖南人在广东打工的超级多，这也能理解为什么广东排名第一了。江苏是我上学的地方，有点琢磨不透的是四川和我非情非故的居然排第3名，我的朋友们，你们是谁播的种？站出来！ 还有一种可能，四川人交际能力全国第一，我平时在重庆小面吃饭，四川人确实特别，说话语速那个快啊，声调那个高啊。受不了！

4、数据人群的年龄分布

一不小心就暴漏了我的年龄，没错。我就是那个最高值的1990年；从目前的数据来看，无论是分布地区以及年龄阶段与我的关联还非常大，随着数据量的不断增加这种关联会逐渐变小，统计图也会逐渐接近全国用户的真实情况。真想弄几台服务器分布式搞起，估计一周就能爬上亿的简单数据。 单靠我的笔记本和家里超烂的网速达到这个目标还很远。

5、数据人群性别分布

男比女足足多了23%的人数，我分析认为实际差距应该是不大的，但女生在设置QQ空间访问权限时普遍要比男生的高。所以我爬取的数据中男生居多。

6、下面系列图是根据一些“关键字”在说说中出现的频率统计出来的，相当有意思。

6.1 图说股市

在知乎“能利用爬虫技术做到哪些很酷很有趣很有用的事情？” 有一个google实习的哥们@Emily L爬了400亿条tweet也做了很多有趣的分，其中提到一篇关于利用twitter上人的心情来预测股市的论文。(http://battleofthequants/wp-content/uploads/2013/03/2010-10-15_JOCS_Twitter_Mood.pdf)很有意思。另附我在该问题下的答案“用爬虫监测她（他）的知乎动态”，仅做技术玩乐，求别再喷我猥琐了。

如果当我们拥有海量的QQ空间最新说说，和sina微博数据。我想，用它们来做一些股市或者其它方面的分析预测是可行的，准确度应该也是非常高的。我接下来可能会考虑去做这件有趣的事情。

将股票中的关键字做海量数据分析，比如会得出当日讨论股票排行榜。进而能得到海量讨论股票的用户，再通过市场的实际反馈找出股票上涨及下跌的正相关因子，再对这些海量用户进行分析计算得出最靠谱股票推荐大神排行榜。对这些用户分级，分优先度及抓取密度来拿数据。用这些数据分析出哪些是靠谱的股票肯定靠谱。

6.2 群众讨论最多的明星排行榜，还是很靠谱的。

另附我抓的明星QQ号吧，纯属娱乐，自辩真假。有些空间确实有很多生活私照。

张杰QQ：4199** 花千骨的赵丽颖QQ：4277** 谢娜QQ：5007** 杨幂QQ:4567** 范冰冰QQ：885** 周杰伦QQ：3326**

6.3 最为用户喜爱的手机品牌

6.4 人们最喜欢谈论的互联网公司，阿里之所以这么低估计是大家都喜欢叫它淘宝或者天猫吧。 取这么多名字，自讨苦吃。

6.5 QQ空间中讨论的最为频繁的社交平台排行榜。

6.6 生活的统计图

爱>恨； 开心>伤心; 笑声>叹气声； 吃货很多； 谁特么说中国不幸福了，这满满的都是正能量数据啊。

好了，其实还可以做很多其它的分析。技术不多说了，程序不难，多线程数据库操作却是把我搞苦了。还好，现在程序差不多稳定了。过程也是很有意思的，有空我再写个程序升级过程中的那些趣事吧。我觉得一个美妙的程序一定是高度模拟现实的，就像飞机模仿蜻蜓，雷达模仿蝙蝠一样。 这次的程序设计就是模拟的工厂的生产线。

如今每年大数据领域都会出现大量的新技术，成为大数据获取、存储、处理分析或可视化的有效手段。现阶段大数据的出现确实提高各个领域的运行效率，未来可能影响整个社会经济的集约化程度。但就是这么神奇的大数据，我们究竟怎样才能玩转它？

　　先建立“灯塔”再考虑大数据

　　在你准备做数据项目是就应该抱着，“失败快，但往前跌”的态度，要好好规划你的项目。早期阶段，先建立数据灯塔再考虑大数据。不要你已经花费了一两年来搭建海量的大数据环境，却发现这是错误的。

　　在初期开始采集数据、建立数据库和做简单的数据分析时，要关注行业趋势：发现以前未知领域的走势或者趋势它这么形成的关键因素、多研究异常记录、了解数据中的相关性。

　　建立大数据思考

　　曾经一位数字分析专家说过，倡导采用框架的数字营销计量模型确保数据分析项目针对公司最重要的业务。由于现在很多企业并没有集合传统的数据和数字数据，而你通过数据灯塔掌握这些数据，还可以在一页面上总结明确的业务目标。

　　例子：

　　追求正确的时刻数据，而非实时数据

　　首先你要了解你所接触的企业目前获取组织数据的途径，然后把现有数据融入到流程中，目的是如何匹配数据传化成见解和洞察。如果实时数据没创造业务价值，你何必投入资源实现呢?而且你的公司将省很多钱，因为海量的实时数据肯定不便宜!

　　采集数据后，你的公司需要配合进行人工处理，那么你不需要实时数据，你需要正确的获取时刻数据。如果你拥有智能或规则驱动的自动化系统，你可以考虑实时数据作为原材料,不然你就是在浪费资源。

　　哪怕数据质量差，还是要做业务决定

　　当拟刚开始收集数据时，可能由于流程的不完善但更要尽可能多的收集、处理和存储数据，因为这些数据仍然具有很高的价值，相较于传统来源这样的数据可以让你建立最完善的用户画面。

　　消除噪音比找到信号更有价值

　　现在大多数在数据中查询目标都是在所有噪音中摸索有价值的信号，以掌握正确的信号，前提要清晰的研究问题、数据规模较小、数据更完整。前美国国防部长DonaldRumsfeld所谓的已知的已知(Known Knowns)和已知的未知(Known Unknowns)。Rumsfeld采用这概念讨论反恐情报的噪音，但也适用于分析和研究(请查看以下模式),做明智的业务决定。当然，“未知”的象限需要你的公司累计经验才可以比较进行有效探讨。

　　已知的已知模式(来自TextOre)

　　在面临大数据时代来袭，如果你想涉足其中你必须知道如何消除海量的数据量的噪音，才可能找到你需要的信号。此外讨论大数据之前，一定要建立扎实的基础，通过大数据思考并搭建数据灯塔。

美国NASA如何能提前预知各种天文奇观？风力发电机和创业者开店如何选址？如何才能准确预测并对气象灾害进行预警？电商如何依据客户消费习惯来提前为客户备货？零售行业如何了解客户消费喜好和趋势？等等，这一系列问题的背后,到底隐藏了什么秘密？

——那就是大数据的身影。

大数据、人工智能和云计算等术语成为大家经常谈论的话题，变得不足为奇了。这些技术以类似互联网和移动电话的方式推动着世界，影响着各行各业的发展。日益增加的复杂性和数据生成正在改变各个行业运营方式。其中，外贸行业也被深深影响着。目前，全世界每天都在创造2.5万亿字节的数据，机器学习和大数据法越来越多地用于外贸企业，以大量的数据基础，并做出人类无法做到的事情。

那么，大数据时代是如何推动外贸行业的发展呢？

怎样利用这些数据去解决外贸企业面临的问题呢？

这才是外贸行业极为关心的问题。

利用大数据技术，打通原始客户与全网潜在客户数据，刻画出企业客户画像，就能形成独特的数据预测模型，预测并与潜在客户产生全新的链接和互动。这并非简单的数据采集与储存，而是基于大数据的销售线索智能匹配系统，企业需要在系统中获取符合条件的潜在销售线索，并从来源、筛选到签单全线管理每一位客户数据。

对于大部分To B企业来说，自建数据库、完成数字化转型并不是一件容易的事情，需要集合开发、销售、运营、售后等多方的努力，更需要完成企业关于角色的转变，从单纯的产品提供商转变为客户全生命周期的运营者和服务者。而且对传统企业来说，以单个企业的数据规模以及对数据的处理能力，想通过打造智能商业的模式来完善销售全生命周期是十分困难的，小规模数据也无法驱动销售长期的发展。

而未来的B2B行业，一定是打通全网数据结合形成产业大数据，通过智能模型对大数据进行分析、预测，释放出更多数据的隐藏价值，形成数据全生命周期管理。打通企业内外部信息的边界，挖掘出企业原有信息的潜在价值，才能建立起真正符合未来B2B企业的发展战略，创造出新的销售价值。

笨鸟社交基于企业及客户双方信息不对称的痛点，为To B企业提供数据整合、数据清晰、数据补全等大数据基础服务；通过对数据的智能化、模型化分析，建立独特的目标客户画像；依此建立更加精准和有价值的营销计划，并跟进反馈，不断优化。

一方面，笨鸟系统通过爬虫、整理等技术抓取全网数据，覆盖全球超过六千万量级跨境B2B企业库、超过4亿关键联系人的海量数据，为企业推荐相匹配的高价值客户。真正让大数据为销售转化服务！

另一方面，通过自身积累或采购数据，获得数据后，笨鸟再根据这些内外部数据建立模型，刻画企业的需求客户数据画像，判断什么样的用户转化率比较高，以打分的形式直观体现。从而赋能企业实现运营突破,实现企业成功销售。

此外，笨鸟社交将进一步加大在大数据和人工智能领域的探索，为企业提供更加多元和高附加值的智能数据和技术服务，还将开拓出更多颠覆传统营销的新模式，来帮助企业用大数据的思维创造营销价值。

目前大数据工具林林总总，能解决的问题各方各面，但是在真正落地到企业的时候却往往因使用问题遇到障碍。为此星环针对使用体验上的需求打造大数据开发套件Transwarp Studio，深化大数据技术的应用，在数字化浪潮下推动大数据技术对产业的赋能。

上一篇文章，玩转大数据开发工具--上篇，讲解了OLAP Cube模型创建工具Rubik在5.1中的提升点，以及新成员报表工具Pilot的功能和特征。本文将继续介绍Studio 5.1中的三个工具：高吞吐低延迟的日志存储分析工具Milano、界面化的全新数据流同步工具Transporter、以及功能再升级的工作流引擎Workflow。

日志存储分析 Milano

Milano是Studio家族的第六个新成员，提供集群日志分析服务，既可以用于TDH平台日志分析，也可以直接作为客户应用的日志处理平台使用。Milano采用Filebeat+Kafka+Logtash+Elasticsearch+Kibana的架构，为用户提供便利的接口实现日志检索和统计分析，以及基于日志的预警功能，克服了传统方式在大规模集群中做高级统计分析的障碍，并实现可视化的监测。

Milano提供优秀的吞吐量性能，以及低延迟的响应；保证水平可扩展，且不丢数据；同时提供可靠的安全保护，谨防系统日志的泄漏。因此，其技术优势可以总结为以下三点：全链路高吞吐、全链路安全管控、全链路高可用。

全链路高吞吐

Milano的构成组件之中的Kafka和Elasticsearch本身具备高吞吐可扩展特性，可以根据压力灵活扩展。Milano单节点的每秒日志收集量可达15000条，3节点的Milano监控集群日志量每日收集可以达到10亿条。同时，Milano保障低延迟的入库，从日志产生到入库仅需10秒内的时间间隔。

全链路安全管控

Milano在日志收集、传输、分析等各个环节上实现安全管控。Kafka和Elasticsearch的数据通信都经过Kerberos加密，保障数据在传输过程的安全性。每个租户的数据只允许进入授权的Kafka Topic或Elasticsearch Index，使各个租户日志之间相互隔离，确保数据隐私。此外，对于可视化的监控界面Kibana，每个用户都拥有自己的Kibana实例，通过LDAP实现安全认证。

全链路高可用

Milano的高可用性通过以下两方面保证。首先，Kafka、Elasticsearch自身提供高可用保证，其他无状态的组件通过Kubernetes多实例部署的方式保证高可用。其次，Kafka、Elasticsearch、Filebeat等服务自身都提供状态监控，配合告警服务，可保证数据高可用，以及数据不丢不重。

数据流同步 Transporter

Transporter是一款数据流控制工具，用于控制数据在数据源之间的流转和同步。Transporter随TDH 5.0推出，但当时采用文件定义和命令的方式实现数据流转的设计和实现，对于没有技术基础的用户比较难上手。因此我们投入Transporter界面化的工作，使之在5.1中正式上线。

Transporter 5.1以图形化操作取代配置文件编写，极大提升数仓构建效率。Transporter基于Web提供数据流设计和控制，允许用户自助设计数据流转的业务规则，提供数据实时同步、ETL、卸数功能。

近实时同步

Transporter可对接Oracle GoldenGate、DataStage等ETL工具，并近实时的将数据同步进Inceptor；支持读取MySQL和TxSQL日志，并近实时同步到数据仓库，同时支持分Shard模式的日志同步；提供分钟级的数据同步方案。

图形化ETL

Transporter允许用户在设计面板上通过拖拽图形化控件和配置参数，将数据源和各种数据转换操作定义在数据流转流程中。同时支持丰富的数据源，除了可以对接Inceptor外，还支持外部数据源JDBC、CSV文本和定宽文件。

卸数功能

Transporter提供从Inceptor卸数的服务，将数据以CSV文件格式导出并存放在HDFS上。

工作流设计 Workflow

Workflow作为工作流引擎，使工作流的触发与执行被自动化，大幅简化工作流调度设计与管理工作，图形化的设计方式让作业任务之间的逻辑关系更清晰，业务人员可以快速上手。Workflow在Studio 5.1中得到进一步升级，设计界面更丰富，主要的提升点有：增加工作组概念、界面化调度周期设置、丰富监控页面内容。

新增工作组

Workflow 5.1增加了工作组的概念，支持将任务以组为单位进行组合设计，实现调度和监控。工作组提高了工作流设计的逻辑性，使工作流管理更方便。

调度周期

Workflow 5.1开始实现交互式的表达式设计页面，用于配置调度周期，并提供多周期的调度支持。

升级的监控页面

Workflow 5.1在监控页面上新增一级子页面，提供更多的工作流监控历史信息。同时，在工作流监控页的详情页面中，用户可以查看某段指定时间区间的工作流任务执行详情。

结语

大数据开发套件的价值在于，它可以切合大数据开发需求，消除大数据开发工具在用户体验上的痛点，让大数据产品就像日常工具一样，不论我们是否懂它内部的技术原理，拿到它或者经过简单的学习就可以上手使用。今后我们会继续投入提升Transwarp Studio的各项能力，构建完善的大数据生态体系，使用户能够自主打造自己的大数据应用。

点击或回复关键词，查看相关内容

公司

简介 | 星环科技成长大事记

投资 | 星环科技获腾讯领投2.35亿C轮融资，与腾讯云达成战略合作

产品

产品 | 星环的划时代版本-Transwarp Data Hub 5.0

TDH社区版 | TDH社区版提供官方下载

评测 | 大数据产品最新测试基准看哪家(TPC-H or TPC-DS)？

流式计算 | 用Slipstream构建复杂事件处理应用

Holodesk | 业界最强的SQL引擎Inceptor为何这么快？

培训 | 学完这些课程，你也是大数据专家了！

认证考试 | 数据中心联盟—星环联合认证体系首次认证考试报名中

技术

技术 | 原创技术干货大合集！

技术支持 | 最完整的星环技术支持体系

评测 | 大数据产品最新测试基准看哪家(TPC-H or TPC-DS)？

TED视频 | TEDxLujiazui精彩视频：【大数据 大趋势】

白话大数据 | 白话大数据合集

案例

银行 | 河南农信：数据辅助决策，决策引领创新

证券 | 中泰证券：剑指大数据处理 多券商革新IT架构

智能金融 | 星环科技发布证券业大数据战略规划纲要(白皮书)

运营商 | 运营商的新方向-运用Hadoop技术将大数据资产变现

交通 | 大数据在智慧高速中的创新应用

物流 | 星环Hadoop发行版助快递业迎战“双十一”

邮政 | 中国邮政大数据平台建设

税务 | 大数据提升税务系统核心能力

审计 |让数据成为竞争力

视频监控 | Hadoop大数据在实时视频监控的应用场景

广电 | Hadoop企业级应用新添重磅案例

电力 | 华南某市供电局全景可视化大数据平台案例

能源 | 厉害了，我的营销大数据！

智能工厂 | 大数据技术助力中国石化智能工厂

农业 | 农业大数据的研究与实践

医药 | 医药产业链大数据前沿探讨

速记

【速记】河南农信 牛玲玲：数据辅助决策，决策引领创新

【速记】数起科技 李明国：让数据成为竞争力

【速记】天士力 刘晓煜：医药产业链大数据前沿探讨

【速记】国家农业信息化工程技术研究中心 陈天恩：农业大数据的研究与实践

【速记】同济大学教授 王伟：同济-星环“数据科学与大数据实践平台”建设

【速记】第一创业证券 瞿任雄：基于星环TDH大数据平台构建新一代券商数据中心

【速记】南方基金 屈磊：基于TDH数据中心大数据平台建设

【速记】中泰证券 何波：基于机器学习的场外配资自动识别系统

如今，企业越来越重视数据分析给业务决策带来的有效应用，而可视化是数据分析结果呈现的重要步骤。而可视化技术/工具在国内国外也发展的相当成熟，很多都已经做成应用（比如可视化图表库，BI工具等等），并投入商用。

如何利用大数据可视化，如何做好大数据可视化，今天就给大家介绍一些实用的工具，有图表库、有BI ......

国外产品系列

1、ChartBlocks

ChartBlocks是一款网页版的可视化图表生成工具，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的JavaScript库D3.js来创建图表。图表是响应式的，可以和任何的屏幕尺寸及设备兼容。 还可以将图表嵌入任何网页中。

2、D3.js

D3是个图表库，对于前端工程师来说，D3.js 称得上是最好的数据可视化工具库。

D3厉害的地方在于它建立了一整套数据到SVG属性的计算框架，常用Data visualization模型，大多都可以再d3.layout里面找到。D3.js运行在JavaScript上，并使用HTML，CSS和SVG。

D3.js是开源工具，使用数据驱动的方式创建漂亮的网页，D3.js可实现实时交互，这个库非常强大和前沿。

3、Tableau

Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字"画布"上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。其两种不同的变体是基于云计算的Tableau Online和Tableau Server。

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

国内做数据可视化产品/工具的公司

国内有独立成一行业的公司，围绕可视化做一些应用产品/系统的公司，比如：

帆软——报表软件finereport、商业智能finebi、大屏可视化阿里——蚂蚁金服可视化控件AntV、数据可视化大屏DataV数字冰雹——大屏可视化百度——开源图表控件Echarts网易——数据分析平台（BI）网易有数

除此之外，还有很多互联网公司会开发自己的数据可视化产品、BI平台，引用国内外开源，对内形成解决方案，但是不对外。软件集成商也对针对客户需求，做专门的方案，自己开发或者集成别人的应用。

1、FineBI

FineBI是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。FineBI也是找了很久感觉很不错的一款数据可视化工具。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于百度的echarts，FineBI还是一款比较容易入手的数据分析工具。最后，FineBI提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

2、EchartChart

echarts的优点：

国产货有语言优势或区域优势。毕竟是中国制造，自己家做出来的，亲和力高，比较适用于我们的思维，对于城市的地理坐标、城市代码等都已经配置好了，需要的时候，直接调用，很方便。免费，各类图，各种形式，K线图完全免费开源。能减少制作成本，也方便使用，（不用担心以后会有什么）当客户选择的时候，我们可以有更多的方案为他们准备。对于处理大量的数据和3D绘图：基于canvas绘图，所以3D绘图方面占据绝对的优势。（可以结合百度地图的使用，而且方便快捷。）一个纯Javascript的图表库：可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互。（使用了几个浏览器，均没发现什么问题。）支持和弦图、力导布局图、拖拽重计算、数据视图、值域漫游、大规模散点。支持动态类型切换（十分方便，以内置代码，轻轻动动手指就可）

3、支付宝AntV

AntV 是蚂蚁金服的数据可视化解决方案，主要包含「数据驱动的高交互可视化图形语法」G2、专注解决流程与关系分析的图表库 G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库 F2 以及一套完整的图表使用指引和可视化设计规范。已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万 UV 级的产品