中企动力 > 商学院 > 数据统计分析教程
  • ?

    史上最全,最详细的Java教程

    Sean

    展开

    java

    深知广大爱好Java的人学习是多么困难,没视频没资源,上网花钱还老被骗。为此我呕心沥血整理了这套Java教程,不管你是不懂电脑的小白,还是已经步入开发的大牛,这套路线路你都值得拥有,小白看上面的视频可以成功学会Java并且顺利工作,大神看了上面的资源肯定会谆谆乐道,教程的宗旨就是分享,专业,便利,让喜爱Java的人,都能平等的学习。

    首先建立好开发环境非常重要,工欲善其事,必先利其器。做任何开发,首先就是要把这个环境准备好,之后就可以去做各种尝试,尝试过程中就能逐渐建立信心。初学者往往在环境配置中被各种预想不到的问题弄得很沮丧。不用担心,下面有详细的开发软件。

    java常用软件

    然后是Java教程的流程图,学习要由浅入深,一步一步来,流程图为大家列出学习的先后顺序,不要急,把基础打牢固,后面的难题自会迎刃而解。

    Java教程—流程篇:

    java学习路线图

    Java教程—视频篇:

    Java视频篇第一阶段-Java基础入门

    本阶段Java课程共计11个知识,1个免费学习视频推荐

    1、周期与目标:

    学习周期:35天

    学完后目标:可进行小型应用程序开发,对数据库进行基本的增删改查管理

    2、知识点:

    1)计算机基础知识(理解)

    计算机基础、DOS常用命令、Java概述、JDK环境安装配置、环境变量配置、Java程序入门

    2)编程基础(掌握)

    常量与变量、数据类型、运算符、流程控制语句、方法、数组

    3)面相对象(重点)

    类与对象、封装、继承、多态、抽象类、接口

    4)常用类(理解)

    常用类介绍、正则表达式

    5)集合(重点)

    Collection集合、List集合、Set集合、Map集合

    6)异常(理解)

    异常处理方式、自定义异常

    7)IO(掌握) File类、递归、字节流、字符流、转换流、缓冲流

    8)多线程(理解) 多线程、线程池

    9)网络编程(理解) 网络编程

    10)反射(理解) 反射

    11)MySQL及JDBC开发(重点) MySQL数据库、JDBC、DBUtils、DBCP连接池

    Java基础视频教程 :http://pan.baidu/s/1pLhN7ib

    Java视频篇第二阶段-JavaWeb阶段

    本阶段Java课程共计4个大知识点,4个免费学习视频推荐

    学习周期:33天

    学完后目标:可以仿制任何网站前端页面,解决网页浏览器兼容性问题,解决PC端和移动端兼容性问题;使用前端脚本进行相关网页功能特效编写,使用JavaWeb核心技术轻松写出任何网站功能模块,使用JavaWeb高级部分知识解决网站的相关高并发问题,无压力胜任javaEE开发工程师职位。

    1)前端技术(掌握)

    HTML、CSS、JavaScript、jQuery、bootstrap

    2)Mysql及JDBC(重点)

    MySQL数据库回顾、JDBC开发回顾、连接池和DBUtil

    3)JavaWeb开发核心内容(重点)

    XML、HTTP及Tomcat、Servlet、request与response、cookie与session、Jsp技术、jdbc高级、Ajax开发、Filter/Listener高级开发技术、Redis、Linux

    4)阶段案例(掌握)

    系统封装:BaseServlet抽取、缓存技术Redis应用、在线支付接口开发、文件上传、JavaMail、Linux项目部署

    Java视频教程:

    (1)轻松掌握JavaWeb视频教程:http://pan.baidu/s/1dFoT7Vz

    (2)6天玩转mysql视频教程:http://pan.baidu/s/1mhYXBM4

    (3)超全面的JavaWeb视频教:http://pan.baidu/s/1o8TSHrc

    (4)阶段案例--JavaWeb网上图书商城完整:http://pan.baidu/s/1pLllwXt

    Java视频篇第三阶段-SSH框架阶段

    学习周期:18天

    学完后目标:能够开发JavaEE的后台系统,能够搭建企业级的JavaEE开发框架,能够使用Jquery的技术,能够使用ajax技术

    1)Hibernate5框架(重点)

    hibernate.cfg.xml配置、hbm.xml映射文件详解、PO对象状态及状态的转换分析、Hibernate高级映射技术、Hibernate数据检索技术、Hibernate性能优化技术

    2)Struts2框架(重点)

    struts.xml详解及使用、使用通配符定义action、动态方法调用、ActionContext及ServletActionContext使用、模型驱动ModelDriven、属性驱动、默认拦截器分析、自定义拦截器、OGNL表达式、值栈ValueStack分析

    3)Spring框架(重点)

    applicationContext.xml配置文件编写、IoC思想、DI依赖注入、使用AspectJ进行切面编程、JdbcTemplate模板使用、声明式事务管理、SSH整合

    4)CRM项目实战(掌握)

    使用struts2+spring4+hibernate5 +svn来开发项目、使用Jquery EasyUI进行布局、使用svn进行代码管理

    Java视频教程

    (1)Hibernate5框架:http://pan.baidu/s/1qYrUBxi

    (2)Struts2框架:https://pan.baidu/s/1c1Tq55A

    (3)Spring2.5视频教程:http://pan.baidu/s/1c222JE4

    (4)struts2.1.8视频教程:https://pan.baidu/s/1jIa17wE?srx

    Java视频篇第四阶段-项目实战一阶段

    本阶段Java课程共计3个大知识点,4大项目实战,1个免费学习视频推荐

    学习周期:16天

    学完后目标:可进行SSH系统框架的搭建,能独立基于SSH框架进行功能模块开发可熟练操作oracle数据库,基于Oracle数据进行应用开发,可使用Quartz框架完成定时任务调度功能开发,可使用Shiro框架完成认证及授权功能开发,可使用CXF框架完成接口功能开发,可使用amChart完成图计报表功能开发,可使用ApachePOI组件完成导入及导出功能开发,可实现邮件的发送功能,可使用freemarker实现代码自动生成,据有一定的业务需求分析能力

    1)oracle(重点)

    简单查询、oracle的常用函数、多表查询、集合操作、DDL操作管理表、DML管理数据、其它数据库对象、PL/SQL编程、存储过程与存储函数、触发器

    2)maven(掌握)

    maven介绍、maven安装、maven的入门程序、maven仓库、项目构建、依赖管理、maven综合案例、maven的私服

    3)项目实战(重点)

    (1)商务综合管理平台 项目背景及项目需求、使用Maven进行项目构建、部门模块开发、用户管理及角色管理、使用shiro完成认证及授权功能开发、JavaMail、购销合同模块开发、购销合同报表及出货报表、海关数据导出功能开发、出口报运单功能开发、Quartz定时任务调度实现、FreeMarker+CodeMachine完成代码自动生成、委托单、催款单、财务报运单、生产厂家及产品信息

    (2)BOS项目 项目概述、环境搭建、zTree树及Jquery EasyUI、用户登陆与退出、密码修改、基础配置功能开发、取派员模块开发、区域导入导出、定区功能开发、webService及CXF框架、定区关联客户功能开发、业务通知单功能开发、权限管理模块开发、shiro认证框架、角色管理、系统部署

    (3)ERP项目 软件设计与环境搭建、部门管理模块开发、基础模块开发、登陆与密码管理、采购申请、主线业务流程开发、销售与库存管理、报表与图表、库存预警、数据导入与导出、CXF框架、权限分配、权限验证框架Shiro

    (4)药品集中采购系统 项目需求及业务流程、项目框架构建及封装、Jquery EasyUI框架、用户管理模块开发、使用Shiro框架完成认证、授权功能开发、使用ApachePOI完成药品目录导入导出功能开发、WebService及CXF框架、使用CXF框架完成药品目录同步接口开发、采购单模块开发、采用Quartz定义数据聚合定时任务工程开发、使用Jfreechart完成统计分析功能开发、系统测试及系统部署。

    (1)ORACLE经典视频教程:http://pan.baidu/s/1bpBspdX

    Java视频篇第五阶段-SSM框架阶段

    本阶段Java课程共计3个大知识点,1个免费学习视频推荐

    学习周期:6天

    学完后目标:能独立搭建SSM项目架构,能独立基于SSM框架进行功能模块开发,能够独立使用bootstrap提供的UI组件实现系统功能,熟练使用Mysql数据库管理业务数据。

    1)mybatis(重点)

    mybatis框架原理、mybatis入门案例、mybatis开发DAO方式、mybatis输入输出映射、动态sql、spring整合mybatis

    2)springmvc(重点)

    springmvc框架原理、springmvc入门案例、springmvc整合mybatis参数绑定、json数据交互、拦截器

    3)Lucene&solr(重点)

    什么是全文检索、Lucene实现全文检索、Analyzer分析器、索引维护、solr安装配置、solr索引、solr搜索、SolrJ

    Java视频篇第六阶段-项目实战二阶段

    本阶段Java课程共计2大项目,2个免费学习视频推荐

    学习周期:13天

    学完后目标:能独立搭建SSM项目架构,能独立使用Maven构建项目工程,能独立基于SSM框架进行功能模块开发,熟练使用Mysql数据库管理业务数据;熟练使用Jquery常用API完成动态js代码编写,能够使用Freemarker完成页面静态化,能够使用dubbo框架进行分布式开发 ,使用nginx实现负载均衡;能够使用FastDFS搭建图片服务器,能够使用Solr完成全文检索功能开发,使用Redis缓存业务数据,提升系统性能;据有一定的业务需求分析能力

    新巴巴运动网项目&淘淘商城项目(重点)

    项目介绍、环境搭建、使用Maven进行项目构建、使用dubbo完成分布式服务框架搭建、使用redis缓存数据提升系统性能、使用Solr实现搜索系统、消息队列activemq应用、freemarker页面静态化实现、SSO单点登陆系统开发、后台管理系统开发、前台管理系统开发、会员系统开发 、购物车开发、订单系统开发

  • ?

    DOTA2数据分析入门(一):获取数据源

    奔赴

    展开

    我决定再抬大家一手,把我做DOTA2数据分析以来,积累的经验、踩过的坑,写成这个系列文章...

    序言:我是怎么转行做了数据分析师?(着急看课程的可以直接跳过)

    2016年夏天,我和室友昊哥下班回到家,通常会一起操作几盘刀塔。

    老年人连跪几把之后,到了「赢一把睡觉」的关键局,我们会默契的掏出开黑英雄组合——发条&沉默。昊哥选发条劣单,我玩沉默走中,6级后发条勾上去、沉默开大稳定秒一个(智力+2),4000分的鱼塘基本没输过。相处非常融洽。

    一旦有比赛,场面就没有这么和谐了,昊哥是B神粉丝,我是CTY粉丝。大部分比赛都是各看各的,毫无交流。偶尔B神对阵CTY,也是同屏异梦,各怀鬼胎。

    但是!谁也没有想到!TI6前大地震一波操作,最后的结果居然是BCHRS合体组成VG战队,开启了燃烧的远征。听到这个消息,我和昊哥一下子就激动了!B神和CTY成了队友,我们两个小粉丝可以愉快的支持同一只战队了!

    除了摇旗呐喊,我们两个码农决定做一个小软件——「BP助手」,统计各个队伍的BP特点(展示英雄协作和克制关系),想为燃烧军团出一份力...结果第二天昊哥接到一个新的工作任务,鸽了...我一个电子科大计院的水硕,离开浙大牛硕的支持,进展缓慢。

    后来的事情大家都知道了——承载着万千粉丝希望的燃烧军团,一路披荆斩棘,却倒在了最后一战,抱憾离开TI6的赛场。(CTY曾回顾这段经历:作彼此的宝搞。)然而神奇的是,我对DOTA2数据分析的热情,并没有随着燃烧军团的失败而褪去,反而愈来愈高。从此之后,我没有再玩过一局刀塔,而是把以前拿来玩DOTA2的时间,全部用来学习数据分析(以DOTA2职业比赛为数据源),年底转行做了一名商业数据分析师。

    在这一年半中,我用空余时间写了数十篇DOTA2数据分析文章。承蒙大家抬爱,阅读量不错,粉丝过十万,竟也成了自媒体。慢慢就有很多人私信我,问我如何学习数据分析。

    点击图片查看大图

    我很想好好回答这些问题,不辜负大家的信任。但是一方面零基础入门数据分析需要学习的东西很多,三言两语讲不清楚;另一方面我做数据分析师才一年,才疏学浅也不敢造次。

    正巧当时「优达学城」的中国区负责人看到《TI7伤害之王》后找到我(这位兄弟也是doter),希望让我做数据分析课程的明星学员,体验并给出建议。深度了解之后,我觉得这个在线课程的课程质量、代码批阅、项目过关和学习氛围都挺不错。于是找优达学城订制了「DOTA2」专属优惠码,把数据分析师(入门)课程课程推荐给大家。

    到目前为止,已经有数十人使用DOTA2优惠码报名了课程,而且学得不错。所以,我决定再抬大家一手,把我做DOTA2数据分析以来,积累的经验、踩过的坑,写成这个系列文章,让各位电子竞技爱好者在学习数据分析的时候,多一个参考~

    现在开始上课。DOTA2数据分析入门(一):获取数据源

    适合阅读本系列文章的读者

    正在优达学城学习数据分析课程,同时又对电子竞技感兴趣的朋友

    热爱DOTA2,想给自己点一个「数据分析」技能的朋友

    本节课学完之后,你能回答这些问题

    统计kpii场均要发几次:>漂亮。

    各战队BP的核心英雄是哪些?

    几只顶尖战队的资源分配有什么差异?

    给XX选手的第一条建议。

    其他任何你觉得有意思的问题。

    一、如何获取DOTA2数据源

    获取DOTA2数据源的方式大致有四种:

    手工统计。打开DOTA2客户端,看赛后统计或者游戏录像, 拿小本本(excel)手工记录。缺点:效率太低。

    查询数据统计网站(DOTABUFF\DOTAMAX\刀魔数据等)。缺点:无法获取特定(定制)数据,可能你想看的数据网站并没有展示,也很难对数据进行再加工。

    调用官方和第三方提供的数据接口API,或者查询第三方数据库【这是我们今天要学的】。缺点:门槛略高,需要掌握SQL(Structured Query Language)和python。另外API一般不会提供游戏细节数据(比如,只能告诉你肉山被杀了几次,而无法告诉你击杀肉山的最后一下伤害是多少)

    解析录像。计算机代替人眼把游戏录像从头到尾看一遍(比任何人都看得更仔细,不会漏掉任何一个细节),得到游戏中发生的所有事情。缺点:门槛很高,需要会java或者golang语言。【一般的数据分析不需要用到如此细粒度的数据】

    二、业界最好的DOTA2数据源在哪里

    先说API,码农世界的API指的是Application Programming Interface,应用程序编程接口...是不是有点晕?有一种「黑板是吸收知识的地方,只是教室的阳光,那颜色我不太喜欢,没有操场的自然」的感觉?

    没关系,我们换一个解释方式:API就是约定好一套规则,一方发出请求,一方按要求执行,并返回结果。举例!我早上去买热干面,跟老板说:一碗热干面,不要辣。付款之后等个几分钟,老板就会把热干面递给我。(老板提供了「热干面API」供我使用!)

    点击图片查看大图

    DOTA2数据API也是一样,你只用告诉系统要哪场比赛的数据,系统就会把数据传给你。只不过沟通语言从普通话换成了编程语言(python、java等),返回的结果从热干面换成了数据(json格式等),面馆也变成了数据提供方(官方API、OPENDOTA提供的API等)。

    点击图片查看大图

    那么,业界哪一个数据团队做的热干面最好吃(提供的数据最好用)?——OPENDOTA团队!有同学就要问了,OPENDOTA是个啥?数据不应该都在V社爸爸手里吗?为什么不用V社提供的API?

    V社确实提供了官方API,但是很久没有维护(可能在度假吧,你看网站老掉牙的UI...),使用体验很差。我当初研究DOTA2数据源的时候,浪费了大量时间探索官方提供的WEBAPI。所以,这个坑大家就别踩了!

    点击图片查看大图

    调用API,需要掌握一门编程语言(我推荐python)。但编程语言的学习门槛略高,如果直接从python调用API入手,很容易在体验到数据分析的乐趣之前就被折磨的敲出GG。(python可以在网上找资料自学,如果基础太差没啥自信,也可以使用DOTA2优惠码报名优达学城的python入门课程。)

    所以,让我们从使用SQL查询数据库开始学习!这里要给OPENDOTA点一个大大的赞!他们非常人性化的提供了一个交互查询功能,只输入SQL查询语句,网站就会把数据从数据库中取出来呈现给你。(不需要安装任何软件,对初学者很友好)

    点击图片查看大图

    那么如何学习SQL呢?

    这个问题知乎上有更好的答案。但我想强调的是:兴趣是最好的老师。SQL经典教材,往往会让你查询经典的部门-职工数据库(或者学生-成绩数据库),做很多枯燥的练习,学了之后也容易忘记。但是!!!如果你本身是一个电竞爱好者,使用DOTA2数据库学习SQL,一定会学得开心又扎实!

    本节课到这里就正式结束啦。有同学肯定一脸懵逼:这个课程和平常上的不太一样,没有概念讲解,也没有例题演练。没有就对了!这个系列的教程不是操作手册,更不是百科全书,只是试图给出一张明晰的鸟瞰图,帮助大家少走弯路。但路还是自己走过一遍,才会有所感悟。

    如果想走的更快、有人同行(或者基础很差又决定了要做数据分析师),我还是推荐「优达学城」的数据分析零基础入门课程。(使用「DOTA2」优惠码可以减免学费,但会增加一个额外的毕业要求——写一份电竞数据分析报告,公开发表,接受大家的检验!)

    给大家留几道SQL作业题(如果做不出来,下节课就不用上了...):

    在刚刚结束的ESL One云顶Minor赛事中,冠军Newbee一共使用了多少名英雄?5名选手谁的英雄池最深(分别使用了多少英雄)?

    线下赛没有出场过的英雄有多少个?都是谁?

    线下赛的热门上场英雄是哪些?胜率如何?各英雄的最佳使用者是谁(自选评价指标)?

    几点说明:

    本系列课程每月更新1~2次(马上要当爹了,有没有时间写文章,娃娃说了算...)

    我的私信已经是学校的客服渠道了(问路、感谢、投诉、打小报告)。所以,遇到问题尽量Google解决(作为一名初学者,你遇到的99%的问题,前人都遇到过了),或者在评论中互相讨论。私信实在回不过来,还请大家见谅。

    from:微博.何求知

  • ?

    人人可用的数据可视化分析Tableau学习体验内附下载资料)

    Gelsey

    展开

    相对于可视化信息工具, Tableau 更像是一个数据分析探索工具,它的魅力集中体现在对数据的分析和探索,而不是对表现形式的艺术化。

    在本文中小编将完整的介绍 Tableau 的学习过程,以及从产品适用范围角度、从业务分析中总结出来的关于 Tableau 的一些优势。这些亮点个人认为也符合未来数据分析产品发展的整体趋势。

    Tableau帮助客户查看并了解数据,运用数据和分析推理,提升工作效率和企业竞争力。依靠核心技术VizQL,Tableau推出了桌面版、服务器版、在线版和公众版四种版本的产品,帮助用户实现数据分析。

    以稍加修改过的CRISP-DM数据分析流程为基准,给出Tableau的适用范围:

    Tableau是一款非常优秀的、采用可视化的方式进行快速数据探索与分析成果展示工具。Tableau用于构建部门级BI时,在原型搭建、开发部署与试错迭代方面有着远低于同类产品的时间与经济成本优势,但在进行复杂的数据权限管理时会面临两难。企业对于Tableau的应用应充分发挥其产品优势,尤其应重视培养业务和分析人员进行数据探索和分析的能力,而不是仅将其当作新的BI平台使用。

    对于业务和分析人员来说,使用Tableau的侧重点应该在:

    提出业务问题,列出所需的数据集,明白个中关联准备可视化作品所需的最小数据集和最优数据结构快速、准确地生产可视化作品炫酷的样式带来的往往不是惊叹号,而是问号

    对于企业来说,能力构建>系统搭建。

    优势:

    1什么都能连

    你知道的数据库,tableau都能连!不能直连的,也可通过odbc来连!

    2学习门槛低

    首先,tableau上手非常容易。对于不太掌握统计原理的人,也能完成非常有价值的分析,用过excel的人,应该都能够直接上手tableau。

    其次,官方更倾向于在线帮助,有各种视频、文本、案例提供支持。更新得很及时,保证是lastest。

    3轻量级

    不像biee , 你如果要从头做一张报表,你首先要装数据库、biee suite , 然后开发rpd,开发 analysis , 开发仪表盘…

    tableau 透过 tableau desktop , 一旦与数据源建立了连接之后,就能通过简单的拖拉拽功能来快速创建一个报表。如果说biee从搭环境到开发一张报表所用的时间是1天,那么tableau是1个小时。

    4更智能

    比如:

    自动识别维度和度量自动对维度打标、着色等自动求和推荐展示方式自动识别关联条件

    …

    5给人亲切感

    在tableau身下,你能找到 ppt , excel , 以及其他数据分析工具的身影,很多功能都有相似之处,但同时又会感觉更好用!

    6丰富的图表展示

    比如heat map , maps , treemap , circle view , box-and-whisker plot , packed bubbles , bullet , scatter plots 等等, 非常直观, 能够迅速帮助数据分析人员发现数据问题。

    Tableau可以提供五种主要产品,可以满足多种专业人士和组织的多样化视图需要。这五种产品是:

    Tableau桌面:适用于个人用户Tableau服务器:适用于各组织间的合作Tableau在线:适用于云端商业智能Tableau阅读器:让你在Tableau桌面阅读保存的文件Tableau公共场所:适用于新闻撰稿人或者任何使用者在线发表互动数据

    学习资源;

    1,免费培训视频

    链接:http://tableau/zh-cn/learn/training

    135 个免费培训视频,视频内容会随着最新版本同步更新。

    2,快速入门指南

    链接:http://tableau/zh-cn/support/manuals/quickstart

    开始使用并学习如何通过这些简短的指南使用产品功能。

    3,点播式网络讲座

    链接:http://tableau/zh-cn/learn/webinars

    可视化分析助力零售业决策赢在数据 – Tableau 驱动企业创新电子表格无法做到的 5 件事那些关于 Tableau 10 的 “疯狂小事”如何使用 Tableau 超越 ExcelTableau 9 版本系列那些你不知道的“秘密”可视化分析最佳实践Tableau 与 R : 数据统计分析的完美集成

    4,白皮书

    链接:http://tableau/zh-cn/learn/whitepapers

    阅读有关数据可视化和 Tableau 最佳做法的深度信息,让你的技能更上一个台阶。

    1,Tableau 知识库

    链接:http://kb.tableau/?lang=zh-cn

    Tableau

    知识库,了解技术问题,提供解决方案,手把手解决你的燃眉之急。

    包括内容:

    入门:借助这些重要文章顺利开始您的 Tableau 体验之旅。

    数据:连接到数据,创建数据提取和优化性能。

    可视化分析:浏览数据,创建交互式可视化并将其与他人共享。

    账户管理:访问您的 Tableau Software 帐户来管理账单、发票等事宜。

    2,手册与指南

    链接:http://tableau/zh-cn/support/help

    探索有助于您学习和了解 Tableau 产品的资源

    3,教室培训

    链接:http://tableau/zh-cn/learn/classroom

    观看免费的在线视频,并通过这些教育性资源获得实践培训。

    4,Tableau 认证

    链接:http://tableau/zh-cn/support/certification

    获得Tableau 专业知识认证。

    学习资源二:

    链接:https://community.tableau/welcome

    提出问题、获取答案,并与其他 Tableau 用户建立联系,不出家门就可以与世界各地的数据爱好者们进行分析交流~

    学习资源三

    Tableau Public

    链接:https://public.tableau/s/

    Tableau Public 对大家来说可能并不是很陌生了,我们推送的许多 Viz 作品都是来自 Tableau Public 上的优秀作品。这里聚集了世界各地的 Tableau 粉丝,他们通过 Public 分享自己的 Viz 作品。

    在Gallery 版块上每天都会有精选 Viz 发布,并且每篇 Viz 都能够下载,供大家学习。通过研究大神们的作品,很多时候都能够激发我们灵感,创造出更棒的作品

    2,Tableau Blog

    Tableau Public上的 blog 版块也是我们寻找资料的好地方。里面的文章推送,不仅包括优秀 Viz 的展示,更有作品背后故事的讲述,很多还会有具体教程的干货分享。

    想要在 Public 上寻找特定资料,但不知道从何下手?不要担心,只需点击网站右上方的放大镜图标并输入搜索关键字,所有 Public 上的资源都能展现在屏幕上了!

    博易智软——大数据应用专家!

  • ?

    用R语言做数据分析——相关图

    戚安卉

    展开

    相关系数矩阵是多元统计分析的一个基本方面。哪些被考察的变量与其他变量的相关性很强,哪些并不强?相关变量是否以某种特定的方式聚集在一起?随着变量数的增加,这类问题将变得难以回答。相关图作为一种相对现代的方法,可通过对相关系数矩阵的可视化来回答这些问题。

    相关图非常容易解释,以mtcars数据框中的变量相关性为例,它含有11个变量,对每个变量都测量了32辆汽车。利用下面的代码,我们就可以获得该数据的相关系数:

    > options(digits = 2)

    >cor(mtcars)

    mpg cyl disp hp drat wt qsec vs am gear carb

    mpg 1.00 -0.85 -0.85 -0.78 0.681 -0.87 0.419 0.66 0.600 0.48 -0.551

    cyl -0.85 1.00 0.90 0.83 -0.700 0.78 -0.591 -0.81 -0.523 -0.49 0.527

    disp -0.85 0.90 1.00 0.79 -0.710 0.89 -0.434 -0.71 -0.591 -0.56 0.395

    hp -0.78 0.83 0.79 1.00 -0.449 0.66 -0.708 -0.72 -0.243 -0.13 0.750

    drat 0.68 -0.70 -0.71 -0.45 1.000 -0.71 0.091 0.44 0.713 0.70 -0.091

    wt -0.87 0.78 0.89 0.66 -0.712 1.00 -0.175 -0.55 -0.692 -0.58 0.428

    qsec 0.42 -0.59 -0.43 -0.71 0.091 -0.17 1.000 0.74 -0.230 -0.21 -0.656

    vs 0.66 -0.81 -0.71 -0.72 0.440 -0.55 0.745 1.00 0.168 0.21 -0.570

    am 0.60 -0.52 -0.59 -0.24 0.713 -0.69 -0.230 0.17 1.000 0.79 0.058

    gear 0.48 -0.49 -0.56 -0.13 0.700 -0.58 -0.213 0.21 0.794 1.00 0.274

    carb -0.55 0.53 0.39 0.75 -0.091 0.43 -0.656 -0.57 0.058 0.27 1.000

    哪些变量相关性最强?哪些变量相对独立?是否存在某种聚集模式?如果不花点时间和精力,单利用这个相关系数矩阵来回答这些问题是比较问题的。

    利用corrgram包中的corrgram()函数,我们可以以图形的方式展示该相关系数矩阵,代码为:

    >library(corrgram)

    >corrgram(mtcars,order=TRUE,lower.panel=panel.shade,

    + upper.panel=panel.pie, text.panel=panel.txt,

    + main="Correlogram of mtcars intercorrelations")

    我们先从主对角线下方的单元格开始解释这幅图形。默认地,蓝色和从左下指向右上的斜杠表示单元格中的两个变量呈正相关。反过来,红色和从左上指向右下的斜杠表示变量呈负相关。色彩越深,饱和度越高,说明变量相关性越大。相关性接近于0的单元格基本无色。

    从图中含阴影的单元格中可以看到,gear、am、drat和mpg呈相互间呈正相关,wt、disp、hp和carb相互间也呈正相关。但第一组变量与第二组变量呈负相关。我们还可以看到carb和am、vs和gear、vs和am以及drat和qsec四组变量间的相关性很弱。

    上三角单元格用饼图展示了相同的信息。颜色的功能同上,但相关性大小由被填充的饼图块的大小来展示。正相关性将从12点钟方向开始顺时钟填充饼图,而负相关性则逆时钟方向填充饼图。corrgram函数的格式如下:

    corrgram(x, order=, panel=, text.panel=, diag.panel=)

    其中,x是一行一个观测的数据框。当order=TRUE时,相关矩阵将使用主成分分析法对变来那个重排序,这将使得二元变量的关系模式更为明显。选项panel设定非对角线面板使用的元素类型。我们可以通过选项lower.panel和upper.panel来分别设置主对角线上方和上方的元素类型。而text.panel和diag.panel选项控制着主对角线元素类型。可用的panel值如下图所示:

    我们进行第二段代码:

    >options(digits = 2)

    >library(corrgram)

    >corrgram(mtcars,order=TRUE,lower.panel=panel.ellipse,

    + upper.panel=panel.pts, text.panel=panel.txt,

    + diag.panel = panel.minmax,

    + main="Correlogram of mtcars data scatter plots and ellipses")

    这幅图中,下三角区域包含平滑拟合曲线和置信椭圆,上三角区域包含散点图。主对角面板包含变量最小值和最大值。矩阵的行和列利用主成分分析法进行了重排序。

    我们还可以使用colorRampPallette()函数自主控制corrgram()函数中使用的颜色,演示代码如下:

    library(corrgram)

    col.corrgram<- function(ncol){

    colorRampPalette(c("darkgoldenrod4","burlywood1","darkkhaki","darkgreen"))(ncol)

    }

    corrgram(mtcars,order=TRUE,lower.panel=panel.shade,

    upper.panel=NULL, text.panel=panel.txt,

    main="Correlogram of mtcars intercorrelations")

  • ?

    机器学习最佳统计书籍推荐

    国家

    展开

    几乎每一个机器学习项目中都离不开统计方法。所以需要基础的统计相关基础知识和方法对机器学习和AI必不可少。我们说AI不是神话,AI是数学算法,说明扎实数学基础是做AI的必须,而统计学知识尤其是如此。

    这意味着重要的是要牢固掌握统计学主要发现的基础和相关统计方法的工作知识。

    然而,很不幸,许多计算机科学和软件工程的必修课程中,并没有并统计学。而统计学也是一门很注重理论,必须遵循以自下而上的,理论为先的学习路线,往往给人感觉就是找不着"北"。

    本文中,虫虫给你推荐一些关于数据统计的最佳入门书籍,让你通过这些世界著名的教材帮你找到应用数据统计"北",从而打下一个很好的统计学基础。

    虽然这些书都是非常好的教材,虫虫还是和之前很多编程学习文章提到原则一样,不要贪求全而多,而是只选其中一本,认证真的阅读搞清楚,先入门,然后在此基础上横向扩展。

    本文分为三部分分别推荐一些合宜的书籍:

    1.科普图书

    2.统计学教科书

    3.统计学研究方法

    科普图书

    关于统计学的科普图书,以大众易于接受,浅显易懂的语言来做普及性介绍基本概念的书籍。通常会结统计学重要发现的故事和轶事,读者很有意思有趣,还能学到很多知识,比如正态分布和中心极限定理的来历等。

    不要忽视这些类型的书籍,这是推广科学知识的最流行途径,把科学知识给公众所传播就靠它们。比如之前驾鹤西去的普金老先生的《时间简史》,就是一本非常流行非常优秀的科普图书,通过它让我们了解宇宙和时间的本质,来源及去向,还有大量的物理学前沿知识。

    尽管我已经学习统计学专业的教科书,但我时常会读一些科普读书。因为:

    他们可以快速阅读而有趣,没有任何心里负担。

    他们可以让我对那些枯燥的知识有一个全新的认识。

    他们为受众非专业人群,老少皆宜,比如可以用来教育小孩。

    这类图书对解释给你为啥统计学的知识非常重要,也能帮助你将机器学习和特定的实际需求联系起来。

    有很多关于统计学的大众科普书籍,在我推荐三本:

    1、赤裸裸的统计:消除数据中的恐惧

    《Naked Statistics: Stripping the Dread from the Data》

    作者为:Charles Wheelan。

    中译本:暂无

    对于那些一听到统计知识就犯困的人来说,本书就是你救星。 Wheela剥离了晦涩难解知识和技术细节,而专注于推动统计分析的内在直觉。他阐明了推理,相关和回归分析等重要概念,揭示了带有偏见和粗心大意的统计人员是如何操纵和歪曲数据,作为对比也展示了卓越和创造性的研究人员是如何利用实验中的有价值数据来处理棘手问题的。

    2、醉汉漫步:随机性如何支配我们的生活

    《The Drunkard's Walk: How Randomness Rules Our Lives》

    作者:Leonard Mlodinow。

    中译本:有繁体版本,胡守仁译,台湾天下遠見出版股份有限公司出版

    Leonard Mlodinow通过故事性的叙述和富有想象力的方法,生动地展示了我们的生活是如何被机会和随机事件所深深的定性。葡萄酒评级和企业的成功以及学校积分和民意调查等结果是如何的出乎我们想象中的靠谱。

    3、信号与噪声:大数据时代预测的科学与艺术

    《The Signal and the Noise: Why So Many Predictions Fail – but Some Don't》

    Nate Silver著作

    中译本: 胡晓姣等译,中信出版社出版

    Silver凭借其开创性的工作,检验了如何预测世界,如何区分真实信号和噪音。现实中很多预测的失败,通常会对社会造成很大的影响,因为大多数人对概率和不确定性的没有很多的理解。专家和非专业人士往往会过分的追求预测的准确性。但过度自信往往是失败的原因。如果大家都能意识到不确定性的的意义,我们的预测也会变得更好。这就是"预测悖论":我们对预测能力的态度越谦虚,我们就可以在未来的预测也会越成功。

    如果你有更好的相关推荐,可以回复本文章。

    统计学教科书

    如果你想学习统计学知识,你需要一本可靠的教科书。教科书会涵盖你必须知道的基础理论,解释和公式。

    希望不只是看书的封面、前言和目录就仍一边吸尘去了。而是要深入研读,学习他们给出理论方法,并用它做实践。

    在这部分,我列出了一系列书籍,其中包括(按顺序)一本适宜的统计学教科书,一本非数学背景的的学习指南,最后是写给具有编程背景的码农的统计书。根据你自己的实际情况,选一本研读。

    1、 统计学完全教程:统计推断简明课程

    《All of Statistics: A Concise Course in Statistical Inference》

    Larry Wasserman著

    中译本:统计学完全教程,张波译,科学出版社出版

    The book includes modern topics like non-parametric curve estimation, bootstrapping, and classification, topics that are usually relegated to follow-up courses. The reader is presumed to know calculus and a little linear algebra. No previous knowledge of probability and statistics is required. Statistics, data mining, and machine learning are all concerned with collecting and analysing data.

    本书除了介绍传统数理统计学的全部内容以外,还包含了Bootstrap方法(自举法)、独立性推断、因果推断、图模型、非参数回归、正交函数光滑法、分类、统计学理论及数据挖掘等现代主题,并将其放到数理统计后作为补充后续的课程。本书不但注重概率论与数理统计基本理论的阐述,同时还强调数据分析能力的培养。

    本书假定读者拥有微积分和一点点线性代数的基础。但无需概率论和统计学知识。本书还配有大量数据实例和练习以此培养读者通过R语言快速掌握数据统计分析能力。本书适用于统计学、数学、计算机科学、机器学习与数据挖掘等领域的高年级本科生、研究生,对于相关领域的广大科研工作者和实际工作者来说也不失为一本有价值的参考书。

    2、白话统计学

    《Statistics in Plain English》

    Timothy C. Urdan.著

    中文译本:第三版本有中国人民大学出版社出版,译者为彭志文。

    这本入门教科书提供了一个低门槛,简洁的统计学概览,帮助读者更好地理解数理统计如何操作及如何准确的对其做解释。每章描述了一种不同的统计技术,从集中趋势和描述统计分布的基本概念到更深入的概念,如t检验,回归,重复测量方差分析、因子分析、变异程度、正态分布、z分数、标准误等基本概念,回归分析、卡方检验等。每一章都从统计学的基本概念和使用场景入手。接下来是对其原理、工作做更深入的论述。最后,每章都以现实应用的统计实例为例,以及在科学论文等出版物中使用的标准统计数据分析的结果例样展示。

    本书对统计学原理和术语进行了简洁、清晰而准确的解释,全书内容体系精炼,语言通俗易懂,表述严谨准确;既不刻意回避数学公式,也具备良好的可读性。

    3、 数据科学家实用统计:50个基本概念

    《Practical Statistics for Data Scientists: 50 Essential Concepts》

    作者:Peter Bruce and Andrew Bruce

    中文译本:暂无

    统计方法是数据科学的最重要的部分,但很少有数据科学家进行任何正式的统计学培训。通过数据科学的角度来论述基础统计学的课程和书籍很少。本实用指南则恰恰补上了这方面的缺差,本书主要讲了如何将各统计方法应用于数据科学,告诉你如何避免其滥用,并就重要和不重要提供建议。

    许多数据科学资源纳入了统计学方法,但缺乏更深层次的统计学论述。如果你熟悉R编程语言,并具有一些统计学基础,则本参考以填补了这方面空白。值得深入研读、练习。

    统计学研究方法

    一旦你掌握了基础统计学知识,你就需要知道在实际中如何使用这些统计方法。

    许多机器学习应用了都涉及了实验设计和执行部分,并且需要统计数据来对其有效性来做验证和解释。这意味着你需要有熟悉研究背景下的统计学方法。

    这一步分就这些主题,推荐相关的书籍。

    这些书籍都不好选择,因为这些书籍要么太理论,要没限制于专有的SAS、SPSS统计软件。

    我们选择的三本书中,第一本书是高度推荐的书籍,第二本使用了开源的R语言,最后一本是关于此主题的经典教科书:

    1、 人工智能的经验方法

    《Empirical Methods for Artificial Intelligence》

    作者:Paul R. Cohen

    中译本:暂无

    与其他科学一样,计算机科学和人工智能尤其缺乏研究方法的课程。本书介绍了用于研究复杂计算机程序的经验方法:

    用于帮助查找数据模式的探索性工具;

    用于帮助生成令人信服地实验设计和假设测试统计数据的工具;

    用于帮助解释数据的建模工具。

    这些技术中有很多都和统计学有关,但本书在更广泛的企业背景实例下讨论数据统计。前三章介绍经验问题,探索性数据分析和实验设计。对统计假设检验的论述为其后的第4章和第5章分别介绍了经典参数方法和计算密集型(蒙特卡罗)重采样方法。这是以精确,可访问的方式呈现这些新的灵活的采样技术的少数书籍之一。

    2、统计研究方法:非统计学家指南

    《Statistical Research Methods: A Guide for Non-Statisticians》

    作者Roy Sabo和Edward Boone

    中译本:暂无

    本书主要用来帮助非统计学科的研究生、本科生研究人员和健康科学研究人员学习、使用和交流常用统计方法的结果。所涵盖的内容包括假设实验到统计结果的整个数据分析过程。还包括其他主题:一个和两个样本比例,多类别数据,一个和两个样本均值,方差分析和回归。

    在本书中,作者使用非专业统计术语来解释了统计过程和概念。通过实例的和学术论文统计结果结果样本为例来完成的。该书所有统计分析都使用了免费开源编程语言R。

    3、实验者统计:设计,创新和发现

    作者:George E. P. Box,J. Stuart Hunter和William G. Hunter

    中译版:张润楚等译,由机械工业出版社出版

    多年来,本书第1版一直是试验方法应用的主要参考书,尤其适用于试验设计。第2版采用与第1版同样的方式,通过完整的工作实例、易于理解的图形以及适当地使用计算机来阐述相关的统计方法应用。为了激发创新、发现和解决问题,第2版向试验者提供了科学的统计工具。第二版为实验人员提供了从研究数据中获得的知识最大化所需的科学和统计工具,阐述了在调查过程的各个阶段如何更好地利用这些工具。

    作者从从需要解决的问题实践开始,然后用合适的方法进行假设实验设计和分析、到最后的结果处理。

    总结

    你要更好的学习和利用机器学习及人工智能,必须具有一定的统计学的基础。这个基础不一定从都就打,但是必须花费时间学习和练习。和其他编程语言学习一样,统计学的学习的之路也是从选择一本经典教程开始,多思考多练多实践。建议对教材后面所附的练习题都认真对待,自己亲自动手练习,写出代码得出结果。解决问题后的那种满足和成就感是你坚持学习的动力支撑。

  • ?

    学习数据分析,推荐你几本数据分析师该读完的书籍

    Exeter

    展开

    来源:CPDA 数据分析师

    1. 《数据之美:一本书学会数据可视化设计》

    这是一本教大家如何制作一张精美的可视化图表、挖掘大数据背后意义、足够系统的数据可视化入门书。书中,作者提供了丰富的可视化信息及探索数据的多元视角,他避开了一些技术性细节,从宏观和感性的角度介绍如何将数据转变为直观可视的图形,并且深入浅出地介绍了数据可视化的步骤和思想,丰富了读者对数据及可视化的认知。

    上海数据分析网

    2. 《数据之魅:基于开源工具的数据分析》

    作者在书中详细分享了他从事数据分享工作的丰富经验,阐述了数据分析所涉及的概念和方法。包括如何用图形及表格来观察数据、如何建模分析数据等。书中的主题部分介绍了该如何进行数据挖掘,并包含了大量的模拟过程及结果分析。

    上海数据分析网

    3. 《社交网站的数据挖掘与分析》

    目前,各类社交网站已经渗入大家日常生活中的各个角落,它们无时无刻不在产生着大量宝贵的社交数据,而这本书中便告诉了大家如何利用这些社交网络数据并通过可视化技术来挖掘出数据背后更深层次的价值。

    书中分章节系统地介绍了如何在不同社交网络中应用数据挖掘技术。需要特别指出的是,阅读并学习这本书需要一定的编程知识及学习基本 Python 工具的意愿。

    上海数据分析网

    4.《数据挖掘技术》

    这本书是数据挖掘领域的经典著作之一,自 1997 年第一版出版以来便经久不衰。书中从技术、应用两个方面系统、全面地介绍了数据挖掘的商业环境、及其在商业环境中的应用。本书的包含了数据挖掘技术的核心内容,包括:

    决策树、神经网络、协同过滤、关联规则、链接分析、聚类和生存分析等,极具技术深度与广度。

    上海数据分析网

    5.《大数据时代》

    《大数据时代》一书在大数据研究领域具有举足轻重的地位,作者维克托 迈尔 舍恩伯格认为大数据的核心就是预测,并前瞻性地指出,大数据带来的信息风暴正在颠覆我们的生活、工作和思维,大数据开启了一次重大的时代转型。

    全书用三个部分讲述了大数据时代的思维、商业、管理变革。

    上海数据分析网

    6. 《集体智慧编程》

    此书是 Web 开发者、构架师、应用工程师的绝好读物。书中以机器学习和计算机统计为背景,着重讲述如何挖掘和分析 Web 上的数据和资源。包括协作过滤技术、集群数据分析、所搜引擎核心技术、社交网络的信息匹配技术。

    读书最好的时候是学生时期,其次是现在。有不少人求小编给推荐数据分析入门或者自我成长的书籍,今天刚好有空闲,小编就从入门级到高级的书籍循序渐进推荐给大家,大家根据自己的水平挑选,如果有更好的书,欢迎大家留言给小编!

    以下为入门级书籍

    适合对数据分析的入门者,对数据分析没有整体概念的人,常见于应届毕业生,经验尚浅的转行者。

    Excel

    《谁说菜鸟不会数据分析》

    上海数据分析网

    知名度比较高的一套书,适合新手,优点是它和数据分析结合,而不是单纯地学习函数。学会函数适用的场景和过程比它本身更重要。

    这本书不仅讲解了一些常见的分析技巧,并附带 Excel 的一些知识以及数据分析在公司中所处的位置,对职场了解亦有一定帮助。这本是入门篇,还有一本是专门介绍工具篇的,有兴趣的同学可以看看。

    数据分析

    《深入浅出数据分析》

    上海数据分析网

    HeadFirst 类的书籍,一向浅显易懂形象生动,可以对分析概念有个全面的认知。

    数据可视化

    数据可视化的书不多。市面上多以编程为主,面向新手和设计的教程寥寥无几。 如果只是了解图表,看 Excel 的书籍也管用。

    《鲜活的数据》

    上海数据分析网

    内容很丰富,涉及可视化的方方面面,也囊括更类编程语言和设计软件:Python+JS+R+Excel。作者还有另外一本书《数据之美》。

    可视化是一门侧重灵感的学科,有一种入门技巧是从他人设计中学习,从模仿开始,了解他人是如何设计的,这个网络上有大量的信息图可以参考。当然数据分析师更需要的是如何发现,别只学习展示。

    《赤裸裸的统计学》

    上海数据分析网

    本书的主旨,结合生活讲解统计知识,生动有趣。可以避免统计学一上来就大讲贝叶斯概率和随机分析的枯燥。

    进阶版

    具有一定的行业针对性,要求具备一定的分析常识,适合网站分析师,商业分析师以及数据产品经理。

    《数据化管理:洞悉零售及电子商务运营》

    上海数据分析网

    本书讲述了两个年轻人在大公司销售、商品、电商、数据等部门工作的故事,通过大量案例深入浅出地讲解了数据意识和零售思维。作者将各种数据分析方法融入到具体的业务场景中,最终形成数据化管理模型,从而帮助企业提高运营管理能力。书内全部案例均基于 Excel,每个人都能快速上手应用并落地。

    统计学

    统计学是比较大的范围,分析师往后还需要学线性代数和矩阵、关系代数等。初学者不需要掌握所有公式定理的数学推导,懂得如何应用就行用。

    《深入浅出统计学》

    上海数据分析网

    大概是最啰嗦的深入浅出系列,从卖橡皮鸭到赌博机的案例,囊括了常用的统计分析如假设检验、概率分布、描述统计、贝叶斯等。书本注重应用和趣味性,数学推理一般。

    SQL

    数据库有很多种,常见有 Oracle,MySQL,SQL Server 等。我推荐学习 MySQL,这是互联网公司的主流数据库。以后学习 Hadoop 生态时,MySQL 也是最接近 Hive 语法的语言。

    MySQL 不需要专门看书学习,因为数据分析师以查询为主,不需要考虑数据性能、数据安全和架构的问题。

    《MySQL 必知必会》

    上海数据分析网

    学习 SQL 的入门书,薄册子一本,看起来很快。SQL 是个性价比很高的技能,简单而强大。任何想进一步提高自己数据分析技能的产品 / 运营 / 分析师 同学,都建议点亮 这个技能点。

    《网站分析实战》

    上海数据分析网

    互联网不再是网站的天下,但是移动端依旧有 Web,我们在朋友圈看到的所有 H5 活动、第三方内容等,都是依托网页实现。网站的数据分析依旧有存在空间,网站的数据指标还是能够指导我们运营。

    Python/R

    欢迎来到数据分析的最后殿堂,Python 和 R 都是大分支,基本是前面所有内容的实现。Python 的学习以 PY3 为前提,毕竟 2017 年了,我实在想不出不用 Python3 的理由。

    除了书籍,Python/R 更多依靠博客和文档学习。Python 的学习路径不陡峭,新手水平取决于查询能力,所以也请学会如何高效搜索。

    《深入浅出 Python》

    上海数据分析网

    还是深入浅出系列,完全适合零基础的新人。需要注意的是,编程学习不同于其他知识,如果计算机基础不稳固,在使用中会遇到各类问题。知其然不知其所以然,这是本书缺点:能掌握,但是 Bug 比较多。

    《Python 学习手册》

    上海数据分析网

    对于拥有编程基础的人,这本书系无巨细的有些啰嗦,不过对新人,可以避免不必要的坑。把它当作一本工具文档吧,当遇到不理解的内容随时翻阅。这是纸质书比电子书好的优势之一。

    《Python Cookbook》

    上海数据分析网

    Python 的进阶书,如果想要掌握更好的编程能力,这是一本经典,值得时时翻阅。注意,它更偏向程序员。

    《R 语言实战》

    上海数据分析网

    R 语言的入门书籍,从数据读取到各类统计函数的使用。虽然没有涉及机器学习,依靠这本书入门 R 是绰绰有余了。

    《统计学:从数据到结论》

    上海数据分析网

    这本书是将 R 语言和统计学结合的教材,可以利用这本书再复习一遍统计知识。缺点是书本后面的内容质量不如前部分。

    到这里,入门到进阶级别的书籍推荐完毕,当然好书不嫌多,例如《数学之美》、《集体智慧编程》、《统计学习方法》等,有兴趣不妨阅读。上面的内容都吃透,不论是成为一名数据分析师,还是往后向机器学习、数据科学家、数据产品发展、都有了良好的基础。

    希望小伙伴们都能沉下心阅读。

  • ?

    如何进行spss软件中描述统计的数据分析呢?

    宛亦

    展开

    方法/步骤

    1、首先,打开或者是新建一组数据,这里是打开一组案例分析中的数据进行分析。

    2、在浏览窗口中找到需要分析的数据。

    3、选择分析,描述统计中的比率,单击打开。

    4、弹出一个设置窗口,我们再这里设置比率的分子和分母还有分组变量。

    分子和分母分别表示比率变量中的分子和分母变量。

    分组变量一般是叙事变量,使用数值代码或者是字符串对分组变量进行编码。

    5、这是根据数据中的变量设置的三个分值。

    6、下面是对统计量进行设置分析。

    打开统计量窗口,里面有四大块,根据数据统计分析自定义设置,设置完成之后确定即可。

    7、下面是根据数据分析设置的显示结果,如下图所示:

    (本文内容由百度知道网友贡献)

  • ?

    成为一名数据分析师,必须掌握的技术,学会了你就是大神

    洪乌

    展开

    一:编程能力

      是否会编程是区别初级数据分析师和高级数据分析师的分水岭。在这里,我定位的是高级数据分析师,所以编程能力尤为重要,我把它放在了第一位。

      有关数据分析的编程语言有Python和R语言。R语言倾向于统计分析、绘图等。统计学家或者学统计学的喜欢用R语言,而我推荐学习Python,因为Python是面向未来的语言,无论从流行度、可用性还是学习难度来讲,Python都是最好的入门语言。

      当然,如果可以的话,再掌握一下R语言是最好不过的,学习嘛,永无止尽。

      书籍推荐《Python编程:从入门到实践》 豆瓣评分:9.0

      当然,只有Python基础肯定是不够的,既然是学习数据分析,肯定就要有数据才行,数据从哪里来,肯定是从互联网上来。互联网上的信息何其之多,必须要对其加以过滤处理,提取我们想要的信息。这就要用到Python爬虫,这也是学Python一个很重要的目的和作用。

      学习Python爬虫肯定比学习Python基础要困难一下,但好在网上的学习资源十分丰富,努力学习必定会有收获的。

      关于Python爬虫的书籍,目前我还没有较好的书籍推荐,如果说实在要推荐的话,我推荐三本书:

      《Python网络数据采集》 豆瓣评分:7.7

      《Python爬虫开发与项目实战》 豆瓣评分:8.1

      《精通Scrapy网络爬虫》 这是十月份出的新书,豆瓣上还没有评分。

      知乎里面有很多爬虫大神,没事多逛逛知乎总会有收获的。

      关于编程能力,是一个很深的概念,需要靠大量的撸代码积累经验。先暂且说到这些。

    二:SQL

      学习数据分析,最难最重要的就是编程能力,熬过去了,后面的就稍微简单一些了。

      既然是跟数据打交道,就免不了要使用数据库。

      目前主要有四种数据库:

      1:SQLite 是一个文件型轻量级数据库,它的处理速度很快,在数据量不是很大的情况下,可以使用SQLite。

      2:MySQL 是一个应用极其广泛的关系型数据库,它是开源免费的,可以支持大型数据库,很多中小型企业都是用的MySQL。

      3:MongoDB 是一个面向文档的非关系型数据库,它功能强大、灵活、易于拓展。

      4:Redis 是一个使用ANSI C 编写的高性能key-value数据库,使用内存作为主存储器。

      它们各有优点,可以灵活使用,如果说非要选一个的话,我建议使用MySQL,因为它使用最广泛。学习最主流的技术,可以在一定程度上发挥更大的作用。

      关于SQL的学习资源:

      购买书籍推荐《SQL基础教程》作者:MICK

      豆瓣评分:9.0,好像这本书出了第二版了,建议购买最新版的。

    三:数据分析能力

      前面说了那么多,都是为了数据分析做准备。数据分析就好比亲手做一顿美食,现在食材有了(通过Python爬虫采集),盛放美食的容器也有了(数据库)。现在就差开火做饭了,写到这感觉肚子饿了,哎呀,忍住。

      对于数据分析,我还没有过多的涉足,总之,多看书,多做项目。

      这里我推荐几本书(都是放在我购物车里还没有买的书)

      学习数据分析必看的书单:

      《Python数据分析基础》八月份的新书,豆瓣上还没有评分。

      《利用Python进行数据分析》2013年的老书,豆瓣评分:8.5

      《Python数据处理》六月份的新书,豆瓣上没有评分。

      《用数据讲故事》 豆瓣评分:8.7

      虽然我还没来得及看这几本书,但是我想认真看了之后,对于数据分析的理解肯定会更加深刻的。

    四:数据可视化

      现在美食做好了,但不能一股脑的装在碗里吧,美食讲究色香味俱全。所以要给它作一个漂亮的造型,呈现在客人面前。这就是数据可视化。

      数据可视化需要借助工具,什么工具呢?那就是大名鼎鼎的tableau!

      什么?你没有听说过tableau?现在听我说了也不迟,哈哈。

      tableau是一款世界级的商业智能工具软件,tableau可以帮助我们快速的分析、可视化并分享信息。在福布斯2017年公布的《10大需求增长最快的职场技能》报告中,tableau高居第三,成为数据分析和可视化的职场必杀技。

      说了这么多,咱们还是好好聊聊怎么学习tableau吧。tableau是一款收费软件,先看一下它的价格吧:

      image

      果然优秀的软件都是收费的,而且还贵的要死。

      但是,tableau的良心之处在于:学生和教师可以免费使用tableau,只需要用我们的学生证信息去免费申请一个序列码,然后就可以下载激活该软件,有效期为1年,如果一年后还是学生的话,还可以用学生证再去申请一个序列号,然后再免费用一年。

  • ?

    简单几步掌握Excel数据统计分析必备功能-数据透视表

    Cook

    展开

    上一篇给大家分享了一下筛选功能的使用,特别要注意不能随意复制粘贴的原因和解决办法。有兴趣的朋友们可以点击或关注百家号,进去查看历史文章。

    那么,今天给大家分享下EXCEL透视表功能的简单使用。通常情况下,我们需要做批量数据的统计、用excel出图表等等的时候,需要计数或者求和的结果作展示的时候都会用到。可以说是在大数据分析以及展示结果的时候,所必须会使用到的一个功能。

    在此,让我们一起通过一个实例来看一下,excel数据透视表的具体使用方法。只需要简单几步,就可以完成一个简单的数据透视!

    首先,我们打开一个要处理的EXCEL,比如需要统计各部门总工资。如下图的数据。通过1月到5月每个人的工资记录,来计算出部门工资的总数及每个月的走势。

    第一步:选定A列到H列,即包含所有数据的列。

    第二步:点击插入-数据透视表,出现一个创建数据透视表的小窗口,直接点击确定。

    此时出现了一个新的sheet页,如下图。这里为了方便大家看全,我把表格横向缩小到了一起。实际上数据透视表字段是在EXCEL最右侧。

    第三步:新sheet页的最右侧数据透视表字段,有一个选择要添加到报表的字段,可以看到原始表格的标题列。继续往下看,有四个区域,分别为筛选器,列,行,值。我们把月份点住,拖动到列的区域中。

    再分别把部门、姓名拖动到行,部门在上。最后把工资拖动到值。

    第四步:值里边默认是计数项,我们需要修改一下,工资是以求和来统计。点击计数项:工资,会出现值字段设置。打开后,选择求和,然后点击确定。

    第五步:此时已经可以看到表中的数据都已经出现,每个部门每个人1月到5月工资以及总计的工资。可以点击技术部、科研部、运营部前边的-号,代表隐藏姓名;最后一列的总计,每一行代表这一行数据的总计,比如第一行代表技术部1月到5月的总计工资数目;最后一行的总计,每一列代表的是这一列数据的总计,比如1月的那一列代表1月各个部门的总计工资。这样就满足我们的需求了,可以看到每个部门在每个月以及合计的工资数目。

    习惯而言,统计的数据都喜欢有高低顺序来浏览,方便一眼看出哪个部门的工资总额高低。我们可以再点击一下总计那列,然后点击排序,选择降序排列。这样就可以看到一个按高到低排序的工资图表了。

    好了,本篇就给大家讲到这里,大家可以自己试着随意在四个区域里,把其他的标题也拖进去,看看会出现什么变化?其实看似枯燥的Excel工具也有非常有趣的一面,更多的技巧就留给大家自己开发吧!有什么问题欢迎留言给我们哦!

  • ?

    SPSS统计分析教程,我推荐这一套书

    项雨莲

    展开

    小兵接触SPSS统计软件差不多有十年时间了,在此期间阅读和学习了十余本相关书籍,系统化地学习过程让我从中获益匪浅,虽然当下视频教学甚为流行,不过小兵一直认为学习SPSS统计软件,纸书是必不可少的,而且要先系统化学习,待打下基础之后,再行参阅视频及其他资料。

    纸书之中,我最为推荐张文彤主编的《SPSS11统计分析教程》(基础篇和高级篇)。

    一知识完整

    作者按照读者的不同层次,将《SPSS11统计分析教程》分为基础和高级两册书,共31章,内容以SPSS11软件为准,包括了全部10个模块的所有功能。

    基础篇涵盖常用的统计分析方法,入门部分强调文字轻松愉快,同时体现出SPSS操作上最具特色的功能和操作技巧。基础统计部分则充分考虑到非统计人员的特点,将统计理论融入软件介绍之中,力求深入浅出。

    高级篇中的统计模块介绍以统计学理论为准绳,立足于应用实例将统计方法、界面操作与结果解释结合讲述,使读者学后能真正掌握相应方法,而不是只明白了对话框的中文含义。

    如果你想系统化深入学习SPSS统计软件,建议从基础篇开始夯实基础,然后再学习高级篇,循序渐进。

    二案例详实

    作者主要从事医学统计和市场研究统计分析,两本书中大量罗列这两个领域的实例,读起来贴近生活和工作场景,易于理解和推演到其他行业。并且随书赠送案例数据光盘,供读者对照课本操作练习。

    三全程图解

    在介绍每个统计方法时,均做到全程图解,包括菜单操作详细步骤、对话框图示、参数选项图示、结果图示详解等,尤其适于新手自学,可以对照书中图解,按步骤动手实践。小兵在博客中多处提及,学习SPSS统计最好的办法就是对照案例亲自动手操作练习,参与其中,在实践中总结知识点和经验。

    四精妙提示语

    全书还有一个亮点,也是这套书区别于其他书籍的特色之处,书中随处可见作者精妙的提示语,每章节首先会配一段提纲挈领的文字,关键知识点讲解后,配上一段警示语或者注意事项,简练得当,直击核心,命中要点,让学习者时刻能保持一个清醒的思路来理解SPSS统计,可以说每一段提示语都是入木三分,充分显示出作者多年统计研究及应用的功底,每一句都凝结着文彤老师的经验和心血。

    小兵在这里强烈建议读者在时间允许的情况下,反复研读此书的提示语,必定能获益。

    五权威参考

    SPSS统计在国内的推广和普及,文彤老师的贡献卓著。百度百科公开资料显示,张文彤博士,数据挖掘、市场研究、统计软件开发/教学/应用领域专家,在国内权威期刊及国外SCI期刊发表论文十余篇,主持国家自然科学基金一项,获复旦大学“世纪之星”称号。精通各种统计软件,主编SPSS、SAS、Stata等统计软件教材6本,因深入浅出、文笔流畅而广受读者欢迎,特别是其出版的SPSS系列书籍,出版多年来始终位居同类书籍的读者销售和评价排行榜前列。

    是国内统计软件教学和统计学网络教学,特别是SPSS软件教学的开拓者,2001年以来协助SPSS中国公司一手建立了其国内的培训体系,是国内最为知名的SPSS培训师之一。张文彤博士在复旦大学任教期间,同时保持着与统计应用相关业界各前沿领域的密切接触,在数据挖掘应用、市场研究应用等领域经验丰富。市场研究方面,曾为知名跨国公司完成了中国城市女性市场细分模型、销量预测模型、商圈选址模型等项目,数据挖掘方面则在基因数据分析、医疗费用数据分析、公共卫生应急预警系统等方面进行了深入研究,并协助完成多项IT、电信、税务、银行等行业的数据挖掘项目。

    《SPSS11统计分析教程》同时还作为复旦大学研究生用教材(见书前言内容),编委多是复旦大学卫生统计与社会医学教研室统计教师,也充分体现这套书的权威性。

    我曾接触过大批初学者,在学习的过程中,他(她)们会发现不同的教材在个别统计方法应用中有不同的见解,到底哪个才是最为准确的呢?个人以为可以用文彤老师的这套书作为主要参考依据。

    唯一的遗憾是,这本书是基于SPSS11版本编写的,这个版本的软件还是英文界面,所有对话框仍然是英文,现在最新的SPSS软件已经是中文界面,对于初学者来说,英文界面可能会增加学习的难度,但如果你熟悉了经典英文界面,实际上对后续的统计学习也是有极大帮助的。

    (全文结束)

数据统计分析教程

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP