- ?
深度解析数据分析、大数据工程师和数据科学家的区别
於谷波
展开
数据越来越多的影响并塑造着那些我们每天都要交互的系统。不管是你使用Siri,google搜索,还是浏览facebook的好友动态,你都在消费者数据分析的结果。我们赋予了数据如此大的转变的能力,也难怪近几年越来越多的数据相关的角色被创造出来。
这些角色的职责范围,从预测未来,到发现你周围世界的模式,到建设操作着数百万记录的系统。在这篇文章中。我们将讨论不同的数据相关的角色,他们如何组合在一起,并且帮你找出那些角色是适合你自己的。
什么是数据分析师?
数据分析通过谈论数据来像他们的公司传递价值,用数据来回答问题,交流结果来帮助做商业决策。数据分析师的一般工作包括数据清洗,执行分析和数据可视化。
取决于行业,数据分析师可能有不同的头衔(比如:商业分析师,商业智能分析师,业务/运营分析师,数据分析师)不管头衔是什么,数据分析师是一个能适应不同角色和团队的多面手以帮助别人做出更好的数据驱动的决策。
深度解析数据分析师
数据分析师拥有把传统的商业方式转换成数据驱动的商业方式的潜质。虽然数据分析师是数据广泛领域的入门水平,但不是说所有的分析师都是低水平的。数据分析师不仅仅精通技术工具,还是高效的交流者,他们对于那些把技术团队和商业团队隔离的公司是至关重要的。
他们的核心职责是帮助其他人追踪进展,和优化目标。市场人员如何使用分析的数据取帮助他们安排下一次活动?销售人员如何衡量哪种类型人群能更好的争取?CEO如何更好的理解最最近公司发展背后潜在原因?这些问题就需要数据分析师通过数据分析和呈现结果来给答案。他们从事的这些和数据打交道的复杂工作能够为他们所在的组织贡献价值。
一个高效的数据分析师能够在商业决策的时候摒弃臆想和猜测,并且帮助整个组织快速成长。数据分析师必须是一个横跨在不同团队中的有效桥梁。通过分析新的数据,综合不同的报告,翻译整体的产出。反过来,这也能帮助组织对于自身的发展时刻保持警觉。
公司的不同需求决定了数据分析师的技能要求,但是下面这些应该是通用的:
清洗和组织未加工的数据
使用描述性统计来得到数据的全局视图
分析在数据中发现的有趣趋势
创建数据可视化和仪表盘来帮助公司解读说明和使用数据做决策
呈现针对商业客户或者内部团队的科学分析的结果
数据分析师对公司科技和分科技的两面都带来了重大的价值。不管是进行探索性的分析还是解读经营状况的仪表盘。分析师都促进了团队之间更紧密的连接。
什么是数据科学家?
数据科学家是使用他们在统计学和建设机器学习模型方面的专业技术去进行关键商业问题预测的专家。
数据科学家也需要像数据分析师一样去清洗、分析、可视化数据。然而一个数据科学家需要在这些技能上更深入也更专业,他们还可以去训练和优化机器学习的模型。
深度解析数据科学家
数据科学家能产生巨大的价值,他们处理更多开放式的问题并且利用他们专业的统计学和算法知识发挥更大杠杆的作用。如果说数据分析师专注于从过去和现在数据层面来理解数据的话,那么数据科学家就是专注于做出对未来更可信的预测。
数据科学家通过有监督学习(分类、回归)和无监督学习(聚类,神经网络,异常监测?)机器学习模型来揭开隐藏着的规律。本质上来说他们是训练那些能让他们更好的识别模型和产出精确预测效果的数学模型的人。
下面是数据科学家完成的一些例子:
评估统计学模型来决定分析有效性
使用机器学习来建设更好的预测算法
测试和持续提升模型精确度
进行数据可视化来概括分析的结论
数据科学家为预测和理解数据带来了一种完全崭新的方式。虽然数据分析师可能也可以去描述趋势和为商业团队传递这些结果。但是数据科学家能剔除新的问题并且可以去建模来做出对新数据的预测。
什么是数据工程师?
数据工程师建设和优化系统。这些系统帮助数据科学家和数据分析师开展他们的工作。每一个公司里面和数据打交道的人都需要依赖于这些数据是准确的和可获取的。数据工程师保证任何数据都是正常可接收的,可转换的,可存储的并且对于使用者来说是可获取的。
深度解析数据工程师
数据工程师建立了数据分析师和数据科学家依赖的基础。数据工程师对构造数据管道并且经常需要去使用复杂的工具和技术来管理数据负责。不想前面说的两个事业的路径,数据工程师更多的是朝着软件开发能力上学习和提升。
在比较大的组织中,数据工程师需要关注不同的方面:比如使用数据的工具,维护数据库,创建和管理数据管道。不管侧重于什么,一个好的数据工程师能够保证数据科学家和数据分析师专注于解决分析方面的问题,而不是一个数据源一个数据源的去移动、操作数据。
数据工程师往往更加注重建设和优化。下面的任务的示例是数据工程师通常的工作:
为数据消费开发API
在现存的数据管道中整合数据集
在新数据上运用特征转换提供给机器学习模型
持续不断的监控和测试系统保证性能优化
你的数据驱动的事业路径:
现在你已经了解了这三种数据驱动的工作了,但是问题还在,你适合哪一种呢?虽然都是和数据相关,但是这三种工作是截然不同的。
数据工程师主要工作在后端。持续的提升数据管道来保证数据的精确和可获取。他们一般利用不同的工具来保证数据被正确的处理了,并且当用户要使用数据的时候保证数据是可用的。一个好的的数据工程师会为组织节省很多的时间和精力。
数据分析师一般用数据工程师提供的现成的接口来抽取新的数据,然后取发现数据中的趋势。同时也要分析异常情况。数据分析师以一种清晰的方式来概括和提出他们的结果来让非技术的团队更好的理解他们现在在做的东西。
最后,数据科学家更倾向于基于分析的发现和在更多可能性上的调查来获得方向。不管是训练模型还是进行统计分析,数据科学家试图去对未来要发生的可能性提出一个更好的预测。
不管你的特殊的路径是什么,好奇心都是这三个职业最本质的要求。使用数据来更好的提问和进行精确的实验是数据驱动事业的全部目标。此外,数据科学家领域是不断的进化的,你必须要有强大的能力去持续不断的学习。
有一句话叫做三人行必有我师,其实做为一个开发者,有一个学习的氛围跟一个交流圈子特别重要这是一个我的大数据交流学习群531629188不管你是小白还是大牛欢迎入驻,正在求职的也可以加入,大家一起交流学习,话糙理不糙,互相学习,共同进步,一起加油吧。
- ?
数据分析师、数据科学家、大数据专家三个职位的区别
於正豪
展开
随着数据科学和大数据作为主流职业选择的出现,不少人对相关职位名称的内涵存在一定的混乱,有些人认为大数据等同于数据科学,另外有些人则认为大数据是数据科学的子集。数据科学已经存在了很长一段时间,而大数据则是相当新的,它源于数据科学。
下面是数据分析师,数据科学家和大数据专家之间的一点比较。
数据分析师
1. 定义
使用自动化工具,他们可以获取分离的数据和见解。他们定义数据集并进行广泛的人口统计分析以确定与业务和产品相关的策略。
2. 所需技能
编程,统计学和数学,机器学习,数据可视化和通信技术,数据处理和数据集定义
3. 适用领域
医疗保健,保险,旅游,行政,游戏,分布式系统
数据科学家
1. 定义
获取数据,构建和维护数据库,根据各种需求清理和分离数据,并从事数据可视化和分析工作。
2. 所需技能
SAS/R/类似工具,Python,Hadoop,SQL,重构数据,数据库构建和管理
3. 适用领域
搜索引擎,广告,自适应算法,AI系统
大数据专家
1. 定义
处理连续大量的数据,定义用于分析的参数和数据集,并编制分析系统,为企业提供战略见解。
2. 所需技能
数学和统计学,程序设计和计算机科学,分析技能,商业战略
3. 适用领域
零售,电子商务,金融服务,通信
正如所看到的,数据分析是这些选项中最基本的。数据分析师的工作有更广泛的应用,因此在不同的行业应用更加多样化。即使数据分析师的教育和学术要求也较低。
接下来是大数据工作,这些工作相当复杂,需要高级技能。有时候,大数据认证是获得大数据分析师工作的强制性要求。由于数字技术在各行业的普及,大数据工作的范围日益扩大。
最重要的是数据科学工作。数据科学认证是获得工作的必备条件。数据科学家的范围比大数据要低,这是由于数据科学不同的概况所致。
有了以上信息,数据分析师、数据科学家和大数据专家之间的差异应该清楚。这个信息可以用于在数据分析和商业战略领域制定更好的职业规划。
原文链接:https://blog.csdn/chszs/article/details/80658582
作者:chszs
- ?
《数据分析与知识发现》投稿经验,经管之家原创期刊采访系列
禹易蓉
展开
采访论文作者,为您分享成功投稿《数据分析与知识发现》期刊的经验
经管之家原创作品,转载需授权。
嘉宾介绍
所发表期刊: 数据分析与知识发现
(2018-9-7投稿;2018-11-15录用;2019-2刊出)
教育背景:管理学博士
1.您是否能为我们分享一下期刊投稿经验和心得呢?比如注意事项和要点
答:《数据分析与知识发现》主要刊发应用类与方法使用类的论文。近几期除了图书馆信息类的论文外,还刊发电子商务(基于顾客评论,顾客购买数据的分析)以及网络公开信息(舆情,新闻等)的分析。投稿前,请按照期刊格式要求进行论文的修改,特别是注意文献引用格式(参考文献格式请严格按照本刊网站“学术规范”中“附件7:参考文献著录要求”修改参考文献,特别需在中文参考文献后添加英文翻译,不要自行翻译,使用引文的中的翻译;),这样可以加快审稿过程。此外,该刊物需要提交原始数据,建议投稿时请附上原始数据以及数据说明,可以提升论文研究的可信度。该刊物对于摘要的书写要求也有其特色,请按照要求写摘要。
2.分享一下您对所投期刊的综合评价,其中可以介绍一下版面费、审稿周期、反馈速度、退修建议
答:该期刊是中国科学院文献情报中心主办的刊物,是CSSCI与CSCD双索引刊物,质量还是不错的。我是2018年9月初投稿的,3天内就完成了初审与复审。然后送了外审,外审也20天返回的。随后就是编辑部确认外审意见,看是退修还是退稿。一周后,我收到了退修通知邮件。外审的意见不多,主要是加一些文献引用以及在研究局限性方面的补充。当时看到这个外审意见就知道应该问题不大了,我就认真进行修改,当天就返回修改稿与修改说明(需要专门写一个修改说明,对外审的意见进行逐一的修改与答复)。估计外审的建议是修改后发表,随后没有再送外审。编辑部自己内部进行了复审、主编终审与责编审查就发了录用通知了(感觉到了责编这一步的话,论文就被录用了)。该期刊需要交纳版面费2000元。从投稿到录用2个半月。
3. 除了这一篇,还有哪些期刊也成功发表在国内外核心期刊杂志社,也请您一起分享一下。论坛上有许多学生仍然是科研领域的新人,能否给他们一些建议呢?
答:这几年大概发表过近10篇CSSCI论文,其中包括了《经济管理》、《管理工程学报》、《外国经济与管理》、《营销科学学报》、《财贸研究》、《经济经纬》等期刊,全部是实证类的文章。国内的CSSCI刊物都需要经过外审,所以对研究选题的创新度有一定要求,研究假设的推导也需要严谨的理论与逻辑支持,还需要比较细腻与精巧的实证技术(特别是一些排名靠前的刊物)。建议可以多看自己专业的国际顶级刊物,然后先在国际顶级刊物的最新成果上做一些渐进式的创新(模仿中适度创新)。这样比较容易被CSSCI刊物所看中发表。这次刊发的《数据分析与知识发现》除了是CSSCI还是CSCD刊物,所以对于数据分析真实性要求比较高,需要提交原始数据与数据说明。这点是大部分CSSCI所做不到的,因此这点让我对《数据分析与知识发现》抱有很大的好感。
4.请给大家推荐一些学习资料和评价,可以帮助大家更好的学习。
答:《数据分析与知识发现》上不少文章用的数据都是使用爬虫软件下载的公开数据(比如电商网站的用户评论数据,知乎与某些论坛上的用户数据;地产网站的房产数据等)。因此建议大家可以学习下爬虫软件的使用。有数据了,就可以自己尝试各种方法来分析这些数据。在分析中找到些不错的结果与角度就可以开始写论文了。个人觉得除了理论驱动型的论文创作(先有理论与研究假设,再找数据去实证检验),数据驱动型的论文创作(先有数据分析结果再找支撑理论)也是一个不错的方式。
5. 您成功投稿了很多期刊,您投稿的期刊中,那家期刊您最满意,为什么?哪家期刊您觉得相对不是很完美?针对投稿期刊的选择,您有什么好的建议
答:《数据分析与知识发现》是最满意的之一。原因是审稿快,而且提交数据保证论文研究的可信度。
- ?
《游戏数据分析实战》:盛大游戏数据分析专家16年的实战经验分享
Poole
展开
来源:数据猿 作者:abby
从游戏产业诞生开始,数据分析就一直伴随游戏的研发和运营的全过程。 2001 年,盛大网络通过《热血传奇》开启了中国网络游戏产业。网络游戏的 24 小时在线和高度的用户互动,为游戏数据分析提供了前提条件;通过数据分析输出的结果,及时有效地反馈到游戏的研发设定和线上社区,形成了良性和有效的循环。
早在2003年,盛大网络向行业输出了 PRAPA 分析模型,针对游戏的用户推广(Promotion)、注册用户(Register)、活跃(Active)、付费(Pay)、平均用户收益(ARPU)进行有效的分析指导,为游戏行业的成熟提供了标杆。在当时的盛大内部,我们针对游戏的用户体验瓶颈环节,设立“卡外掉充安”(卡机、外挂、掉线、充值、安全)专项,通过数据分析不断进行验证和调整,使得用户体验满意度持续行业领先。
同时,游戏数据分析还指导着产业变革。在2005年,盛大率先变革游戏商业模式,从之前的时长计费变为道具收费,这意味着之前的逾10亿元年收入归零后重新开始。在此之前,公司内部已进行了超过半年的数据分析和业务试点,最终全面施行,深刻影响了游戏产业。伴随数据分析技术的发展、游戏形态从端游到手游的进化、渠道与社交网络的演进,基于大数据的用户画像和数据多维交叉分析,为游戏的精细化运营提供了新的契机和动力。
而《游戏数据分析实战》的作者黎湘艳就是盛大游戏数据分析专家,从事游戏行业16年,历经多种岗位,亲历了中国游戏行业从萌芽到蓬勃发展的历程。她在本书中集结了她完整的数据分析思想及50多个游戏项目数据支持的积累提炼。
《游戏数据分析实战》贯穿整个游戏生命周期,提供了丰富的数据分析案例,从预热到封测,再到公测, 均为作者在实际工作中经历的真实案例。案例分析包含数据来源、分析方法、分析过程、分析结论及小结。通过学习本书不但能较深入地学习数据分析方法,还能了解到运营和市场的相关知识。
该书主要分为三部分:
第一部分:主要介绍游戏数据分析相关指标体系,通过这套体系,可以初步监控游戏整体运营情况;
第二部分:主要介绍游戏正式发行前期的市场调研、渠道用户质量分析、竞品分析及投资收益预测,对游戏品质进行定位,评估正式上线后的效果;
第三部分:主要对游戏正式发行后的用户流失、活跃用户分类、付费习惯、版本迭代效果、区服合并等主要问题进行深入探讨,实现游戏的精益化运营。
该书的特色是以详细案例为主,通过SPSS、Excel 等工具逐步展示实施步骤,用手把手的方式让读者快速掌握游戏数据分析方法。
适读人群:
黎湘艳,盛大游戏数据分析专家,从2008年开始在盛大游戏从事数据分析工作,先后主持或参与50多款游戏的数据分析工作,主要产品有:《热血传奇》《传奇世界》《龙之谷》《永恒之塔》《最终幻想14》《血族》《超级地城之光》《Love Live》《城与龙》等。
叶洋,游卡桌游资深数据分析师,具有7年游戏行业数据分析、数据挖掘工作经验。
购买链接:https://item.jd/12248029.html
- ?
操纵“5000万人心与美国大选” 这家数据分析公司什么来头
天堂的
展开
摘要:让Facebook卷入数据助选丑闻的这家公司,技术支持来自一名患多动症的“天才少年”。“特朗普就像一双UGG或者Crocs,你怎么才能让人从感觉‘丑死了’变成每个人都想穿它们。”这名“天才”如是说。
“我们定位你的选民,打动他们让他们采取行动。”
这是数据分析公司Cambridge Analytica政治服务部门的广告语。在官网上,Cambridge Analytica列出了自己的光荣业绩:“为五大洲超过100场竞选提供支持;仅在美国,我们就为赢得总统选举、国会选举和各州选举发挥了关键作用。”
如今,这家由共和党大金主、对冲基金亿万富豪罗伯特·默瑟投资,美国总统特朗普前首席战略顾问班农担任董事的数据公司,再次把Facebook推向了风口浪尖。
据《卫报》、《观察家报》、《纽约时报》的调查及Cambridge Analytica联合创始人怀利(Christopher Wylie)爆料,Cambridge Analytica未经许可收集了超过5000万Facebook用户的信息资料,并在分析用户们的行为模式、性格特征、价值观取向、成长经历后,有针对性地推送信息和竞选广告,以影响美国选民在竞选中的投票。
而收集这5000万人的资料,仅仅用了一个网上风靡的性格测试。
天才少年的发现
2007年,剑桥大学心理测验学中心的科辛斯基(Michal Kosinski)和史迪威尔(David Stillwel)开始试验新方法研究人的性格特征和行为模式。
当时史迪威尔为Facebook设计了多款应用,其中一款名为“我的个性”(myPersonality)的软件成为爆款。用户可以通过应用测试五类人格特征:开放性、尽责性、外倾性、宜人性和神经质。
为了进行人格测试,有40%的用户同意让开发者收集自己的Facebook资料。由此,研究人员得以收集社交媒体用户的个人资料以分析他们的性格特征,之后再与用户在Facebook文章下点赞的情况进行比较,从而推演用户的行为模式和政治倾向。
根据科辛斯基等人的研究,从用户在Facebook上点赞的情况可以推测出用户的性别、性取向、教育情况,甚至儿童时期是否经历过心理创伤。
这项研究在当时属于突破性发现,波音公司和美国情报机构也对此表示出了兴趣,相继为科辛斯基的其他研究提供了资助。
2013年,年仅23岁、正在攻读流行预测博士学位的怀利看到了科辛斯基等人的论文,当即意识到论文中提到的算法和预测能用于竞选活动。
一些与怀利共事过的政客将这位加拿大青年称为“天才少年”。怀利曾被诊断患有多动症和读写困难,于16岁辍学。
但17岁时,喜欢政治的怀利开始在加拿大反对党领袖的办公室工作;18岁为加拿大自由党工作;19岁自学编码;20岁前往伦敦政治经济学院学习法律。
接触到科辛斯基的论文后,怀利先将这种了解选民的新方法介绍给英国的自由民主党,但未得到重视;而一名自由民主党成员则将怀利介绍给了数据分析公司SCL集团,SCL正是Cambridge Analytica的母公司。
SCL集团的业务涉及竞选和国防领域,英国国防部和美国国防部都是该公司的客户。该公司曾在英国政府的委托下,为中东的反恐行动提供支持;公司也是美国防部在阿富汗的承包商之一。
怀利作为研究部门主管加入了SCL集团,根据他提供的资料,“心理战”正是该集团的专长——通过信息控制,而非说教来改变民众的想法。
当时,该集团专攻竞选活动的分公司SCL Elections已经参与了全球200多场选举,用心理战手法影响选民的决定。
2013年秋天,怀利首次与班农见面,当时的班农还是布赖特巴特新闻网的主编。
文化战争
《卫报》将怀利与班农的会面形容为一次“火上浇油”的会谈。在怀利看来,班农很聪明,对不同的想法很感兴趣,也是第一个能和怀利讨论“交叉女性主义理论”的直男。
怀利称,班农相信政治是文化的“下游”,“因此想要改变政治,首先需要改变文化”,而流行趋势就是一个重要载体。
“基本上,特朗普就像一双UGG或者Crocs,你怎么才能让人从感觉‘丑死了’变成每个人都想穿它们,这就是他(班农)在找的点。”
怀利将收集选民信息的新方法推荐给班农,班农之后又将此想法推荐给罗伯特·默瑟和他的女儿丽贝卡。
在默瑟同意出资1500万美元后,SCL Elections与默瑟共同设立了Cambridge Analytica,总部设在伦敦。
Cambridge Analytica的另一名创始人尼克斯(Alexander Nix)此前接受媒体采访时宣布,Cambridge Analytica的出现是为了弥补美国共和党在政治市场上的“空白”。
尼克斯称民主党一直在引领技术革命,而共和党在数据分析和数据互动领域没有跟上,“我们认为这是一个机会”。
性格测试引发的数据外流
据怀利提供的文件,Cambridge Analytica一成立就开始寻求与科辛斯基所在的剑桥大学心理测验学中心开展合作,但遭到了拒绝。
这时,另一名来自剑桥的心理学教授科根(Aleksandr Kogan)站了出来,表示愿意通过复制科辛斯基等人的研究,为Cambridge Analytica收集数据。
怀利出示的合同显示,2014年6月4日,SCL与一家名为全球科学研究(GSR)的公司达成协议,通过后者收集Facebook数据,了解用户的性格特征。而全球科学研究的所有人正是科根。
达成协议后,科根开始招募愿意进行个性测试的受访者,每名受访者能得到2到5美元的报酬。
参与测试的受访者需要用自己的Facebook账号登录应用,科根则可以通过开发者端收集登录者Facebook账号上的个人信息和点赞记录。
除了受访者本人之外,该应用还能收集受访者Facebook好友的数据资料。一共有约32万名美国选民参与了此次测试,但加上每人的Facebook好友,科根一共收集到了超过5000万Facebook用户的数据。
由于收集的用户数据量太大,科根使用的应用还一度发生崩溃,两天后才得以重启。
得到数据后,研究人员将个性测试的结果与Facebook用户的数据进行匹配,以推测用户的心理模式并制定算法。这之后,研究人员将所有Facebook用户的数据与选民记录等资料相结合,运用算法为每位选民推算出上百个数据点,包括年龄、性别、工作、政治观点、具有煽情点的兴趣爱好等。
掌握选民的个人背景后,Cambridge Analytica再根据不同选民的特征推送极具针对性的政治广告和消息。
怀利指出,Cambridge Analytica和科根收集用户信息的做法并未得到用户许可。根据英国数据保护法,在未经允许下将个人数据卖给第三方属于违法行为。科根此前被允许收集Facebook用户信息,但仅限于学术目的。
Facebook于2015年封掉了科根的数据收集应用,要求科根和Cambridge Analytica销毁相关数据。虽然怀利在2014年就辞去了Cambridge Analytica的工作,但他也收到了来自Facebook的律师信。据他所说,只需在文件上打钩确认自己销毁了数据,签字后将文件寄回就能证明数据已销毁。
在新闻曝出后,Facebook称Cambridge Analytica曾声称用户数据已经销毁,但有其他报告指出,这些用户数据并未被销毁。
还有媒体指出,科根除了是剑桥大学研究员之外也是圣彼得堡大学的副教授,曾在研究中得到过俄罗斯政府的资助。
对于特朗普团队在2016年的美国大选中是否使用了从Facebook中收集的数据,怀利无法提供确切说法;但他称Cambridge Analytica的工作人员曾与特朗普的第一任竞选经理莱万多夫斯基(Corey Lewandowski)联系。周一(3月19日),Facebook股价暴跌6.8%,创四年来最大跌幅。
另据媒体报道,在2016年希拉里的“邮件门”事件前,Cambridge Analytica曾与维基解密联系,协助发布邮件门中的外泄邮件。
目前,美国和英国已分别对Cambridge Analytica展开调查;Facebook也宣布聘请第三方公司对事件进行调查。
而在怀利看来,Cambridge Analytica发动的是一场“战争”,“他们想在美国发起一场文化战,Cambridge Analytica就是参战的军火库”。
本文作者安晶,来自界面新闻,原文标题《让Facebook成众矢之的 这家数据分析公司什么来头?》。
- ?
“数据分析师”与“实干家”
千年泪
展开
“数据分析师”与“实干家”
——“无限联通 匠心护航”厦门会晤保障
人物系列报道三
工欲善其事,必先利其器。中国联通集团公司自主研发的大数据分析OSS2.0系统就是这次厦门会晤保障的“利器”之一。如何善于分析数据,利用数据,为会晤保障服务工作提供坚实的基础,需要一个“数据分析师”与“实干家”。
冯旭嘉是一个是充满智慧、善于分析的网络建设者,同事们亲切地称呼他为“智多星”。提起冯旭嘉,最为同事津津乐道的就是他在厦门会晤期间的两个项目——厦门机房T3航站楼和厦金航线专项工程。
前期,他通过OSS2.0大数据分析系统巧妙地对厦门国际漫游用户的入境方式进行全面分析,从而知晓用户从哪里来,到哪里去。结果显示国际漫入用户中有71%是通过机场入境,16%是通过厦金航线进入厦门,冯旭嘉抓住这一关键信息,提出针对厦门机场停机坪、航站楼以及厦金航线专项的网络补强方案,确保为国际漫游用户在入境提供良好的上网感知。
冯旭嘉不仅对数据敏感,还是一个“实干家”,他带领网建攻坚小团队在厦门机场停机坪周边增加4个站点,并在T3\T4航站楼开通“载波聚合”功能,实现4G速率高达100M,机场停机坪及航站楼的覆盖率提升8.3%,国际漫入流量环比增长21%。
厦金航线专项覆盖也是一项攻坚重任。为解决这项攻坚任务,需要在海拔250米的高楼新建基站,而该站点为高档商务酒店和写字楼,顶层平台为直升机平台,开始业主坚决不同意在顶楼建设基站。冯旭嘉带领团队的攻坚党员突击队反复公关、协商,不断提出优化方案,业主最后被他们锲而不舍的精神和专业水平说服,认可了联通完美的建设方案。冯旭嘉带领团队成功啃下一块硬骨头,之后采用高增益天线、4T4R等新技术增加覆盖距离,提升覆盖效果。通过优化,厦金航线上联通3/4G的良好覆盖率大幅提升,日均漫入流量增长53%。
精益求精,臻于至善,联通人对网络质量的不断追求,诠释了匠心网络。如切如磋,如琢如磨,大数据应用加上实干,一定会让大数据之花焕发勃勃生机。
- ?
业务人员可以自己做数据分析,这家公司是怎么做到的?
觅柔
展开
“我们是为数极少的厂商,可以真正让业务人员自己做数据分析。”在永洪科技2017用户大会会谈室,创始人何春涛如此向B2B圈描述公司在产品方面的核心竞争力。“这也是敏捷BI和传统BI最重要的区别。”
传统BI使用起来极其复杂,且只能供技术人员使用。而永洪科技的产品逻辑是,通过点击和拖拽,让工作流可视化,用图表的形式展现在客户面前,让业务人员也可以做统计和预测分析。
2012年,看到敏捷BI趋势的何春涛辞掉一跨国公司研发副总裁的职位,开始创业。
但这并非易事。何春涛告诉B2B圈,实现敏捷BI的重要条件是实时计算,这需要对用户进行深度的了解和洞察,以及有很强的技术能力。
区别于一些厂商只构建交互式页面分析等上层能力,而不做下层计算的做法,永洪科技的下层专门用来做计算,而且平台自己会直接把数据结果算出来。何春涛认为,用户因为只需要做拖拽分析,感知不到这样的差别。但是,一旦遇到高并发的情况,永洪科技的优势便能够凸显出来。
据Gartner指出,2017年BI和分析软件市场将增长7.3%,产值将达到183亿元。从该报告中我们还可以看到,在领导者象限传统BI与数据分析厂商无一幸存,而敏捷BI与数据分析厂商的业务持续增长。
纵观行业格局和现状,我们可以看到美国敏捷BI早在2003年就开始兴起,而在中国2013年才开始兴起,如今占有率仅为20%-30%,尚处于初步阶段,或许有很大机会出现高价值的公司。
以下为精选问答
B2B圈:公司2012年成立,什么时候开始销售产品?
何春涛:研发用了一年多时间,2013年下半年开始销售。
B2B圈:当初的策略和现在有什么不同吗?
何春涛:最开始我们是单纯卖BI产品,到后来慢慢才去构建整个数据化运营的能力,包括做数据治理、建立客户成功体系等等。因为我发现一个单纯的BI产品并不能帮助企业解决问题,客户还是会很痛苦。
B2B圈:从成立以来,什么时候是客户增长最快的时候?
何春涛:现在是客户增长数量最快的时候,但是从增速上来说,公司刚成立的时候更快。企业小的时候增速是400%,后来300%,再后来会发现,在上亿的大基数之上,每年翻一倍是非常有难度的。因为你想保持增长的话,就需要花很多精力去招人。以前可能招50个人就可以解决问题,今天就要招300人。公司在快速成长中伴随的各种复杂问题,包括这么多人的选用育留,这个过程是很痛苦的。
B2B圈:现在公司大概350多人,人员分配是怎样的?
何春涛:研发、服务、销售这三个部门最大,研发一百多人,服务一百多人,销售几十人,还有一些是运营部门的人。
B2B圈:能否简单介绍一下这次发布的产品?
何春涛:这次发布了Yonghong AI与Yonghong Reporting两款新产品,前者内置多种典型的机器学习算法,后者用于报表制作及数据填报的企业级报表软件。
B2B圈:公司的产品主要面向大企业还是中小企业?
何春涛:都在做,但业务重点在大客户。我们现在有中国移动、渤海金控、兴业银行、南方基金等100余家大型客户,以及上百家中小客户。大企业客单价100万以上,续约率是95%以上;中小企业客单价30-50万左右,续约率85%(注:指永洪科技的私有部署项目,有别于SaaS行业的续费率概念)。
B2B圈:为什么选择将业务重点放在大客户,但同时兼做中小客户?
何春涛:大客户对价格不是那么敏感,但是对你交付给他的东西很敏感。对于大客户来说,因为他们对供应商能力的要求更高,永洪科技的技术实力能得到更好的体现。
中小企业在服务流程上并不会比大客户少,也包括成单周期,快一些,但也有限,如果以中小企业为主,从企业经营角度来说,对企业的利润率会是很大考验,所以这块我们主要通过合作伙伴去对接中小企业客户。但中小企业市场是一个很有潜力的市场,一是因为它基数大,二是你有时候不知道他什么时候就变成大型企业了,比如说未来汽车,你说它是中小企业还是大企业?
为了更好地服务客户,我们现在也在给产品和服务做分层。
B2B圈:您作为创始人,会亲自上阵去打单吗?
何春涛:我主要精力在企业管理、研发、服务上,但是会定期拜访一些客户。
B2B圈:据您了解,在打单的时候竞争程度激烈吗?
何春涛:大企业还好,但在中小企业市场,行业内的一些其他厂商产品报价很低,这对中小企业有很大的吸引力。但我认为永洪科技应该靠技术能力和服务体系获客,而不是一味打价格战,所以对自己的价格体系有所坚持。
B2B圈:现在营收情况如何?
何春涛:去年已经基本实现盈亏平衡。
B2B圈:下一轮融资有计划吗?
何春涛:我们现在资金挺充裕。不过以后我们想自己做做投资吧。
- ?
数据分析师和数据科学家有什么区别?
Girvan
展开
关于数据分析师,数据工程师和数据科学家有什么区别,三者有着相关的共同点,又有着不同点,数据科学家的影响力与互联网同进同退。数据工程师和数据分析师与数据科学家携手共同完成这幅“大数据时代”巨作。
数据科学家是什么样一个存在呢?
通常情况下,数据科学家有数学或物理方面的高等学位。有博士学位的情况并不少见,硕士学位仅是一个前提条件。数据科学家精通统计建模以及如何构建与定制高级数学算法。这既在他们专业范围内,也是他们所擅长的地方。我听到过有人这样形容一个数据科学家“软件工程技能牛过多数人的酷炫统计学家”。
我结合加工的说:所谓数据科学家,是指运用统计分析、机器学习、分布式处理等技术,从大量数据中提取出对业务有意义的信息,以易懂的形式传达给决策者,并创造出新的数据运用服务的人才。
数据工程师如何定义呢?
数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。如果你正为一个商业问题烦恼,那么你需要一个数据工程师。这些伙计就是那些能提供可建模数据所需平台的人。他们的核心价值在于他们借由清晰数据创建数据管道的能力。
如何区分数据科学家,数据工程师与数据分析师
数据工程师对演算法有相当好的理解。因此,数据工程师理应能运行基本数据模型。商业需求的高端化催生了演算高度复杂化的需求。很多时候,这些需求超过了数据工程师掌握知识范围,这个时候你就需要打电话寻求数据科学家的帮助。
数据分析师如何理解呢?
数据分析师能洞悉一个方程式的商业意义。他们知道如何提出正确的问题,非常善于数据分析,数据可视化和数据呈现。不管是给另一个数据分析师还是C级执行做演讲,数据分析师都是数据提取,模式识别以及从大量数据中洞察问题方面的能手。
如果你或者你的公司正考虑顺应这股大数据浪潮的发展,你应该从明确你想利用大数据解决所面临的商业问题处下手。接着找出你真正的需求:是数据采集,检索,仓储还是数据分析?然后编写相应的职位描述并做好准备。
想要快速进入大数据行业,西线学院大数据培训是不错的选择,除了坚持小班化教学之外,还以项目式教学为宗旨,手把手辅导学员,进行大量的案例操作,保障学员不光学会书本上的知识,更具有实际操作的能力。
- ?
量化家之数据处理
畅想2000
展开
简介
通常把三倍标准差之外的值都视为异常值,不过要注意的是样本均值和样本标准差都不是稳健统计量,其计算本身受极值的影响就非常大,所以可能会出现一种情况,那就是我们从数据分布图上能非常明显的看到异常点,但按照上面的计算方法,这个异常点可能仍在均值三倍标准差的范围内。
理解:因为剔除掉极值后,样本的方差可能发生变化了(正如文中所说,它不是一个稳健的估计量),每次剔除通常都会变化——就是因为这个,所以需要重复的去做。
如果数据不服从正态分布,可以通过切比雪夫不等式依然可以对均值的若干倍标准差之外的样本数据量的占比进行估计:坏处对于这样的方法,上面不等式右边的上界数值会偏大,在数据分布的偏度和峰度影响下,这种方法可能会把过量的数据认定为异常点。
一部分代码通过Box-Cox变换
将不服从正态分布的数据转化为服从正态分布的数据,那么是否可行呢?熟悉Box-Cox变换方法的都知道,经过这样的一个变换,例如就取对数,它会缩小数据之间的距离,这样可能会使得原来是异常值的点变为不是异常值。MAD 法是针对均值标准差方法的改进,把均值和标准差替换成稳健统计量,样本均值用样本中位数代替,样本标准差用样本MAD(Median Absolute Deviation)代替:
量化家boxplot法
然后把区间里的数据标识为异常点。分位数也是稳健统计量,因此Boxplot 方法对极值不敏感,但如果样本数据正偏严重,且右尾分布明显偏厚时,Boxplot 方法会把过多的数据划分为异常数据,因此Hubert& Vandervieren (2007)对原有Boxplot 方法进行了偏度调整。首先样本偏度定义采用了Brys(2004)提出的MedCouple。区间上的点:视为异常点。和原始Boxplot 方法相比,当样本数据分布右偏时,此法会提升正常数据区间上限的数值;样本数据左偏时,则会降低正常数据区间下限的数值。
量化家因此按照这种方法剔除掉异常值后,需要重新观察数据的分布情况,看是否仍然存在显著异常点,若存在则继续重复上述步骤寻找异常点。
数据分析之家
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并