触脉推荐阅读：电商从来都不是一个缺乏新技术应用的战场，尤其是大数据分析的应用。而现在我们面临的是实时数据分析和快速应用的挑战，消费者需求的不断变化需要我们及时掌握并做出调整，因此，本文重点来说明实时数据分析对电商的重要性。

如今，预测分析在商业智能领域变得越来越流行。营销人员和企业正在迅速采用实时数据分析，以保持领先的竞争，并取得成功。大数据分析已经迅速成为数据驱动业务的一个组成部分，并在使品牌和企业更容易在用户运营中发挥重要作用。企业建立的内容传播和推广活动受到来自各种渠道的影响越来越大，尤其是关于其受众、其用户的在线行为和个人喜好的数据洞察。

一般我们用来分析的数据有效期非常短暂，只有在创建或收集数据时才是最相关性的。在这个迅速发展的数据第一的企业行业中，在线的数据依然具有最大的相关性，而一天甚至两天前的数据被认为是不相关和过时的。

今天的企业只能通过利用实时收集的数据分析获得洞察力来赢得成功。

在当今的行业中，客户正在快速地习惯于在越来越短的时间跨度内访问所有内容。这是接近即时访问的时代。这使得电子商务和基于网络的企业必须时刻准备就绪，能够确保更快的响应时间，更快的周转时间尽可能接近实时。在线受众希望一切尽在掌握之中，为了在快节奏的生态系统中保持相关性，企业必须努力寻找吸引受众的方法，或者冒着输给竞争对手的风险。

1、实时定制社交策略

良好的客户体验是建立在实时参与的坚实基础上的。随着社交媒体的出现，企业必须不断加倍努力才能保持领先地位。因此，社交媒体可以使电子商务企业能够在客户查询和关注发生时及时处理它们。

显示实时参与社交媒体重要性的一个相关示例是社交媒体页面监视的标准：页面响应时间。社交媒体页面用一个徽章来积极地评估企业的响应时间，该徽章告诉页面访问者他们响应消息的速度有多快。

让客户或访问者积极参与到您的社交媒体页面中，使他们与您的品牌保持联系，并增加客户的幸福感或满意度。

最近由社会舆情分析公司 Wayin 的一项调查显示, 78% 的受调查的营销商去年获得了至少50% 的 ROI, 这得益于他们使用实时预测分析进行市场投资。

2、实时机会正在迅速增加

《福布斯》的一项调查还显示，实时流媒体应用Meerkat和Periscope因其提供的实时发布功能而受到营销人员的欢迎。

各种活动的现场直播正迅速在网上受众中流行起来。Facebook已经准确地挖掘了流媒体直播的潜力，以建立和保持对全球范围的时事活动的兴趣，无论是竞选活动、皇家婚礼，还是图书发布会。

这些参与机会有资格成为高质量的品牌内容，并主要关注时事和实况活动，如超级碗。这些现在几乎永久地在营销人员的待办事项清单上。这种趋势正在迅速流行，并且很明显，响应性运动和交互式消息正在迅速成为在线受众之间选择的通信方法。

跟踪和分析实时更新的机会为电子商务和其他企业提供了大量的机会。

3、实时数据提供了更强的洞察力

实时数据或现场数据在网络营销中极其重要。实时数据帮助营销人员了解其业务和客户行为的当前影响，无论是网站流量、社会知名度还是实时广告活动。实时洞察力可以积极地影响企业的客户获取或关系管理技术。

实时数据的使用弥补了在线和离线购买体验之间的差距。有实体存在的电子商务商店正在迅速采取措施为顾客实现无缝的店内体验。利用蓝牙和GPS的连接性，一些实体店零售商正在积极地收集关于顾客在店内行为的数据，以便向他们提供关于商店商品的个性化报价和交易。

实时预测分析对于在线平台上的电子商务业务的成功越来越重要。通过挖掘实时分析的潜力，企业可以制定高度有针对性的客户参与策略，提供增强的产品推荐；甚至通过积极鼓励潜在客户完成交易来减少购物车抛弃的发生率。

分析实时数据还可以帮助企业做出更具战略性的营销决策，并且可以改变整体业务性能。

当电子商务企业与相关历史数据密切比较分析实时客户数据以衡量过去的交易或购物习惯时，它们可以有效地向客户承诺跨品牌的个性化体验。

一些电子商务平台正在迅速意识到需要利用实时和预测分析能力来更好地理解它们捕获的客户数据。

如果您希望重新定义您的电子商务业务，并在新的、尚未开发的平台上获得成功，那么请保持关注我们的更新，在这里了解更多实时和预测性电子商务分析相关消息。

当你走在大街上，总会看到一两家餐饮店正在装修，你可能以为市场很繁荣，其实话外音是又有两家餐饮店倒闭了，餐饮的淘汰赛已经启动加速度。据统计，2016年全国餐饮收入35799亿元，同比增长10.8%，同比增长11.2%。与此同时，餐饮业的月倒闭率高达10%，年复合倒闭率超100%，年度能实现赢利的只有20%，北上广深更是半年倒闭16万家餐厅，从2006年至今，餐饮品牌中50%已经阵亡。

回想十几年前，夫妻俩随便开个面条店，每年几十万收入是妥妥的，为什么现在做餐饮变得这么难、这么残酷呢？

餐饮业的一个重要特点是要有特色，而特色最主要来自于创新。餐饮业不是没有创新，而是创新过分了。对比外国餐饮的变化，中国人吃喝上的创新简直是登峰造极。几千年餐饮历史让各种煎炒炖炸煮花样百出，对于当今的我们来说在菜式的创新方面可以发挥的空间越来越小。在创新这方面着力，投入产出比已经越来越低。现在很多餐饮从业者认为菜式的创新是企业生存的重中之重，整天绞尽脑汁地要创新菜式。其实我觉得最重要的不是创新，而是把已有的菜式做好、做精、做成精品。并不是创新菜就好吃，消费者图新奇可能吃一次，但如果不好吃，或口味一般般，就算是创新菜也会迅速消失在众多菜品当中。这就是很多特色店才开始时热闹兴旺，可没两个月就偃旗息鼓门可罗雀的原因。留住消费者的，让消费者成为忠实粉丝的，不是新奇，不是创新，而是美味、情怀和专注。

寿司之神小野二郎做寿司几十年，也没什么创新，不是今天这个花样，明天那个花样，而是专注做寿司做到极致，就能成就品牌，让大批消费者成为粉丝。很多日本人大老远跑到小野二郎的店里，等上半天，花掉400美金，只吃十分钟。但他们却无怨无悔，并且愿意下次再来。这个事例正反映了消费者对工匠精神的认可和期待。弘扬工匠精神，这是当前餐饮业从业者需要重点关注的问题。试问，有几个店铺能在一个或几个菜式上能像他那样精益求精几十年的呢？

近年来，资本大举进军餐饮业，好像一夜之间资本发现餐饮业里有利可图，纷纷杀入，连肉夹馍、蒸饺也能融资千万，搞得餐饮业里血腥一片。大资本入驻，利用充分的资源，高举高打，大打品牌，人才进驻，降维打击，升维思考，利用互联网思维和玩法冲击餐饮业。加之股市不佳，房地产徘徊，有利可图的金融产品稀缺，民间资本无处可去，再加之餐饮业门槛低，导致大量资金进入餐饮业。只要是一个不错的市口，今天一家店倒闭，不出三天，就会有下一家餐饮店开始装修。现代年轻人玩餐饮，能够打破传统思维，想法与众不同，更加贴近消费者。水货、动手吧、操场、叫个鸭子、叫了个鸡，起个餐饮店的名称都这么奇怪。互联网新玩法也层出不穷，罗辑思维的霸王餐、罗友的众筹餐厅，创新餐厅“赵小姐不等位”，金百万的互联网自助餐厅，三全鲜食的全新模式，这些都是餐饮业的新生物种。互联网餐饮平台日益壮大，美团、饿了么、零号线就像是餐饮行业的天猫、京东。可以说无论是模式、玩法、组织，都出现了全新的业态，餐饮面临着全新的大乱局。当前的餐饮业关键词是：失控、乱象、洗牌、重塑、红海、新兴业态。

商机最主要的来源，一是消费者痛点难点，二是改善性需求。从痛点难点这个角度来看，现在餐饮业已经过度发达，想吃什么就能吃什么，只要有钱，吃上过去皇帝吃的满汉全席也不是问题。在餐饮上，痛点难点已经非常少，很少有人说，吃不到什么东西很难受，必须吃到什么才罢休。绝大多数人搞餐饮不是冲着痛点和难点去的，而是冲着改善性需求去的。从改善性需求这个角度来说，现在虽然改善性需求巨大，但是众口难调，改善性需求需要市场教育，而这是一个高难度的动作。作为餐饮业从业者，怎么引领消费者的改善需要，让消费者自觉自愿买你家店的菜品，这是一个长期和艰巨的工作。而意识到这一点的从业者非常少，能做到的就更少了。

菜式的创新已经过分，但商业模式的创新却处于极少开发的状态。对于一般创业者来说，往往注重前者，却不注重后者。随着互联网经济的发展，传统的餐饮门店模式受到了极大的冲击，急需以互联网思维创新餐饮模式积极应对。互联网环境下的商业模式可以从业务模式、渠道模式、组织模式、赢利模式等方面深度开掘。比如怎么经营粉丝忠诚度、怎么通过互联网进行品牌宣传、怎么做好社群、怎么做好用户教育、怎么通过互联网增强用户体验、怎么利用大资金玩法等等，这些都是需要餐饮业者需要重点考虑的。

餐饮的核心价值体现在品牌上，目前市面上的餐饮品牌极多，如果是门店单店模式，只能在极小的范围内有一定品牌。如果要做连锁，又需要极大的投入，这不是一般企业能行的。全国知名的大品牌，都是经营多年，投入巨资，积极推广运营打造出来的。由于餐饮品牌涉及到的环节很多，人员素质参差不齐，所以，极易在运营过程中出岔子。比如前期的倩江南、肯德基、小肥羊，近期的海底捞等品牌，都出现了这样那样的问题。

只有提升餐饮的价值才能提升价格，而餐饮产品本身的价值是有限的，而附加值则是向上无边界的。只有在附加值上做文章，才能让餐饮打出品牌，卖出高价。这里的附加值是指，服务、品牌、口碑、概念、情怀、故事、氛围等等方面带来的价值。海底捞之所以成功，不是因为火锅好吃，而是因为服务到位。普通商家很难在服务上下功夫，满足于为客户做好就餐期间的端茶递水，殊不知，这种服务只是餐饮店服务的应有责任，做到了这些，对消费者来说会认为这非常正常，不会给这家店加分，更不会形成口碑传播点，也很难提升餐饮店的价值。有几家餐饮企业在客户就餐结束后进行回访的？有几家餐饮店能记住客户名字的？有哪家餐饮店知道客户饮食禁忌的？又有哪家能对每位客户进行分析的？餐饮店在大打价格战、特色战、品质战的时候，又有哪家能打好服务战的？其它的方面，更是鲜有涉及，就算是涉及也不过是蜻蜓点水，难以形成价值增长点。

互联网时代对门店的经营产生了严重的挑战，很多人懒得出门，通过外卖点餐即可。通过多年的市场教育，很多人已经逐渐养成了点外卖的习惯，这已经是一种生活方式。而点外卖的时候，看不到门店，不能到店体验服务和环境，这使得装潢考究的店堂、气氛温馨的环境和高档的服务难以转化为消费者的优良消费体验，这么大的投入，却没能带来消费体验的大幅提升，投入产出比反而大幅减弱。而且这些豪华装修、大面积店堂、众多服务人员在互联网时代不仅不是优势，反而成为严重的劣势，因为装潢费、租金、人员工资占据了很高的成本比例。同样是酸汤肥牛，小店20多块就能让利润率达到50%，而对于大店铺来说，如果卖20多块还得亏损。消费者当然选择价廉物美的。而且外卖的盛行，消费者选择面更广，甚至挑花了眼。点一点就换一个商家，再点一点出现了眼光缭乱的菜品。这很容易让消费者选择困难症大爆发，最终选了一个网上比较价廉物美的菜品。这样一来，很多客户从线上就被吸走，根本不用到店铺里点餐。现在和未来，考验餐饮商家的是如何从网上吸引消费者，通过网络提升消费体验，从网民角度把握消费者心理，而这些对于餐饮从业来说都是一个全新的话题。

之前在我的文章

《学数据分析之前，你必须要懂这2个概念》

中有提到GA，这是Google公司旗下的一款免费的数据分析软件，功能十分强大。

它能为你提供实时数据监测、受众群体分析、流量来源获取、用户行为等一系列的数据统计和展示。

当你需要查看网站的用户访问情况的时候，GA就可以帮到你。

尤其是当你们公司刚做完活动，需要查看活动效果的时候，就可以设置相应的监测链接。

即时访问情况

当然，在实时数据监测方面还有比GA更好用的工具，这里可以作为一个辅助。

利用GA，还可以获取用户画像。

谷歌号称他的dispaly network有好几百万个，现在网络爬虫技术日益强大，利用爬虫分析工具，用户曾浏览过的cookie信息就能慢慢勾勒出这个用户的画像。

例如以下的特征和兴趣报告。除了年龄，可能还会有偏好、特长等。

这其实不难理解，比如我们某天在网上搜索了一件商品，此后相当长的一段时间里，我们打开的网页都会带有相似商品的推荐窗口。这就是商家利用cookie抓取了我们的浏览记录。

当一个用户留下的足迹足够多，是基本可以拼凑出这个用户的画像的。

利用这个画像，你可以将用户进行分类，针对不同人群采取不同的营销文案和策略，投其所好。

GA还有一大功能是能分析出网站的流量来源，这个流量到底是来自外部链接，还是直接从网站主页点击进去，抑或是从活动页面导入，很多时候能帮你发现意外惊喜，比如某些你还未发觉的外部渠道来源。

比如下图中就有direct（直接来源），这个直接来源，其实是“不知道来源”，所有不知道从哪里来的访问都会被归入此类维度中。其他的，就是几个比较常见的渠道。

大的层面看，可追溯这个流量的来源地区。

细分之下，还能看流量的来源设备。

以及用户所使用的浏览器类型。

后两项数据可以帮助网站技术人员划出工作的“重点”，网站对哪些浏览器和移动端设备的优化和适配可以先着手处理。

用户的访问流量会像一条河流一样，从一个页面蜿蜒至另一个页面，直至跳出或实现转化。

这些数据，都能通过GA监测直观看到。

数据分析能帮助你更全面把握你们做活动的效果，网站还存在的不足。

所谓“前事不忘，后事之师”，每一次活动之后对这些数据进行分析总结，优化改进，下一次，才能更出彩。

随着大数据时代的到来，企业对数据价值的重视，数据分析师的市场越来越大，毫无疑问数据分析师已成为“当今最具发展潜力的职业”，吸引了无数像小编这样的热血青年，在迈进大数据行业之前，先来了解一下数据分析师工资收入多少？

在美国，大数据分析师平均每年薪酬高达17.5万美元，而国内顶尖互联网公司，大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%，且颇受企业重视。

国内拉勾网上，我们通过爬虫采集数据进行分析发现，全国有29个城市的企业有数据分析师的岗位的人才需求，其中将近一半需求产生在北京市，需求量全国第一。排在前5的分别是：北京、上海、深圳、杭州、广州。数据分析这一职业大量集中在北上广深四大一线城市，以及杭州这个互联网和电子商务企业的聚集地。

通过以上数据可以得出一个结论：数据分析师这高精尖职位，有大量的工作机会集中在北上广深以及杭州，期待往这个方向发展的同学还是要到这些城市去多多尝试。当然，从另一个方面说，这些城市也都集中了大量的各行业人才，竞争压力想必也是很大的。

任何行业都是看经验的，经验是王道，数据分析师也不例外，按工作经验统计，工作3年至5年薪资待遇普遍不会低于15K，拥有8年至10年经验的数据分析师平均薪资可以达25K左右。怎么样是不是很心动？高薪职业就看你敢不敢来挑战喽！

数据分析师薪资这么美，工作是不是很累呢？关于数据分析师工作累不累，容大教育来告诉你。

成为一名合格的数据分析师，不是那么简单的，数据分析师这个职业很肯定说是前途无量，然而，这也说明这并不是一个容易上手的工作，就业门槛是不低的。数据分析师需要储备大量的知识，需要对信息、数据敏感，具备数据分析或数据挖掘的综合能力，承担的责任也是非常重大的。

那这是否代表数据分析师工作累，需要经常加班呢？NO！数据分析师这只是一个职业，工作累不累和公司行业有很大关系，当然与你的技能熟练程度有一定的关系，刚开始从事这一职业同学初期需要不断的学习，这时相对来说会累一些，当你有一定基础积累经验之后就好多了。

正所谓“吃得苦中苦，方为人上人”，要想成为一名优秀的数据分析师，赢得高薪走上人生巅峰，坚持就是胜利！

以上就是容大教育小编给大家分享的数据分析师薪资待遇如何，希望对小伙伴们有所帮助。

方法论在各种行业都是以各式各样的形式存在着的，他其实就是一个指南针，指导大方向。同样在数据分析中，如果方法论不正确或者不合理，后面的分析结果也就没必要看了，在一个不正确或不合理的方法论的指导下，得到的分析结果是不可能正确的。

数据分析方法论和数据分析法

数据分析方法论主要用来指导数据分析师进行一次完整的数据分析，它更多的是指数据分析思路，比如主要从哪几个方面来开展数据分析？各方面包含什么内容和指标。所以数据分析方法论是从宏观的角度指导如何进行数据分析，它就像是一个数据分析的前期规划，指导着后期数据分析工作的开展。而数据分析法是指具体的分析方法，如：对比分析、交叉分析、相关分析等数据分析方法。数据分析法主要从微观角度指导如何进行数据分析。

作用？

很多人在做数据分析时，经常不知道从哪方面入手进行分析的情况，分析内容和指标也常常被质疑是否合理、完整，而自己也说不出个所以然来。所以方法论这种东西，大部分觉得假大空的东西，其实是非常必要的，只有在营销、管理等方法和理论的指导下，结合实际业务情况，才能确保数据分析维度的完整性，分析结果的有效性和正确性。总结一下：

1、理顺分析思路，确保数据分析结构体系化

2、把问题分解成相关联的部分，并显示他们之间的关系

3、为后续数据分析的开展指引方向

4、确保分析结果的有效性及正确性

常用的数据分析方法论

1、PEST分析法

PEST分析是指宏观环境的分析，P是政治(politics)，E是经济(economy)，S是社会(society)，T是技术(technology)。在分析一个企业所处的背景的时候，通常是通过这四个因素来进行分析企业所面临的状况。

这个分析方法在网上一搜索就有一大堆的讲解，针对互联网行业的分析，我认为就可以采取这个分析法来整理思路。比如：中国网民与中国公民在人口规模、性别比例、年龄结构、人口分布、生活方式、购买习惯、教育状况、城市特征、宗教信仰等方面是否有区别。

2、5W2H分析法

5W2H分析法作为非常容易学习和操作的方法之一，他是以五个W开头的英语单词和2个H开头的单词进行提问，从回答中发现解决问题的线索，即何因（why）、何事（what）、何人（who）、何时（when）、何地（where）、何做（how）、何价（how much），这就构成了5W2H分析法的总体框架。比如O2O的优惠营销信息给用户看，需要搞清楚，用户为什么需要这些优惠，用户的目的是什么？我们提供的优惠是什么？与用户想的是否一致？谁是我们的用户？用户有什么特征？用户喜好在哪个时间段购买？我们的营销活动应该开展在什么时候？用户在线下哪儿去消费？每个地区的线下有什么区别？用户应该怎样去享受优惠？用户去购买花费的成本是多少？我们应该投入多少成本？等等。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

BAT所统治的网络时代，你想要在网上寻求一足之地，现在也真没那么容易。电商最火的那几年，很多人没意识到，可以说是没想到，一个网络平台现在竟然把实体店打压到如此境地。那些抱怨电商的人现在不知道有没有向这些平台所妥协。

目前国内的平台最火的也就是淘宝和京东了。这也是竞争最大的两家，也是最激烈的。我们都知道，京东最好的就是物流快，我们早上下单，下午就可以收到商品，晚上下单，明天早上就可以收到商品。因此这也是很多人喜欢京东的原因！当然，淘宝现在也是包括小编本人在内，很多人利用的平台。那下面我们就一起看看京东和淘宝的区别都是有哪些？

我们先看一下开淘宝店铺都是有哪些特点！

淘宝上面的物品大部分较便宜，仅仅只是淘宝店铺的话我们几乎每个人都可以开一个。但是也意味着我们在淘宝上面的竞争非常的激烈。淘宝的客源流量还是很大的。今天利用生意参谋分析了一些关键词。熟悉了一些操作技巧。比如我们搜索玩具这个词，把最近30天的100条数据复制下来，放到Excel表格里面，先计算出来成交量。然后做一个降序排列，把一些成交量较低的删除。在看一下在线商品数，降序，把最高的几个数据删除，因为数据多的话，意味着我们的竞争也会变大。在这个时候我们就可以选取一些适合我们做的一些项目了。其他类型也是同理。

现在我们来看一下京东的数据分析

比较与淘宝的话，京东上面还是有些差异的，对于一个Excel表个小白的我来说，第一次做就是照淘宝的步骤套的，结果第一步就卡住了，一个升降序也做不了。当我们选好数据包，下载，解压，打开。如果升降序的话，需要把所选的转变为数字，因为我们下载下来的使他们的计算函数。因此不同。这样话，我们还是先计算成交量，我们知道京东的产品普遍比淘宝要贵，因此利润也大。我们分析数据的话，是寻找卖点。所谓卖点就是有需求，商品少，利润大。这是我们所需要的卖点。计算有所不同。以小个子为例，搜索关键词小个子。寻找关键词的卖点，我们先看一下关键词有没有成交量为0的，有的话就需要删掉，因为那时对我们无价值的词，然后找到关于小个子的一些关键词。看他在这组数据里面出现的次数，然后利用在线商品数的和与搜索人气相比较，前者大于后者的话，证明竞争大，利润空间小。反之就是我们所要利用的！

这是今天我的一些见解，欢迎不同意见点评！

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

1、Linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务， Impala是对hive的一个补充，可以实现高效的SQL查询

3、数据导入

前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

以上就简单介绍这么多，如果有小伙伴想了解和学习更多的大数据技术，可以私信小编索要资料

中商情报网讯：8月20日中国互联网络信息中心发布第42次《中国互联网络发展状况统计报告》，报告显示，截止2018年6月，中国网民规模达到8.02亿人，2018上半年新增网民数量为2968万人，与2017年相比增长3.8%，互联网普及率为57.7%。

在2018上半年中国网上银行用户规模及使用情况中，数据显示，2018上半年中国网上银行用户规模为4.17亿人，与2017年末相比增长1804万人，在整体网民数量中网上银行用户数比例达到52%。

数据来源：cnnic、中商产业研究院整理

而在手机网上银行方面，数据显示，2018上半年中国手机网上银行用户规模为3.82亿人，与2017年末相比增长1203万人，占手机网民数量的48.5%。近年来，随着智能手机技术的快速完善，人们对手机依赖度的提高，越来越多的工作娱乐交际等都可以在手机上完成。2018上半年使用手机网上银行的用户数量达3.82亿人，而全国网上银行用户规模为4.17亿人，占比高达91.6%。

数据来源：cnnic、中商产业研究院整理