中商情报网讯：10月18日，2018全球智能物流峰会上，京东物流CEO王振辉宣布，京东物流正式上线面向个人客户的快递业务。据悉，该业务前期在北上广开展，随后将向全国扩展。资料显示，2018年10月17日，京东物流官方微信公众号关联小程序“京东快递”，认证主体为“北京京东尚科信息技术有限公司”，服务类目以快递、物流为主，主页含有“寄快递”、“查快递”两个栏目，具体涵盖“寄快递”、“批量寄”、“扫码寄”以及暂未开通的“语音寄”四个功能，目前揽收范围为北京、上海、广州，派送范围为中国大陆地区。

在京东物流运营仓库数情况中，数据显示，随着仓库数的逐渐增加，仓库数量逐渐趋于稳定，增速逐渐放缓，2018年第二季度京东物流仓库数达到521个，与2018年第一季度相比增长1.2%。

数据来源：中商产业研究院整理

从2017年开始，京东物流加大了土地储备、在建工程等物流中心方面的投入，数据显示，京东物流从2017年第一季度的580万平方米增长至2018年第二季度的1160万平方米，增长率高达100%，平均物流中心面积在2.06-2.23万平方米。

数据来源：中商产业研究院整理

作为成功的付费会员制，Prime会员模式被认为是亚马逊成功的一大秘密武器。有“中国的亚马逊”之称的京东也于去年3月正式推出年费149元的PLUS会员服务，可享京豆返利、专享商品、免费运费券等六大会员权益。

中国网购非常发达，很多人看重的就是出色的价格和服务，付费会员制尚属近年的新兴事物。近日，京东数据研究院通过对近年PLUS会员消费数据追踪分析，勾画出这一与国际消费观念接轨、勇于尝鲜的网购人群画像及特征。

重度用户兼粉丝，忠诚度极高

业界有个说法，互联网品牌获得用户容易，获取粉丝不易。京东大数据显示，PLUS会员中忠诚型用户占比超高，比全站平均水平高近3倍。同时钻石会员比例超过一半，如果加上金牌会员，占比则超过80%。无疑，PLUS会员是京东用户中忠诚度最高、消费能力最强的铁杆“粉丝”。PLUS会员高度认可京东，并自带口碑传播功能，他们对于京东而言，无疑比金子更可贵。

从职业分布看，白领和教师人群比例非常突出，高出全站平均占比八成。作为接触新观念新事物较多的白领阶层，对PLUS会员制接受程度较高尚属意料之内。而教师群体的出现，不禁让人眼前一亮。

京东大数据发现，PLUS会员中80后和90后人群占比水平也明显高过其他年龄段。对于电商来讲，这两个人群，也是消费意愿和消费潜力最强的黄金用户群。

有钱不任性，他们更是精明买家

通常人们印象中，愿意为额外付费的人群不差钱，对价格不敏感。但京东大数据分析结果出人意表，PLUS会员中对促销重度敏感的人群占比高出全站平均水平近一倍。这说明PLUS会员舍得消费，也更擅长精明地消费。毕竟谁的钱是大风刮来的呢。

根据近一年PLUS会员的消费情况，京东还统计出通过相关会员权益及福利，一年PLUS会员节省下来的平均花费为656元，约合年费的4.4倍。并且，买的越多赚得越多。

最懂京东最会买 尖货鲜货不错过

京东大数据显示了近一年PLUS会员最爱买的几种单品，按消费金额和订单量维度主要为3C科技尖货和生活日用品。

此外，PLUS会员在生鲜品类消费上的增长非常突出，高达140%。白酒消费增长也超过50%。

3C品类是京东一直以来的优势品类。而京东超市（日用品）、生鲜品类则是京东近几年大力扶持发展的新兴业务，促销活动多力度大、爆品不断。加之京东包括冷链在内的自建物流优势，令购物体验更加完善。

相关数据显示，京东用户中通过电商平台购买日用品、生鲜商品的消费习惯已在逐渐养成。作为最懂京东、最会买买买的PLUS会员，他们的消费热点与京东好货非常合拍。

618大促临近PLUS会员专享活动即将开启

随着618大促的前夕，PLUS DAY狂欢盛宴活动即将开启。5月25日-30日期间，PLUS会员全品类购物满199减20。享更多优惠和品质生活，就快加入京东PLUS会员吧。

日前，有中国经济网（ce）报道：《京东之家黑科技:客流精准分析系统感知用户性别、年龄》。文中提到了，京东自研精准客流分析系统，助力京东之家现进店顾客行为的数字化、门店销售区域数字化、实时监控后台统一管理、线上/线下数据联动等功能。借京东全价值链的大数据优势，实现线上与线下数据的打通，利用京东商城线上的用户画像数据，线下店铺能够针对用户个人提供更加细致的服务，从商品的浏览直至结算支付。

正文内容：

8月9日京东召开零售创新战略发布会，正式揭开了筹备一年之久的京东之家和京东专卖店的面纱，并同时宣布年底将在全国开设超过300家以3C为主的零售体验店，通过技术驱动融合线上与线下数据，进一步将京东的零售基础设施向外渗透。本次京东之家采用了京东自研的客流精准分析系统。可实现进店顾客行为的数字化、门店销售区域数字化、实时监控后台统一管理、线上/线下数据联动等功能。

店内、店外客流分析 年龄、性别精准识别

京东店铺客流精准分析系统提供了对店内、店外顾客的精细分析，通过对店外和进入店内的客流进行年龄、性别以及熟客与否等维度监控，京东之家可以精确量化分析进店流量漏斗，如店外人群分布和进入店内人群分布等，实现对不同群体的客流量监测，记录不同群体顾客每天的进店率、单位时间客流量趋势图等，给店铺管理提供非常重要的用户行为转化数据。同时，客流精准分析系统采用了人脸、性别、年龄识别技术，将会与京东之家店内的电子广告屏相结合，当系统检测到当前用户的性别时，能够依据京东商城的大数据，获取目前针对该性别用户感兴趣的、有较高促销力度的商品进行推荐，并与店内商品进行同步。这时用户可及时获取到促销信息，在店内购买。

店内客流热力图 用户爱逛哪个区一目了然

对于店内客流分析，京东线下店铺客流精准分析系统能够对店内的顾客停留位置生成热力图。通过热力图商家可以很直观地了解到，哪一个货架或是哪一款产品用户关注时间最长，从而判断店内商品的受欢迎程度。此外，分析用户倾向滞留的区域可方便店铺管理者对出售的商品进行更替、选择摆放位置、安排广告展示等，进行量化评估和优化。

京东集团副总裁、AI与大数据部负责人翁志表示：“京东店铺客流分析系统是智能店铺系统的一部分，支持京东之家实现精细化、数字化的管理需求，是第四次零售革命的重要实践。其具有精细化（店内店外流量转化）、智能化（不同年龄，性别识别）并且易推广（成本根据店铺情况灵活可控）等特点，帮助线下店铺进行客户流量精确分析。”

此外，凭借京东全价值链的大数据优势，实现线上与线下数据的打通，数据的价值将会被充分放大。利用京东商城线上的用户画像数据，线下店铺可以充分利用并形成联动效果。为此京东之家能够针对用户个人提供更加细致的服务，从商品的浏览直至结算支付。而京东之家将会作为京东的一个新的数据入口，填补线下数据的缺失。这一部分数据将会遵循京东零售即服务（RaaS）的理念，向广告商、品牌供应商、供应链合作伙伴等第三方进行开放，为智能店铺添加更多的玩法。数字化、智能化零售基础设施持续发展，必将推动零售行业向无界零售方向演进，实现第四次零售革命所描绘的宏伟蓝图。

广州雅量软件开发有限公司（ya1688）是一家致力于实体零售商店客流大数据采集、汇总、分析的企业，提供有客流统计，精准客流分析，客流热力分析等线下消费者行为数据分析，助力实体零售商店精细化、数字化、智能化运营管理。

至顶网服务器频道 10月15日 新闻消息（文/李祥敬）：现在业界都在谈论人工智能，人工智能技术加速了数据价值的实现。同样，大数据技术在企业应对数据挑战方面发挥了重要的作用。近日，在“携手共创未来数据科技；京东与英特尔，大数据合作备忘录签约仪式”上，英特尔与京东共同分享了在大数据分析领域的合作成果，以及将要展开的全新合作。

具体而言，京东正在为建立高级数据分析能力而着力打造下一代可扩展的大数据平台，京东和英特尔除了在软件领域展开深入合作外，京东大数据也在计算、存储、网络等领域充分利用英特尔下一代硬件产品；京东大数据团队在大数据领域创新的同时，将持续推动开源社区和整个行业在数据分析领域的进步。

硕果累累 京东与英特尔的合作由来已久

谈及与英特尔的合作，京东集团副总裁、大数据与智能供应链事业部总裁裴健表示，英特尔对于整个京东来说是一个非常重要的合作伙伴，这个重要性表现在几个方面：第一，英特尔提供了最新的硬件以及在硬件之上的软件和各种解决方案的技术，这对于京东及时获得最新的技术并在最新技术基础上研发行业解决方案和内部产品具有非常重大的价值。

“我们希望京东的行业实践和解决方案也能够对英特尔有价值，双方能够一起来去探索巨大的中国市场，推动零售门店科技、IoT、区块链等一系列的前沿技术和业务，并把它们往前推进。”裴健说，“这次签约也是对我们之前合作的一个总结，为今后合作打下了一个很好的基础。”

京东集团副总裁、大数据平台负责人翁志（Dennis Weng）表示，京东和英特尔在过去几年里进行了密切合作，从定制服务器到大数据，诸如Apache Spark on Kubernetes及其相关的框架和工具套件、Adaptive Execution、存储和计算分解、Spark工作负载优化等。“结合京东的海量大数据应用，京东和英特尔已经联手对这些项目进行了深度定制，在统一的数据分析和AI流水线上加速并简化了方案开发，并在某些特定场景下发挥了巨大的效能。”

例如，翁志介绍说，京东利用Adaptive Execution优化Spark的工作负载，提升数据存取效率，能够在要求的时间内完成计算。后来京东在Spark的基础上引用了深度学习框架BigDL，在这个框架上通过英特尔数学函数库提升整个硬件的能力，并在京东内部的应用取得了很好的效果，使得京东整个Spark技术平台能够满足各种应用的需求。“我们应用了英特尔的很多技术和产品，使得京东大数据平台的优势得到提升。”

英特尔公司软件和服务部门副总裁、数据分析部门负责人马子雅也表示，对于世界领先的硬件和软件的追求和兴趣让京东和英特尔走到了一起，这是非常完美的结合。双方在Hadoop集群、Spark、机器学习等方面开展了广泛的合作。“在英特尔硬件平台上，我们进行了软硬件调优、算法优化、增强扩展性等工作，实现了京东大数据平台性能提升和功能完善。”

在硬件层面，英特尔推出了傲腾固态硬盘以及英特尔傲腾数据中心级持久内存等新一代的存储技术。如何在最新的英特尔硬件技术上面优化京东的大数据平台，这是双方合作的重点。"英特尔并不只是把硬件卖给客户，而是帮助客户在具体的英特尔的产品线上进行最好的调试，让他们得到最好性价的一个结果，利用我们最新的硬件技术。"马子雅说。

比如针对英特尔的最新技术产品，京东与英特尔在可扩展计算、持久内存、网络和开源软件优化方面的平台创新进行高级分析，并合作开发下一代大数据平台，以完成架构升级，降低运行成本，增加集群整体效能。

另外，京东致力于打造异构的IT基础架构，为了把更多的不同硬件资源整合到同一个平台下面，英特尔与京东会在Kubernetes方面进行更多合作，探索如何有效管理异构资源。“英特尔过去在很长一段时间在开源方面主导了很多的项目，通过京东的合作让我们对开源也有更多的贡献，所以我们在未来的时间里面也会继续跟京东在这方面的合作，加大开源的创新，也帮助京东更好地利用开源的项目。”马子雅说。

翁志说，京东正在着力打造提供最佳性价比的下一代大数据平台，通过英特尔先进的技术为支撑，在虚拟化技术、存储计算分离、存储压缩技术等计算资源横向智能扩展上发力，对大数据基础架构进行升级，在AIOps等领域进行深耕。

英特尔与京东积极探索人工智能时代的大数据创新

当前我们处于一个大数据爆炸的时代，使用复杂的算法和模型以及应用不断增长的数据量和更复杂的数据集正在成为主流。 我们看到传统人工智能与大数据分析的集成越来越多，以解决更复杂的问题。

在马子雅看来，人工智能背景出身的专家一直在讲人工智能未来的发展是通过对算法不断地提升才得以发展，而从大数据出身的专家会说人工智能的发展未来就是要通过数据。“其实我个人认为，如果你的算法已经很成熟稳定，这个时候数据对于人工智能的推动是更重要的。比如ImageNet，自从ImageNet出现以后，在过去几年时间里图像识别得到了飞速的发展。可以说大数据推动了人工智能的进展。在未来，大数据跟人工智能必须相互结合才能够真正做到原来两个分开的领域做不到的东西，这是我个人的看法。”

翁志也表示，数据挖掘中使用了人工智能的方式进行数据处理，比如深度学习或者机器学习，它们之间非常紧密地联系在一起。未来，大数据和人工智能彼此连接、彼此发展和互相促进。“数据的发展一定是前途无量的，这个也是京东的强项，因为我们能够获得很多丰富场景下的大数据。”

翁志表示，京东内部有非常丰富的应用场景，从商品的售卖到商品的物流，也就是一个商品从它的生产到被用户消费到售后服务，整个的一个流程为京东积累了很丰富的数据。“京东通过数据分析实现精准营销和优化用户体验，提升大数据能力。这种大数据能力包括算法、计算能力、海量数据获取等方面，在计算方面与英特尔的合作能够使我们的大数据能力有一个极速的提升。”

“展望未来，我们有非常广阔的合作前景，京东与英特尔的合作具有互补性。京东的海量数据应用场景与英特尔在软硬件上的实力的结合是一个互补，这种完美结合使双方公都能够获益，而且我们能够进行更多的建设性工作，实现人工智能时代的大数据创新。”翁志说。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

作为产品或者运营，我们几乎每天都会重复同一件事，说服老板/开发/设计/市场同意我们的建议或者方案。他们往往会用怀疑的口吻说出这些话：

为什么要这样做

你这样做影响用户体验

对手A为什么不这样做

……

千言万语，其实说的都是同一件事：你如何证明你是对的？

想必大家或多或少都会有这样的苦恼，说话的对象逻辑性欠佳，不仅无法理解你的话，还会用他的偏见驳斥你。而这个系列的文章，就是借助数据分析工具，让数据来表达你的想法，即使是思路混乱的人，也能很快理解你的核心观点。

先说说我所选择数据分析工具的特点：

可视化，让人能够直观地看到问题

洞察性，能够给出问题产生的原因

组合性，这些工具能够组合使用，形成完整的数据闭环

如你所见，这个系列会分为7篇来讲述，本篇是系列的第1篇：热图分析

YouTube：75%的观众在360度视频中只看正前方

作为全球最大的360和VR视频内容平台，YouTube最近推出了热图分析功能。即通过对用户在360度视频中视线焦点聚集区域的数据收集整理，来分析在一个可自由观看的媒介中，观众的视线更多聚焦在哪些位置。分析结果如图所示：

75%的观众在观看360度视频时，视线只集中在90度的视域里，基本就是直视正前方。这个结果让苦心孤诣制作360视频的创作者感到沮丧，费了半天劲前后左右给你们找“戏”，又是视线启动又是全方位照顾死角……原来你们还是跟看平面画面一样只盯着正前方。

人类在2D维度的娱乐习惯是长期养成的，如果不彻底更改娱乐的交互方式，人们还是会把目光依旧停留在舒适又省心的正前方屏幕上。

利用热图分析，YouTube成功证明被认为是未来视频风口的360度视频也许并不如想的那么美好。那么，什么是热图分析？

热图分析：画出用户的行为

热图分析，就像一群人通过一块草地去各个目的地，走的人多的地方就成了路，走的人少的地方则还维持原样，而通过高空俯视草地，我们就能清晰地了解用户的行为轨迹。由此引出热图定义：

热图分析：通过记录用户的鼠标行为，并以直观的效果呈现，从而帮助使用者优化网站布局。

一般来说，鼠标行为可以分为3种：点击、移动、滚动。根据这3种行为，再结合页面元素能否交互，就形成了4种热图：

Mouse Move Heatmap（鼠标移动热图）

Mouse Click Heatmap（鼠标点击热图）

Mouse Scroll Heatmap（鼠标滚动热图）

Link Heatmap（链接热图）

鼠标移动热图

这种热图记录用户鼠标移动、停留和徘徊等行为，热图多为轨迹形式。示例如下：

这种热图，能够清晰呈现用户最感兴趣的页面区域和元素，并能直观反应影响用户行为的元素。为了说明用法，举个例子：

最近小及的汽车网站推出一项购车送保险的活动，然而参与活动的人寥寥无几。通过鼠标移动热图分析，他发现购车送保险的内容区域热度很低，导致这种现象的可能原因如下：

用户根本没有注意到这块内容

用户对送的保险没有兴趣

再观察整个热图，小及发现相邻区域的热度也很低，这说明用户根本没有注意到该区域。于是，小及将购车送保险活动置换到热图较高区域，成功解决了该问题。

鼠标点击热图

这种热图记录用户的点击行为，示例如下：

这种热图，能够最直接地反应用户的内心想法，洞察用户与页面的交互行为。用户为什么没有点击我们期待他们点击的地方。如果你是产品经理或者交互设计师，你是不是经常会想，用户会不会点击一些没有链接的图片？事实上，用户很有可能就因为某些页面元素无法点击而感受挫败，甚至直接离开。

使用点击热图，能帮你迅速定位这些链接“死角”。而你需要做的，是把“死角”链接到相应的内容或页面上。如果你不希望让用户跳转到其他站内的页面的话，可以选择弹窗的方式进一步展示更多的相关内容。尝试一下，跳出率会大幅降低的。

鼠标滚动热图

鼠标滚动热图，用于监测用户在页面不同区域停留的时间，反映用户对内容的关注程度。在页面布局优化中会经常使用到这个功能。示例如下：

大家应该都有注意到上图中有1条线标有标有XX百分比，这个是浏览触达率，是告诉我们有多少比例的用户看到了该区域，反过来也就是告诉我们其他用户还没到这，就已经去往其他地方了。所以，如果你有很精彩的内容放在页面底部，那么它也许根本没有贡献任何价值。通过鼠标滚动热图，你能发现用户是从哪里开始丧失兴趣的，以及那块区域放置的内容能带来最多的潜在响应。

链接热图

链接热图，记录用户在网页内容上的点击，自动过滤掉页面空白处（没有内容和链接）的无效点击。相比点击热图，更强调突出用户对当前元素内容的兴趣。

还有一个比较有意思的方法是通过过滤来对比。举个例子，一个电商网站，如果把男性和女性进行细分，来对比他们在电商导航上的差异。很明显女性对“服装”、“化妆品”等信息的点击比例明显偏大，而男性对“数码产品”等信息的点击比例偏大。以上只是一个最简单基础的应用，但说明了一个数据分析最常用的手段，也就是对比。而对比衍生出来的数据分析工具就是AB测试，而这也会是该系列的一篇文章。

热图分析工具：欲善其事，必利其器

这里收集了很多非常好的工具，通过不同的方法追踪用户的行为并提供给你改进网站可用性的建议。它们中有些可能不是免费的，但一个好的回报是值得去付出的。

1. CrazyEgg

CrazyEgg可以相当准确地监控所有页面的点击位置，并提供了heatmap、scrollup、confetti、overlay等4种形式的热图。

2. Clicktale

clicktale它是对你的网站访客浏览行为进行分析的一个工具，以类似视频的方式将访问者在你的网站上进行的操作全部记录下来，你可以在线观看也可以下载到电脑上。利用ClickTale的访客行为视频记录，可以帮你更好的布局你的网页，给访问者带来更好的用户体验进而提升转化率。

3. Mouseflow

mouseflow通过视频记录和分析用户的点击和滚动行为，生成鼠标点击和移动热图，帮助你优化目标页面和提高转化率。

4. 及策

及策能够监控一个页面的所有点击行为，能够清晰地绘制鼠标点击热图以及链接热图。并且能够通过过滤细分来区分不同用户群体的表现行为。它还提供了实时监控的性能分析，转化分析，漏斗分析，先进的过滤和市场分析。此外，及策的热图分析是我参与设计的，目前可以免费试用。

5. Google analysis

GA可以说是世界上目前最为强大的分析工具，在它内容概述页面的右下角有“网页详情分析”（In-Page Analytics），可以显示页面的热图分析。但是此图是由用户的访问路径计算得到的，有一定局限性。

写在最后

欢迎关注我的数据分析工具系列，我会讲述如何改善用户体验，提升转化，帮助你更好地运用数据驱动网站运营。欢迎关注及策云课堂的百家号。

及策——洞察你的用户。

标品，这里有个概念，什么叫做标品？

在京东运营四年的经验里，我个人给标品的定义就是没有市场标准化的认知，产品差异化较大或者品牌、性能、属性等为影响客户下单的主要因子，外观的影响因子较小。举个例子，空调，客户考虑的因子是什么？首先匹数、节能效果，然后就是品牌。至于这个空调是A款还是B款，其实对客户那里影响不大。有些标品有品牌，有些标品是没有品牌的，也就是说你能比竞争对手好，是因为你的性能好，是因为你的价格便宜，是因为你的产品属性好，所以你能获得优势，这种叫做标品。

大概概括一下，在京东的分类里面，大家可以看到家用电器、手机数码、电脑办公、黄金珠宝等都是属于标品。所有的选款都是为了选出竞争力比较大的款，什么叫竞争力比较大的？对于标品来说，影响维度就这么几个，技能属性、品牌，外观的影响因素非常小，所以我们在进行数据收集的时候，产品怎么去找？无非就两个渠道了！

标品的产品渠道

（一）标品的产品渠道：自有渠道

自设工厂或有固定的供应商，在供应商那里拿到货源或者你的产品经理拿了产品回来了，来，老板，看一下这个品，看看我们能不能做？这就是产品选择了。拿过来干嘛？把你的产品到平台上，到整个京东市场上搜索主关键词，来对比你的成本价多少钱，我能卖多少钱？你算算你的运费、扣点、广告费、办公成本等地，能挣多少钱，在这个最低价的基础上往上找产品，就是在你能挣钱的基础上，这就叫基本价。在这个价格上往上再找竞争对手产品，把产品的性能等参数拉过来对比。在某个价格段里面，假设我68元打不赢，但是我跳到88元，发现没有竞争对手或者竞争对手比较少、比较弱，它的产品性能还没有我的好，品牌不比我强，那我就能打，代表这个产品在88元这个价格段是OK的。

（二）标品的产品渠道：无中生有

还有一种渠道叫无中生有。当手头上没有产品，该怎么去定一个产品的参数、产品性能、产品样式？一个方法，可以通过友商平台、京东平台进行数据分析，然后比对哪个产品比较有优势，竞争力比较大。抄，就是抄出来，再你加上你的经验，这个时候就要靠经验了，你可能认为某个指数是比较重要的，我们把它做大一点，某个指数比较不重要，我们把它做小一点，我们就不去考虑。然后去选款，找供应商拿货，找你的产品经理去设计。

这就是我们说的标品的选款，两种选择方式，一种是无中生有，一种是自有渠道。

产品的性能分析

自有渠道的货要对比，无中生有的货也要对比，这就涉及到另一个方法，叫产品性能分析。在标品的产品里面，我们永远要去进行一个数据化的分析，分析它具体的功能。因为在标品这个产品市场里面，70%以上的消费者是理性的。什么是理性的？就是你跟我说再多没用，我要看你的产品长什么样，我要看你产品有哪些功能！OK，既然消费者是这样的，我们选择产品的时候也是这样的，所以大家需要去做一个产品性能的分析表。

首先对于标品来说，我们首先考虑的跟产品型号一点关系都没有，这里涉及到的一个是价格，价格越便宜，是不是竞争指数越大？在这个基础上，我们要做一个多维度的数据分析表格。注意，对比的时候尽量找同一价格段的，在类似价格段里面去找相同的产品，找出来之后经过对比再决定是否做主推，这就是标品的选款方法。

以下是一些用于大数据分析的“必备神器”，其中很多功能非常强大的，希望大家能从中找到对自己有帮助的工具。全选地址，拷贝到浏览器中，即可。

01

微信大数据分析工具

新媒体指数：http://gsdata

02

数据可视化工具

百度ECharts：http://echarts.baidu/

Cytoscape：http://cytoscape.org/

图表秀：http://tubiaoxiu/

数据观：http://shujuguan/

微博足迹可视化：http://vis.pku.edu/weibova/weibogeo_footprint/index.html

BDP个人版：https://me.bdp/home.html

ICHarts：http://icharts.in/

魔镜：http://moojnn/

03

词频分析工具

Rost：http://cncrk/downinfo/54638.html

图悦：http://picdata/

语义分析系统：http://ictclas.nlpir.org/nlpir/

Tagul：https://tagul/

腾讯文智：http://nlp.qq/semantic.cgi

Tagxedo词云：http://tagxedo/

04

舆情分析工具

清博舆情系统：http://yuqing.gsdata/

云相：http://weidata/

05

PPT模板工具

我图网：http://so.ooopic/

51PPT模板：http://51pptmoban/ppt/

无忧PPT：http://51ppt/

第1PPT：http://1ppt/

站长之家：http://sc.chinaz/ppt/

设计师网址导航：http://userinterface/

06

互联网趋势分析工具

微博指数：http://data.weibo/index

百度指数：http://index.baidu/

好搜指数：http://index.so/#index

搜狗指数：http://zhishu.sogou/

百度预测：http://trends.baidu/

07

在线调查工具

腾讯问卷调查：http://wj.qq/

麦客：http://mikecrm/

ICTR：http://cn2.ictr/

问道网：http://askform/

问卷星：http://sojump/

调查派：http://diaochapai/

问卷网：http://wenjuan/

SurveyMonkey：https://zh.surveymonkey/

08

网站分析监测工具

H5传播分析工具：http://chuanbo.datastory/

百度统计：http://tongji.baidu/web/welcome/login

腾讯云分析：http://mta.qq/

51.la：http://51.la/

09

社交媒体监测工具

孔明社会化媒体管理：http://kmsocial/

企业微博管理中心：http://e.weibo/

知乎用户深度分析：http://kanzhihu/useranalysis

10

其他数据网站

媒体微博排行榜：http://v6.bang.weibo/xmt

友盟：http://umeng/

中国新闻地图：http://vis.360/open/cnnews/

中国票房榜：http://cbooo/

收视率排行：http://tvtv.hk/archives/category/tv

农业大数据云平台：http://dataagri/agriculture/gis.action

房价指数：http://industry.fang/data/datacenter.aspx

中国统计局：http://data.stats.gov/

中国主要城市拥堵排名：http://report.amap/traffic/

中国综合社会调查：http://chinagss.org/

中国P2P网贷指数：http://p2p001/wdzs/wdzs_p2pline.html

Alexa：http://alexa/

易车汽车指数：http://index.bitauto/

旅游预测：http://trends.baidu/tour/

以上就是给大家推荐的一些用于数据分析的“必备神器”，其中很多工具是亲测过认为非常强大的，希望大家能从中找到对自己有帮助的工具。

　　央广网北京1月17日消息 今天，京东集团宣布推出以用户为中心的无界营销解决方案，将消费习惯洞察、经营决策、整合营销、流量运营、智能大数据、内容营销、网络联盟、营销生态等营销能力产品化、模块化、平台化、生态化，同时推出近百款营销产品。

　　未来，品牌方将在京东智能大数据的协助下，通过各种营销能力的积木组合，实现高效精准营销。

　　京东集团CMO徐雷介绍，无界营销是京东基于大数据时代的到来、人工智能的发展、零售业态的革命，提出的一个面向未来的，以用户为中心、以智能大数据为基础的营销理论。它通过开放式的无界营销，实现用户、媒体、品牌多方的共赢。

　　JD BrandEco（京东品牌营销生态）上线

　　京东集团副总裁、京东集团市场营销部负责人门继鹏宣布推出JD BrandEco（京东品牌营销生态）。JD BrandEco是以消费者为中心，重构人，内容和购物场景，为品牌方提供平台化的，模块化的，生态化的无界营销解决方案。

　　具体来说，JD BrandEco是一个生态，由媒体、品牌方和京东相互开放共同建立。借助京X计划和京粉计划完成对购物场景的连接并覆盖全部中国互联网用户，然后又通过东联计划和京盟计划实现购物场景的融合，最后通过京东大数据和京洞察实现对全新购物场景的创建。

　　目前东联计划合作品牌已经超过500家，实现合作媒介量市场价值超过150亿。同时，京东基于消费者在购物、娱乐、生活、学习等不同的行为路径，创建相关营销场景，推出大促联合营销、IP聚合营销、三四线城市营销、国家品牌聚力营销和校园新势力营销等创新营销产品。

　　JD BrandEco京东品牌营销生态概览

　　智能数据驱动无界营销 大数据让营销更精准

　　京东集团副总裁、京东商业提升事业部总裁颜伟鹏介绍，归功于京东在智能大数据方面的重点布局，品牌方可以实现精准营销。“通过京准通的大数据洞察，舒肤佳发现喜爱运动、有活力、爱健康、关爱家人是其受众的核心兴趣标签，于是舒肤佳联合运动、牛奶、家电、食品四个品类进行了跨品类的联合营销，打造多样化的应用场景。通过京准通DMP进行人群定向，精准触达了超过2000万的目标用户，品牌意向人群提升了48%，活动爆发当日的销售比平时高出6.5倍。”

　　据悉，京东会通过智能大数据的基础架构，帮助商家实现商业洞察，发现市场契机，并挖掘精准营销的机会，然后借助AI驱动的智能营销工具进行高精准度用户触达。而京东正在打造无界流量生态，在帮助品牌方打通数据流的同时，利用京准通和黑珑两大平台，全面开放数据和技术，帮助商家打造全域无界营销的生态。

　　颜伟鹏特别强调了京东在智能广告投放方面的战略布局：京东利用AI技术，为商家提供了很多智能化的投放工具。比如海投计划，海投计划是基于AI算法帮助品牌广告主实现一键批量投放的全网智能营销工具。可以实现营销场景的智能选择、预算的智能分配，商品的智能投放以及竞价流量的智能出价，提升了广告主的投放效率。

　　而在数据开放和智能数据分析方面，京东此次也展示了最新发布的九数商业分析平台。据颜伟鹏介绍，利用九数，广告主可以实现受众的定制化挖掘与生意的定制化分析，无论是潜在客户的洞察、获取还是老客户的交叉分析，流失预测都可以实现。与此同时，九数也计划引入ISV合作伙伴，用更加多元化的分析能力，赋能品牌与商家。

　　智能数据在商业分析和精准投放等领域赋能品牌商家的全链条示意

　　打造全新变现路径 京东启动内容生态战略

　　京东站内外电商运营体系也在实现向模块化、平台化和生态化转型。京东集团副总裁、京东平台运营部负责人韩瑞告诉记者，海量的站内站外流量和精准的电商营销，都会依托于京东全渠道会员管理体系实现高效转化。

　　京东站内外营销运营产品示意

　　“2017年双11京东PLUS会员下单金额同比增长超过230%，双11当天京东秒杀业务单日GMV近118亿，”韩瑞透露。他认为，会员是京东和品牌发展的重要基石。京东将为品牌打造小程序线上商城、积分商城以及会员中心，为品牌提供更多触达用户及活跃用户的场景。京东还可以通过小程序的LBS功能发现门店为品牌线下门店引流，用户在线下展示卡包里的身份认证码，即可确认会员身份，实现线上线下会员权益贯通与核销。由此，京东线上购物数据和会员体系通过小程序，链接了品牌线下购物场景和会员体系，从而打造了一条全新的营销变现路径。

　　在高附加值的会员体系基础上，京东还在全面发力内容生态。在峰会上，京东宣布2018年启动“百千千百”计划，即培育100个在京东平台上年收入过千万元的内容合作伙伴，扶持1000个年收入过百万元的内容合作伙伴。

　　徐雷认为，“无界零售”是京东对行业的未来趋势判断。无界营销通过场景联通、数据贯通和价值互通串联起不同的消费行为和场景。未来，京东将持续推动模式和技术创新，通过广泛的结盟打通各种场景；一方面深入挖掘数据，一方面开放数据资源；通过营销赋能，让零售链条上的每个环节都可以分享和创造价值。

BAT所统治的网络时代，你想要在网上寻求一足之地，现在也真没那么容易。电商最火的那几年，很多人没意识到，可以说是没想到，一个网络平台现在竟然把实体店打压到如此境地。那些抱怨电商的人现在不知道有没有向这些平台所妥协。

目前国内的平台最火的也就是淘宝和京东了。这也是竞争最大的两家，也是最激烈的。我们都知道，京东最好的就是物流快，我们早上下单，下午就可以收到商品，晚上下单，明天早上就可以收到商品。因此这也是很多人喜欢京东的原因！当然，淘宝现在也是包括小编本人在内，很多人利用的平台。那下面我们就一起看看京东和淘宝的区别都是有哪些？

我们先看一下开淘宝店铺都是有哪些特点！

淘宝上面的物品大部分较便宜，仅仅只是淘宝店铺的话我们几乎每个人都可以开一个。但是也意味着我们在淘宝上面的竞争非常的激烈。淘宝的客源流量还是很大的。今天利用生意参谋分析了一些关键词。熟悉了一些操作技巧。比如我们搜索玩具这个词，把最近30天的100条数据复制下来，放到Excel表格里面，先计算出来成交量。然后做一个降序排列，把一些成交量较低的删除。在看一下在线商品数，降序，把最高的几个数据删除，因为数据多的话，意味着我们的竞争也会变大。在这个时候我们就可以选取一些适合我们做的一些项目了。其他类型也是同理。

现在我们来看一下京东的数据分析

比较与淘宝的话，京东上面还是有些差异的，对于一个Excel表个小白的我来说，第一次做就是照淘宝的步骤套的，结果第一步就卡住了，一个升降序也做不了。当我们选好数据包，下载，解压，打开。如果升降序的话，需要把所选的转变为数字，因为我们下载下来的使他们的计算函数。因此不同。这样话，我们还是先计算成交量，我们知道京东的产品普遍比淘宝要贵，因此利润也大。我们分析数据的话，是寻找卖点。所谓卖点就是有需求，商品少，利润大。这是我们所需要的卖点。计算有所不同。以小个子为例，搜索关键词小个子。寻找关键词的卖点，我们先看一下关键词有没有成交量为0的，有的话就需要删掉，因为那时对我们无价值的词，然后找到关于小个子的一些关键词。看他在这组数据里面出现的次数，然后利用在线商品数的和与搜索人气相比较，前者大于后者的话，证明竞争大，利润空间小。反之就是我们所要利用的！

这是今天我的一些见解，欢迎不同意见点评！