淘宝网数据分析

在这个用数据说话的时代，能够打动人的往往是用数据说话的理性分析，无论是对于应付课程论文的大学党，还是需要数据进行分析和研究的研究僧，能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索，拥有这个领域的数据那都是有十分重要的意义的。

在这里煎饼学长给大家推荐一些能够用上数据获取方式，有了这些资源，不仅可以在数据收集的效率上能够得到很大的提升，同时也可以学习更多思维方式。

公开的数据库

－ 国家数据 －

http://data.stats.gov/index.htm

数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。

－ CEIC －

http://ceicdata/zh-hans

最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

－ wind（万得）－

http://wind/

万得被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。

－ 搜数网 －

http://soshoo/

已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

－ 中国统计信息网 －

http://tjcn.org/

国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

－ 亚马逊aws －

http://aws.amazon/cn/datasets/?nc1=h_ls

来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

－ figshare －

https://figshare/

研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。

－ github －

https://github/caesar0301/awesome-public-datasets

如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。

随便上几个图，满满的都是资源啊~

数据交易平台

－ 优易数据 －

http://youedata/

由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

－ 数据堂 －

http://datatang/

专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

网络指数

－ 百度指数 －

http://index.baidu/

大家都很熟悉的指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考。

－ 阿里指数 －

https://alizs.taobao/

国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察意义不小。

－ 艾瑞咨询 －

http://iresearch/

艾瑞作为老牌的互联网研究机构，在数据的沉淀和数据分析上都有得天独厚的优势，在互联网的趋势和行业发展数据分析上面比较权威，艾瑞的互联网分析报告可以说是互联网研究的必读刊物。

－ 友盟指数 －

http://umeng/

友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。

－ 爱奇艺指数 －

http://index.iqiyi/

爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。

－ 猫眼专业版－

http://piaofang.maoyan/

电影票房统计分析平台，猫眼专业版有实时的票房统计，影片的排盘情况、上座率和影院数据，对于当前电影的分析是必不可少的。

网络采集器

网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。

－ 火车采集器 －

http://locoy/

一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据，最常用的就是采集某些网站的文字、图片、数据等在线资源。接口比较齐全，支持的扩展比较好用，懂代码的话，可以使用PHP或C#开发任意功能的扩展。

－ 八爪鱼 －

http://bazhuayu/

简单实用的采集器，功能齐全，操作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。

－ 集搜客 －

http://gooseeker/

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。

网络爬虫

作为极客们最喜欢的数据收集方式，爬虫高度的自由性、自主性都使其成为数据挖掘的必备技能，当然精通python等语言是必要前提。

利用爬虫可以做很多有意思的事情，当然也可以获取一些从其它渠道获取不到的数据资源，更重要的是帮你打开寻找和搜集数据的思路。

－ 利用爬虫爬取网络图片 －

爬取的图像素材

你看到某个网站上的图片恰好是你需要的，但是量大单个下载太麻烦，那么利用爬虫你可以快速地进行抓取，并可以根据标签、特征、颜色等信息进行分类储存。从此不缺设计素材，不缺美女图片，连斗图都多了几分自信。

－ 利用爬虫爬取高质量资源 －

爬取的音乐资源

我们总是想快速地去搜集高质量的网络资源，但是人工查找比对实在太麻烦，利用爬虫你就可以轻松解决。比如爬取知乎点zan最多的文章列表，爬取网易云音乐评论最多的音乐，爬取豆瓣网高评分的电影或图书……总之，你可以从此拒绝平庸。

－ 利用爬虫获取舆情数据 －

爬取的某招聘网站职位信息

比如你可以批量爬取社交平台的数据资源，可以爬取网站的交易数据，爬取招聘网站的职位信息等，可以用于个性化的分析研究。

总之，爬虫是非常强大的，甚至有人说天下没有不能爬的网站，因而爬取数据也成为了很多极客的乐趣。开发出高效的爬虫工具可以帮助我们节省很多时间，可以完全按照自己的需求来订制，想想这个世界就太美好。

小工具

－ Web Plot Digitizer －

http://arohatgi.info/WebPlotDigitizer/app/

比如我们在查看期刊文献的时候看到一张成型的图表，但其本身数据是缺失的，你想获得这个图表的相关数据怎么办？有了这个小工具就非常easy了。直接上传我们需要获得数据的图表，如下：

然后我们就会获得如下的数据反馈，感觉运筹帷幄有木有，对于一些不需要十分精确的分析研究足够使用。

当然并不推荐用这个作为量化分析的依赖，对于定性的分析，做ppt级的数据统计分析就足够了。

－ you-get －

https://you-get.org/

这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。

下载优酷视频

批量下载图片

当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。

数据导航

收集数据是一种能力，学习收集数据也是一种能力，数据的来源是没有穷尽的，转换一种思维，你就可以获得不一样的数据，下面推荐几个可以用到的大数据导航，从这里面你可能会发现一些你自己想要的东西。每个人喜欢的收集数据的渠道不尽相同，只有尽量多地去见识和实践才会发现更多的适合自己的数据获取方式。

－ 199IT大数据导航 －

http://hao.199it/

－ 数据分析网导航 －

http://afenxi/hao

－ 大数据人导航 －

http://hao.bigdata.ren/

在互联网高度发达的今天，数据资源异常的丰富和庞大，如何高效地获取数据成为一种重要的能力，毕竟获取数据是一切用数据说话的前提。当然往往只需要熟练掌握一两种方法，便足够大多数人应付大多数场景和需求，所以选择合适的数据获取渠道还需要亲自探究。

利用大数据分析了淘宝网1288家河蟹销售店铺，4000件商品。

1.一个月以来总共有近70万人在淘宝网买了大闸蟹，其中59.7万人买了阳澄湖这个牌子。淘宝网平均一单大闸蟹在10只左右，平均在2.5斤，60万单就是150万斤，即一个月阳澄湖牌大闸蟹淘宝网销750吨，而阳澄湖今年产量不到1500吨。我们在京东也进行了数据统计，如果将京东和淘宝上阳澄湖大闸蟹销量相加，惊奇的发现，月销量远远超过了1500吨，一个月哦，还不算其他时间。可见冒牌阳澄湖蟹是 必须的了，不知有多少人买了冒牌呢？

2.整个行业竞争很大，大到必须靠欺骗和不诚信来忽悠消费者，2两的母蟹当3两的卖，3两的公蟹喊4两卖，螃蟹重量不足称。如果足称，收购价就已经高于卖价了，利润已经是负的了，如果加上运费和包装等成本，这些店铺岂不是要大出血。所以必须在称上做文章。称只要差一点，利润就可以搞出很多。根据我们统计的大闸蟹从养殖户到一级批发市场的离岸价格，3两和4两规格的公蟹中间要差20到55元一斤，2两母蟹和3两规格的母蟹中间差50到80元一斤(不同时间价格有波动)。所以拿小一两的螃蟹当大一两的卖 利润就可以立马高很多。这个行业可见一斤黑了，毕竟竞争如此大。下面给大家分享一张 大闸蟹各大小规格的 离岸价(即从水里捞上来的最初价格，后面一级一级批发商在此基础上加价)

图 大闸蟹每一天从蟹农收购价

3.1288家店铺中，月销量超过1万件的 只有11家，且都是天猫店铺，11家店几乎吃掉了一半的市场，而且这些天猫店铺是缺斤少两最严重的。寡头经济中，也要耗费各种成本，比如淘宝直通车，广告等等，花钱买流量才能把销量搞上去。小卖家没有流量就只能喝点残羹剩饭

以上只是粗略的一个分析，后面我们会详细分析 各店铺的利润区间，以及顾客的评论，做一个深度行业挖掘。

我们消费者虽然不容易知道大闸蟹行业背后的坑和猫腻，但是维护市场和谐，拒绝忽悠，拒绝欺骗，营造一个正能量是市场，我们坚决向那些 销售假冒阳澄湖蟹，重量不够足的商家说不，宁愿不吃也不要买他们的东西。