智能栗子 编译自 McKinsey & Company

量子位 报道 | 公众号 QbitAI

AI的价值并不在模型自身，而在于公司怎样用好它们。

麦肯锡出品，一份深度学习领域的分析报告，包含400个应用案例，横跨19个行业的9种业务功能。报告重点强调了前沿AI技术的应用范围之广，以及经济潜力之盛，也提到了发展中的一些局限和挑战。

还有，需要注意的是，就算AI技术的前景再光明，使用数据之前都要把数据安全、隐私以及可能出现的偏见问题考虑周全。

报告共分四大章节，那我们开始吧。

AI技术与对应的任务类型

随着AI技术的发展，其定义也跟着发生变化——AI到底由哪些技术构成。这里，AI代指使用人工神经网络的深度学习技术。

具体来说，报告分析了三类神经网络的应用和价值——

· 前馈神经网络 (FFNN)

这是神经网络中最简单的一类。在FFNN的结构里，信息的流动是单向的、无环的，从输入层开始，延伸到隐藏层，最后到输出层。

第一个单神经元网络，是Frank Rosenblatt在1958年提出的。虽然，方法听来有些老旧，但计算能力、训练算法以及可用数据的演变，都让FFNN随着时间的推移变得更强大。

· 循环神经网络 (RNN)

神经元之间的连接是有环的，适合处理序列化输入。

2016年11月，牛津大学发表的研究成果中提到，有一种RNN读唇的准确率达到95%，远超人类的52%。

· 卷积神经网络 (CNN)

层与层之间的连接方式受到了动物视觉皮层结构的启发，那是动物大脑处理图像的地方，适合执行感知任务。

另外，本章节探讨了生成对抗网络 (GAN) 以及强化学习。不过，这两种技术并没有包含在AI的价值评估里面，因为，它们很年轻，还没有成为广泛应用的技术。

这一环节，也探讨了其他机器学习技术，以及传统数据分析方法。

应用案例分析

在19个行业、9种业务功能的400个案例中，可以看到的事情有很多——

深度神经网络在哪些领域能够产生最大的价值；与传统数据分析相比，神经网络能够带来多少营收增长；以及达到相应的目标，对数据的数量 (volume) 、速度 (velocity) 以及多样性 (variety) 有怎样的需求。

报告使用的案例库虽然庞大，但也并非应有尽有，依然可能夸大或低估AI在某些领域的潜力。

以下是一些应用栗子，可以一窥AI的力量。

· 预测性维护 (predictive maintenance)

机器学习拥有检测异常的能力。深度学习用来分析大量高维数据，可以把现有预防性维护系统的性能提升到一个新的高度。把许多传感器的数据层层叠起，神经网络能够增强或者取代许多传统方法。

AI可以预测故障，让干预计划有了用武之地，从而减少停机时间和运营成本，提高产量。

比如，AI可以通过整合飞机模型数据、维护历史记录、IoT传感器数据 (如用于故障检测的发动机数据) ，来延长货机的寿命。

· AI驱动的物流优化

AI可以通过实时预测和行为指导来降低物流成本。算法能够优化配送路径，从而提高能源利用效率，减少配送时间。

欧洲一间货运公司，利用传感器监测货车性能和驾驶员行为，司机会收到实时指导，何时加速或减速，优化油耗并减少维护开销。由此，燃料成本降低了15%。

· 客服管理和个性化服务

在呼叫中心，语音识别和来电分流，可以提升服务效率，并为用户提供更加流畅的体验。

比如，基于深度学习的音频分析系统，可以估计当前用户的情绪状态，并据此判断要不要切换到人工服务。

在销售和营销的其他方面，AI也有所作为。将用户个人信息和过往交易数据与社交媒体监测相结合，便可以生成个性化产品推送。

在案例库69%的应用案例中，深度神经网络都是用于替代传统分析方法，提升系统表现。有16%的案例，神经网络的任务是传统方法无法完成的专属任务，这些领域称为green field。余下15%的案例中，神经网络带来的性能提升非常有限，原因包括数据方面的局限性等等。

毕竟，深度学习对数据的需求，远远大于任何传统分析方法。而如果要完全激发AI的潜力，则需要多种多样的数据，包括图像、视频、音频等。

估计AI的潜在价值

据估计，报告探讨过的所有AI技术加在一起，可能在19个行业的9种职能中，产生每年3.5-5.8万亿美元的价值。这在所有 (包括传统和AI) 数据分析技术一年产生的价值中，约占40%。

报告中估计，在每个行业的2016年营业额中，AI的平均贡献约在1-9%。但在19个行业之间，AI贡献的营业额百分比差异较大，取决于具体应用案例、获取大量复杂数据的能力，以及规章制度等其他限制。

案例分析得到的结果是，AI能够产生最大价值的领域，既有顶线导向 (top-line-oriented) 的功能，比如营销和销售，也有底线导向 (bottom-line-oriented) 的功能，如供应链管理和生产制造。

在零售和高科技等消费行业，AI可能在营销和销售中拥有更大的潜力，因为商家与用户之间频繁的、数字化的互动会为AI技术提供庞大的数据集。电子商务平台将会尤其受益，点击数据与页面停留时间等用户信息都可以轻松获取，并用于生成实时动态的产品推送。

以下又是一些栗子。

· 在零售领域，定价和促销可以成为AI的天地。案例表示，使以用户数据来定制个性化促销活动，可以将实体零售商促销的增量销售额提升1-2%。

· 在消费品的供应链中，AI部署也能起到重要的作用。基于潜在因果驱动因素 (而非先前结果) 的预测，可以将预测准确度提升10-20%，从而带来2-3%的营业额增长。

· 在银行业，特别是零售业务中，AI依然可以在营销和销售中施展才能。另外，鉴于风险评估和管理的重要性，AI在这一方面的产生价值可能会更大。

挑战在哪里

AI正在吸引越来越多的企业投资，但到目前为止，拥有AI技术的公司里，只有约20%将自己的技术应用于核心业务或者大规模使用。

如今，AI技术的应用还面临着许多挑战——

· 标注训练数据

这在监督学习中必不可少。目前大多是手动标注，但新的技术正在涌现，比如强化学习和in-stream supervision，数据可以在自然使用过程中获得标注。

· 大量全面的数据获取

对许多行业案例来说，获取大量数据非常困难，比如用于预测治疗方案效果的临床数据。

· 解释输出结果

比如，疾病诊断过程中，AI可以利用患者信息来得出诊断结论，但无法解释这一结论是如何一步步取得的。

· 学习的普遍性

AI模型在将学习经验从一类情况向另外一类情况迁移时，经常遇到困难。这意味着，企业需要投入大量资金训练新模型，即便情况与之前的用例相似也很难避免。

这可能牵扯到一些社会性的问题。比如，训练数据无法代表一个更大的群体时，人脸识别模型便可能在无意之间产生偏见。

或许，AI是一个难以琢磨的商业案例，许多因素都会减缓深度学习的行业落地。

最后一个小节，便是从许多案例的研究中得出的，AI技术提供者、应用者，以及政策制定者可能需要的启发。详情请前往报告正文。

报告传送门 (PDF请至页内自寻) ：

https://mckinsey/global-themes/artificial-intelligence/notes-from-the-ai-frontier-applications-and-value-of-deep-learning

— 完 —

大数据文摘作品

编译：糖竹子、吴双、钱天培

自然语言处理（NLP）是一种艺术与科学的结合，旨在从文本数据中提取信息。在它的帮助下，我们从文本中提炼出适用于计算机算法的信息。从自动翻译、文本分类到情绪分析，自然语言处理成为所有数据科学家的必备技能之一。

在这篇文章中，你将学习到最常见的10个NLP任务，以及相关资源和代码。

为什么要写这篇文章？

对于处理NLP问题，我也研究了一段时日。这期间我需要翻阅大量资料，通过研究报告，博客和同类NLP问题的赛事内容学习该领域的最新发展成果，并应对NLP处理时遇到的各类状况。

因此，我决定将这些资源集中起来，打造一个对NLP常见任务提供最新相关资源的一站式解决方案。下方是文章中提到的任务列表及相关资源。那就一起开始吧。

目录:

1. 词干提取2. 词形还原3. 词向量化4. 词性标注5. 命名实体消岐6. 命名实体识别7. 情感分析8. 文本语义相似分析9. 语种辨识10. 文本总结

1. 词干提取

什么是词干提取？词干提取是将词语去除变化或衍生形式，转换为词干或原型形式的过程。词干提取的目标是将相关词语还原为同样的词干，哪怕词干并非词典的词目。例如，英文中:

1.beautiful和beautifully的词干同为beauti2.Good,better和best 的词干分别为good,better和best。

相关论文：Martin Porter的波特词干算法原文

相关算法：在Python上可以使用Porter2词干算法(https://tartarus.org/martin/PorterStemmer/def.txt)

程序实现：这里给出了在python的stemming库中使用(https://bitbucket.org/mchaput/stemming/src/5c242aa592a6d4f0e9a0b2e1afdca4fd757b8e8a/stemming/porter2.py?at=default&fileviewer=file-view-default)

Porter2算法做词干提取的代码：

#!pip install stemmingfrom stemming.porter2 import stemstem("casually")

2. 词形还原

什么是词形还原？ 词形还原是将一组词语还原为词源或词典的词目形式的过程。还原过程考虑到了POS问题，即词语在句中的语义，词语对相邻语句的语义等。例如，英语中：

1.beautiful和beautifully被分别还原为beautiful和beautifully。2.good, better和best被分别还原为good, good和good

相关论文1: 这篇文章详细讨论了词形还原的不同方法。想要了解传统词形还原的工作原理必读。(http://ijrat.org/downloads/icatest2015/ICATEST-2015127.pdf)

相关论文2: 这篇论文非常出色，讨论了运用深度学习对变化丰富的语种做词形还原时会遇到的问题。(https://academic.oup/dsh/article-abstract/doi/10.1093/llc/fqw034/2669790/Lemmatization-for-variation-rich-languages-using)

数据集: 这里是Treebank-3数据集的链接，你可以使用它创建一个自己的词形还原工具。(https://catalog.ldc.upenn.edu/ldc99t42)

程序实现：下面给出了在spacy上的英语词形还原代码

#!pip install spacy#python -m spacy download enimport spacynlp=spacy.load("en")doc="good better best"for token in nlp(doc): print(token,token.lemma_)

3. 词向量化

什么是词向量化？词向量化是用一组实数构成的向量代表自然语言的叫法。这种技术非常实用，因为电脑无法处理自然语言。词向量化可以捕捉到自然语言和实数间的本质关系。通过词向量化，一个词语或者一段短语可以用一个定维的向量表示，例如向量的长度可以为100。

例如：“Man”这个词语可以用一个五维向量表示。

这里的每个数字代表了词语在某个特定方向上的量级。

相关博文：这篇文章详细解释了词向量化。

(https://analyticsvidhya/blog/2017/06/word-embeddings-count-word2veec/)

相关论文：这篇论文解释了词向量化的细节。深入理解词向量化必读。

(https://analyticsvidhya/blog/2017/10/essential-nlp-guide-data-scientists-top-10-nlp-tasks/)

相关工具：这是个基于浏览器的词向量可视化工具。

(https://ronxin.github.io/wevi/)

预训练词向量：这里有一份facebook的预训练词向量列表，包含294种语言。

(https://github/facebookresearch/fastText/blob/master/pretrained-vectors.md)

这里可以下载google news的预训练词向量。

(https://drive.google/file/d/0B7XkCwpI5KDYNlNUTTlSS21pQmM/edit)

#!pip install gensimfromgensim.models.keyedvectors import KeyedVectorsword_vectors=KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin',binary=True)word_vectors['human']

程序实现：这段代码可以用gensim训练你自己的词向量

sentence=[['first','sentence'],['second','sentence']]model = gensim.models.Word2Vec(sentence, min_count=1,size=300,workers=4)

4. 词性标注

什么事词性标注？简单来说，词性标注是对句子中的词语标注为名字、动词、形容词、副词等的过程。例如，对句子“Ashok killed the snake with a stick”，词性标注会识别：

Ashok 代词killed 动词the 限定词snake 名词with 连词a 限定词stick 名词. 标点

论文1：

choi aptly的这篇《The Last Gist to theState-of-the-Art 》介绍了一种叫动态特征归纳的新方法。这是目前词性标注最先进的方法。(https://aclweb.org/anthology/N16-1031.pdf)

论文2：这篇文章介绍了通过隐马尔科夫模型做无监督词性标注学习的方法。(https://transacl.org/ojs/index.php/tacl/article/viewFile/837/192)

程序实现：这段代码可以在spacy上做词性标注

#!pip install spacy#!python -m spacy download en nlp=spacy.load('en')sentence="Ashok killed the snake with a stick"for token in nlp(sentence): print(token,token.pos_)

5. 命名实体消歧

什么是命名实体消岐？命名实体消岐是对句子中的提到的实体识别的过程。例如，对句子“Apple earned a revenue of 200 Billion USD in 2016”，命名实体消岐会推断出句子中的Apple是苹果公司而不是指一种水果。一般来说，命名实体要求有一个实体知识库，能够将句子中提到的实体和知识库联系起来。

论文1：Huang的这篇论文运用了基于深度神经网络和知识库的深层语义关联模型，在命名实体消岐上达到了领先水平。

(https://arxiv.org/pdf/1504.07678.pdf)

论文2：Ganea and Hofmann的这篇文章运用了局部神经关注模型和词向量化，没有人为设置特征。(https://arxiv.org/pdf/1704.04920.pdf)

6. 命名实体识别

体识别是识别一个句子中有特定意义的实体并将其区分为人名，机构名，日期，地名，时间等类别的任务。例如，一个NER会将一个这样的句子：

“Ram of Apple Inc. travelled to Sydney on 5th October 2017”

返回如下的结果：

Ram ofApple ORGInc. ORGtravelledtoSydney GPEon5th DATEOctober DATE2017 DATE

这里，ORG代表机构组织名，GPE代表地名。

然而，当NER被用在不同于该NER被训练的数据领域时，即使是最先进的NER也往往表现不佳。

论文：这篇优秀的论文使用双向LSTM（长短期记忆网络）神经网络结合监督学习和非监督学习方法，在4种语言领域实现了命名实体识别的最新成果。(https://arxiv.org/pdf/1603.01360.pdf)

程序实现：以下是如何使用spacy执行命名实体识别。

import spacynlp=spacy.load('en')sentence="Ram of Apple Inc. travelled to Sydney on 5th October 2017"for token in nlp(sentence): print(token, token.ent_type_)

7. 情感分析

什么是情感分析？情感分析是一种广泛的主观分析，它使用自然语言处理技术来识别客户评论的语义情感，语句表达的情绪正负面以及通过语音分析或书面文字判断其表达的情感等等。例如：

“我不喜欢巧克力冰淇淋”—是对该冰淇淋的负面评价。

“我并不讨厌巧克力冰激凌”—可以被认为是一种中性的评价。

从使用LSTMs和Word嵌入来计算一个句子中的正负词数开始，有很多方法都可以用来进行情感分析。

博文1：本文重点对电影推文进行情感分析(https://analyticsvidhya/blog/2016/02/step-step-guide-building-sentiment-analysis-model-graphlab/)

博文2：本文重点对印度金奈洪水期间的推文进行情感分析。(https://analyticsvidhya/blog/2017/01/sentiment-analysis-of-twitter-posts-on-chennai-floods-using-python/)

论文1：本文采用朴素贝叶斯的监督学习方法对IMDB评论进行分类。(https://arxiv.org/pdf/1305.6143.pdf)

论文2：本文利用LDA的无监督学习方法来识别用户生成评论的观点和情感。本文在解决注释评论短缺的问题上表现突出。(http://cs.cmu.edu/~yohanj/research/papers/WSDM11.pdf)

资料库：这是一个很好的包含相关研究论文和各种语言情感分析程序实现的资料库。(https://github/xiamx/awesome-sentiment-analysis)

数据集1：多域情感数据集版本2.0(http://cs.jhu.edu/~mdredze/datasets/sentiment/)

数据集2：Twitter情感分析数据集(http://sananalytics/lab/twitter-sentiment/)

竞赛：一个非常好的比赛，你可以检查你的模型在烂番茄电影评论的情感分析任务中的表现。(https://kaggle/c/sentiment-analysis-on-movie-reviews)

8. 语义文本相似度

什么是语义文本相似度分析？语义文本相似度分析是对两段文本的意义和本质之间的相似度进行分析的过程。注意，相似性与相关性是不同的。

例如：

汽车和公共汽车是相似的，但是汽车和燃料是相关的。

论文1：本文详细介绍了文本相似度测量的不同方法。是一篇可以一站式了解目前所有方法的必读文章。(https://pdfs.semanticscholar.org/5b5c/a878c534aee3882a038ef9e82f46e102131b.pdf)

论文2：本文介绍了用CNN神经网络去比对两个短文本。(http://casa.disi.unitn.it/~moschitt/since2013/2015_SIGIR_Severyn_LearningRankShort.pdf)

论文3：本文利用Tree-LSTMs方法得到了文本的语义相关和语义分类的最新成果。(https://nlp.stanford.edu/pubs/tai-socher-manning-acl2015.pdf)

语言识别

什么是语言识别？语言识别指的是将不同语言的文本区分出来。其利用语言的统计和语法属性来执行此任务。语言识别也可以被认为是文本分类的特殊情况。

博文：在这篇由fastText撰写的博文中介绍了一种新的工具，其可以在1MB的内存使用情况下识别170种语言。(https://fasttext.cc/blog/2017/10/02/blog-post.html)

论文1：本文讨论了285种语言的7种语言识别方法。(http://ep.liu.se/ecp/131/021/ecp17131021.pdf)

论文2：本文描述了如何使用深度神经网络来实现自动语言识别的最新成果。(https://repositorio.uam.es/bitstream/handle/10486/666848/automatic_lopez-moreno_ICASSP_2014_ps.pdf?sequence=1)

10. 文本摘要

什么是文本摘要？文本摘要是通过识别文本的重点并使用这些要点创建摘要来缩短文本的过程。文本摘要的目的是在不改变文本含义的前提下最大限度地缩短文本。

论文1：本文描述了基于神经注意模型的抽象语句梗概方法。(https://arxiv.org/pdf/1509.00685.pdf)

论文2：本文描述了使用序列到序列的RNN在文本摘要中达到的最新结果。(https://arxiv.org/pdf/1602.06023.pdf)

资料库：Google Brain团队的这个资料库拥有使用为文本摘要定制的序列到序列模型的代码。该模型在Gigaword数据集上进行训练。(https://github/tensorflow/models/tree/master/research/textsum)

应用程序：Reddit的autotldr机器人使用文本摘要来梗概从文章到帖子的各种评论。这个功能在Reddit用户中非常有名。(https://reddit/r/autotldr/comments/31b9fm/faq_autotldr_bot/)

程序实现：以下是如何用gensim包快速实现文本摘要。

fromgensim.summarization import summarizesentence="Automatic summarization is the process of shortening a text document with software, in order to create a summary with the major points of the original document. Technologies that can make a coherent summary take into account variables such as length, writing style and syntax.Automatic data summarization is part of machine learning and data mining. The main idea of summarization is to find a subset of data which contains the information of the entire set. Such techniques are widely used in industry today. Search engines are an example; others include summarization of documents, image collections and videos. Document summarization tries to create a representative summary or abstract of the entire document, by finding the most informative sentences, while in image summarization the system finds the most representative and important (i.e. salient) images. For surveillance videos, one might want to extract the important events from the uneventful context.There are two general approaches to automatic summarization: extraction and abstraction. Extractive methods work by selecting a subset of existing words, phrases, or sentences in the original text to form the summary. In contrast, abstractive methods build an internal semantic representation and then use natural language generation techniques to create a summary that is closer to what a human might express. Such a summary might include verbal innovations. Research to date has focused primarily on extractive methods, which are appropriate for image collection summarization and video summarization."summarize(sentence)

结束语

以上就是最常见的NLP任务的入门介绍和资料汇总了，如果你有更多优质的资源，也欢迎在评论区分享哦！

by DunkelMeister, Personalized design for python programming language logo.

2017 年这一年，Python 开发者在全球快速增长，国内小伙伴学习 Python 的热情一路高涨。同时，Python 成为大量开发者推荐的入门编程语言和第二编程语言。2017年5月，Python 在 TIOBE 全球编程语言排行榜上升至第四，目前看来，第四的份额将轻松保持。此外，作为人工智能的主要编程语言，在人工智能风口可能到来的 2018 年以及未来的几年，Python势必继续高歌。

为助力小伙伴们学习 Python，图灵出版了一系列优秀的 Python 图书，目前图灵 Python 图书接近 30 本，2018年，我们还会在几个细分方向上推出几本 Python 图书，全面满足不同层次不同需求的各位朋友。

今天，要跟小伙伴们分享的是 2017 年度图灵最受读者欢迎的 Python 图书 TOP10 。在此之前，先让我们看一下图灵已经出版的 Python 图书清单吧！

先按照从 { 入门—进阶—数据科学 } 的顺序列出书单（书名和书中使用的Python版本号）。这个书单涵盖你可能需要的各种Python开发参考书，全面，不妨分享给小伙伴们！

图灵最受欢迎 Python 图书 TOP10

1. Python编程：从入门到实践

作者：Eric Matthes 　

译者：袁国忠

·Amazon编程入门类榜首图书，国内 Python 入门第一书

·同时使用Python 2.7 和Python 3.5 讲解，全面、详细、深入浅出

·从基本概念到完整项目开发，帮助零基础读者迅速掌握Python编程，开发实际项目

全书分两部分：第一部分介绍用Python编程所必须了解的基本概念，包括matplotlib、NumPy和Pygal等强大的Python库和工具介绍，以及列表、字典、if语句、类、文件与异常、代码测试等内容；第二部分将理论付诸实践，讲解如何开发三个项目，包括简单的Python 2D游戏开发，如何利用数据生成交互式的信息图，以及创建和定制简单的Web应用，并帮读者解决常见编程问题和困惑。

2. Python基础教程（第2版）

作者：Magnus Lie Hetland

译者：司维 曾军崴 谭颖华

审校：钟读杭

·各大网店第二畅销 Python 入门图书

·经典教程全新改版，10个项目引人入胜

全书分为三部分。第一部分讲述Python语法，没有废话，还掺入了一些Python 3.0要注意的细节。第二部分介绍了常用的GUI、框架等应用，点到即止，算是为第三部分做铺垫了，从数目众多的应用中可以了解到Python的强大。第三部分是Project，全书最大的亮点，大家肯定喜欢。

3. 机器学习实战

作者：Peter Harrington

译者：李锐 li鹏 曲亚东 王斌

·最畅销机器学习图书

·介绍并实现机器学习的主流算法

·面向日常任务的高效实战内容

全书通过精心编排的实例，切入日常工作任务，摒弃学术化语言，利用高效的可复用Python代码来阐释如何处理统计数据，进行数据分析及可视化。通过各种实例，读者可从中学会机器学习的核心算法，并能将其运用于一些策略性任务中，如分类、预测、推荐。另外，还可用它们来实现一些更高级的功能，如汇总和简化等。

4. 算法图解

作者：Aditya Bhargava

译者：袁国忠

·简单易懂的算法教程

·400多个示意图，详细介绍算法执行过程，展示不同算法在性能方面的优缺点

·基于Python的代码示例

本书示例丰富，图文并茂，以让人容易理解的方式阐释了算法，旨在帮助程序员在日常项目中更好地发挥算法的能量。书中的前三章将帮助你打下基础，带你学习二分查找、大O表示法、两种基本的数据结构以及递归等。余下的篇幅将主要介绍应用广泛的算法，具体内容包括：面对具体问题时的解决技巧，比如，何时采用贪婪算法或动态规划；散列表的应用；图算法；K最近邻算法。

5. 流畅的Python

作者：Luciano Ramalho

译者：安道 吴珂

·PSF研究员、知名PyCon演讲者心血之作

·Python核心开发人员担纲技术审校

·全面深入，对Python语言关键特性剖析到位

·大量详尽代码示例，并附有主题相关高质量参考文献和视频链接

·兼顾Python 3和Python 2

本书致力于帮助Python开发人员挖掘这门语言及相关程序库的优秀特性，写出简洁、流畅、易读、易维护的代码。特别是深入探讨了针对数据库处理时生成器的具体应用、特性描述符（ORM的关键），以及Python式的对象：协议与接口、抽象基类及多重继承。

6. Python 网络数据采集

作者：Ryan Mitchell

译者：陶俊杰，陈小莉

·原书4.6星好评，一本书搞定数据采集

·涵盖数据抓取、数据挖掘和数据分析

·提供详细代码示例，快速解决实际问题

网络上的数据量越来越大，单靠浏览网页获取信息越来越困难，如何有效地提取并利用信息已成为一个巨大的挑战。

本书采用简洁强大的Python语言，介绍了网络数据采集，并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理：如何用Python从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。

7. 父与子的编程之旅

作者：Warren Sande Carter Sande

译者：苏金国　易郑超

·原版Amazon 最受欢迎的青少年编程图书

·最简单易学的内容组织方式，老少皆宜

·第一版获Jolt大奖

上到8岁，下到88岁，都可以阅读这本书！Python初学者很多，大家不断刷新对内容简易程度的要求，因此将这本最简单易学的入门书推荐给大家，估摸着很多人会喜欢。其实人邮的另一本《趣学Python》（原书名Python for Kids）有不少初学者关注，相信很多人也不愿意错过这本，兴许你更喜欢这本书的风格，毕竟第1版厮杀过Jolt奖！

8. Flask Web开发

作者：Miguel Grinbergs

译者：安道

·从安装与环境设置讲起，一步一步搭建服务器端Web应用

·全流程讲解Web应用开发，给出最佳实践

本书共分三部分，全面介绍如何基于 Python 微框架 Flask 进行 Web 开发。第一部分是Flask简介，介绍使用Flask框架及扩展开发Web程序的必备基础知识。第二部分则给出一个实例，真正带领大家一步步开发完整的博客和社交应用Flasky，从而将前述知识融会贯通，付诸实践。第三部分介绍了发布应用之前必须考虑的事项，如单元测试策略、性能分析技术、Flask程序的部署方式等。

9. Python 数据处理

作者：Jacqueline Kazil，Katharine Jarmul

译者：张亮 ，吕家明

·教你学会轻松处理数据的方法，将数据处理过程自动化！

·全面掌握用Python进行爬虫抓取以及数据清洗与分析的方法，轻松实现高效数据处理！

本书采用基于项目的方法，介绍用Python完成数据获取、数据清洗、数据探索、数据呈现、数据规模化和自动化的过程。主要内容包括：Python基础知识，如何从CSV、Excel、XML、JSON和PDF文件中提取数据，如何获取与存储数据，各种数据清洗与分析技术，数据可视化方法，如何从网站和API中提取数据。

10. Python数据挖掘

作者：Robert Layton

译者：杜春晓

· 全面释放Python的数据分析能力

· 掌握大数据时代核心技术，轻松入门数据挖掘技术并将其应用于实际项目

本书使用简单易学且拥有丰富第三方库和良好社区氛围的Python语言，由浅入深，以真实数据作为研究对象，真刀实枪地向读者介绍Python数据挖掘的实现方法。通过本书，读者将迈入数据挖掘的殿堂，透彻理解数据挖掘基础知识，掌握解决数据挖掘实际问题的最佳实践！

小伙伴们，快来跟其他小伙伴分享下你读过哪本 Python 图书？这本书有何特色值得分享？

很多人问我最近买什么币子，哪些币子有价值，有什么价值，建议你看看全球前20种币子，中国最好的前5种币，看看有什么技术，什么价值们今天为大家推荐中国公有链第一区块链 —— 本体网络

一、币种分类

新一代共有基础链项目&分布式信任协作平台；

二、项目资料

（1）官方网站： https://ont.io/

（2）白皮书： https://ont.io/static/wp/Ontology-technology-white-paper-EN.pdf

（3）技术白皮书：

http://mp.weixin.qq/s/OqqDnyElgcZ2-uCy5M1oJw

（4）生态白皮书：http://mp.weixin.qq/s/GCVHtcxY9OS6EG1Z1oRXrw

三、项目概述

本体网络是新一代分布式信任链网

本体信任网络架构了一个分布式融合的信任体系，将信任的多样性在一体化的协议体系下进行协同，整合分布式多维实体认证体系及各类不同区块链体系与信息系统，纳入多源身份认证和多源信息交换协议，并提供不同分布式应用场景的开放基础模块，实现分布式点对点的信任体系，构建跨链、跨系统、跨行业、跨应用和跨终端的分布式信任基础设施。

在信任缺失的今天本体网路大胆喊出： 识万物、信万物，人人信我、我信人人的口号。

生态应用

本体信任网络在分布式实体与数据信任基础上，提出进一步拓展的生态与应用，将信任的应用扩展到很多的维度，从实体认证到数据交换，从分布式流程到分布式社区，从分布式交易到分布式声誉，结合底层的区块链分布式账本体系，联合各类服务伙伴在不同地域、不同领域提供多样化的信任服务，形成新一代的全球信任网络基础设施的一部分

生态体系

在本体网络的生态体系中 将以

1.体系化、流程化、一体化的信任生态

2.信任源的有效协同

3.分布式应用服务的技术基础

4.数据源的互联互通

5.信任生态体系的基础设施和连接器

6.场景与应用的拓展与协同

为宗旨实现链上信任生态，应用于各级应用场景中。从而实现整个生态的成功构建。

技术架构

本体网络底层提供了完整的分布式账本体系，包括完整的智能合约体系、安全体系。同时，本体网络对底层复杂的技术体系及异构的系统进行了抽象，实现支持兼容各类主要协议、密码标准的分布式实体管理和多维认证协议，并支持对各类异构区块链和传统信息系统的跨链、跨系统交互映射。本体网络还提供了如安全数据存储、异构智能合约、硬件密钥管理、加密数据分析等技术体系。整个网络作为一个应用平台可以支持构建各种应用服务，特别是去中心化应用。在此基础上，本体网络提供了一系列应用框架，包括分布式数据交换协议、分布式流程管理协议等等，通过通用API、SDK以及各种应用功能组件，进一步支持各类上层应用的实现。

核心团队

核心技术

本体网络第一阶段技术点

矩阵式立体网格架构——超融合链网结构

本体网络是全球首个提出分布式链网体系的基础性平台，除了本体网络本身的分布式账本框架可以支持实现不同治理模式下的区块链体系，也可与来自不同业务领域、不同地区的不同链，通过本体网络的各类协议进行协作，形成各类异构区块链和传统信息系统的跨链、跨系统交互映射。

因此，本体网络创新地提出了一个矩阵式立体网格架构——超融合链网结构。在横向领域，可以有一条或多条提供基础性通用服务的公有链，如实体映射，或进行数据交换通用协议支持，以及提供通用性智能合约服务体系的多个公有性服务链。

在此基础上，各个行业、地域和不同的业务场景，可以有自己独有的业务链，以满足不同场景下的准入要求、合规要求、治理要求及共识要求等。这些业务链，又可以使用公有服务链提供的基础性服务，如实体认证、数据交换协议等，也可以通过公有链在一些行业共性流程上进行协作；纵向方面，除了与通用性的公有服务链交互，业务链还会与很多行业或业务性质相关的链之间进行协作。

不同的协作场景会涉及不同的业务链，或者业务链上的不同业务点。因此可以有一些小型的专用公有/联盟业务服务链 ，按照特定的业务规则，协同一条或多条业务链或业务点。

本体身份标识协议DID

本体身份标识协议DID

本体网络的“分布式信任框架”，通过分布式身份标识ONT ID 来连接人、财、物、事，ONT ID具有去中心化、自主管理、隐私保护、安全易用等特点。信任框架通过可验证声明建立分布式信任模型和分布式信任传递体系，同时引入CL签名算法、西格玛协议等密码学技术实现可验证声明的隐私保护。

在本体网络中，提出包括身份标识协议、多维实体认证协议、用户授权协议、分布式数据交换协议等一系列的协议标准。各类协议的实现都兼容了国内外主要的协议标准和体系，如身份标识协议全面兼容W3C的DID方案；数字签名协议同时支持国密标准、RSA、ECDSA等算法；在分布式数据交换体系中，兼容通用授权协议OAuth、UMA等，既使得架构满足开放性和标准性，亦可支持后续更广泛的生态合作与拓展。

对于应用服务提供来说，本体网络做好“最后一公里”的支持，应用开发者无需具备底层的分布式系统开发能力，就可以直接基于本体网络提供分布式服务。本体网络提供一系列应用框架，包括API、SDK以及各种应用功能组件，让各行各业的应用服务提供方开发自己的dAPP，做到dAPP as a Service(DAAS)，让区块链真正好用。

除此以外，本体网络还包括各种先进的功能组件：密码学技术和数据保护组件、数据交易市场、全局事务数据库、混合预言机、可扩展的共识引擎……未来，本体网络还将联合开发者社区、业务合作伙伴，不断丰富功能组件，推动本体生态的技术进步。

四、代币分布

本体代币称之为：ONT，发行总量10亿

分布：

https://gate.io/article/16385（gate.io）

五、项目动态

（1）本体亮相NEO旧金山开发者大会 阐释新一代公有链模型： http://mp.weixin.qq/s/rtH3YEN6T_2jn3Sl60_rxg

（2）本体网络Ontology Zero入选国家工信部区块链开源项目计划

http://mp.weixin.qq/s/GTelBB0QID72HmiPzuIeSg

六、项目分析

（1）通俗的讲什么是本体？

在结构上，公有的链网体系就会有多个区块链，例如以太坊就是单一的区块链，所有的业务都在这个区块链上，本体网络以后会是个多区块公有链体系，不同的业务场景可以运作在不同的子链上面，不同的链和链之间会有不同的组织形式和治理模式。

在业务上，现在很多的区块链体系是数字世界或者智能合约为主，本体网络是要和实际的业务场景相连接，但是连接实际场景会有非常多的体系，比如分布式认证服务，各种各样对人财物事的身份认证服务，数据交换服务，扩展到未来会有分布式社群、分布式声誉评价，好比现在有芝麻信用，未来在分布式体系中你会有各种不同角度的评分方式。如果这种模式真的能建立起来，那么分布式普惠金融服务上的这些信息就能做风控。

作为基础设施，本体会把底层的区块链、分布式账本、链网协议都做好，那上层应用、各种合作伙伴就能快速的构建各种他们的分布式应用。

（2）本体作为底层链与以太坊、EOS等有何区别及优势？

单一链在实际中会碰到很多问题，第一个是性能问题，一条单一链如果所有的业务都在上面运转，比如最近以太坊养猫游戏，以太坊的交易速度就变得很慢很慢，不同的实际世界中的业务场景它对区块链的治理要求是不一样的，可能有些链有特定的准入机制、隐私保护、不同的共识算法，但是这么多的需求在同一条单一公有链上只很难满足的，就不得不建私链，但如果是个链网，就可以有独立的子链，但是协议是通用的。

（3）本体与Neo有何联系和区别？

Neo是个独立的公有链项目，本体也是。项目本身并没有直接联系，但是两者都是onchain的项目，onchain的创始人也是neo的创始人达鸿飞，项目是独立的，但是未来会有合作关系。比如neo比较聚焦在数字资产方面，但是不是实体世界的资产数字化，如果实体世界中的资产要数字化，它就必须与现有的法律体系、身份识别进行连接对应，本体就是这么一座桥梁，使之获得一个入口，可以把很多实体世界中的资产进行数字化之后，在neo上进行发行、流转，neo和本体实际上就是一种战略合作伙伴的关系。

七、目前币价走势目前本体上线交易平台为BCEX（http://bcex.ca）

价格走势图：来自BCEX

此外，gate将于2018年3月8日16:00开通交易（下午4:00）；

火币全球专业站将于新加坡时间3月8日全球首发本体Ontology（ONT）。3月8日14:00开放充值业务。3月9日15:00在创新区开放ONT/BTC和ONT/ETH交易。3月14日14:00开放ONT 提现业务。

参考数据及文章：

哔哔News

白皮书之窗

http://Gate.io

火币

BCEX

我们愿意拿出我们的热忱和精力摸索和探险，我们也对未来充满憧憬，正如大毛哥所言，这世界没有 Easy money，每一分钱都要靠自己的本事去赚取，我们愿意做区块链行业的一名小学生，去追寻去学习。如果你和我们一样，愿意在同龄人玩游戏嬉戏打闹的时候拿出部分精力去学习，那么，你们的差距将从现在开始。

郑重声明：

我们建立的圈子，愿景只有一个：为更多的人普及区块链和数字货币知识，提供价值资料共享，心得体会分享，共同学习和进步。

我们希望能培养每个人良好且自律的学习习惯，我们能为每一个希望了解区块链行业的人尽自己绵薄之力，培养每一个人的学习精神。星球目前定价99元/年，平均每天3毛钱。如果您觉得这笔费用影响到了您的生活，那我不建议您加入。

入圈费用，三天内无条件退还，您只需跟李先生说一声：“我想退费”即可（无需给出任何原因）。希望我们能共同学习和进步，并成为无话不谈的良师益友。

随着大数据时代的到来，数据成为最宝贵的资源，而网络爬虫技术作为外部数据采集的重要手段，已然成为数据分析的标配。介绍了一种高性能、灵活和便捷的基于云平台的爬虫架构设计和实现。从爬虫的整体架构、分布式设计以及各模块的设计等角度进行了详细的阐述。爬虫各模块用Docker封装，Kubernetes做集群的资源调度和管理，在性能优化上采用了MD5去重树算法、DNS优化和异步IO等多种策略组合的形式。实验表明，对比未优化的方案，爬虫在性能上具有较明显的优势。

1 引言

大数据时代，数据是最丰富也是最宝贵的，网络信息量快速增长，面对这样海量的数据，如何快速、精确和低成本地收集到所需数据是目前企业所关注的热点。网络爬虫作为一种重要的数据采集手段，既是各类应用的外部数据来源（如内容聚合类应用：今日头条、百度新闻等），也是搜索引擎的重要组成部分。特别随着数据分析技术逐渐在各类互联网企业的应用，加上网上应用开放API接口的缺乏，作为外部数据主要来源的网络爬虫技术已经逐渐成为数据分析类应用产品的标配。因此不管是在学术界还是工业界,对它的研究和改良从未间断过。

一个好的爬虫设计可以从以下几点来评价：

（1）高性能。高性能是指爬虫系统的伸缩性、爬取速率，高性能是爬虫架构的最重要的评价指标之一，特别是作为搜索引擎核心部分的通用爬虫，采集性能直接关系到其优劣程度。

（2）灵活性。灵活性是指爬虫的策略制定可以灵活改变，爬虫可以根据特定需求进行制定化的采集，如采集页面指定内容、是否渲染页面、是否运行采集等，建立具有个性化的采集任务。

（3）便捷性。便捷性是指在构建制定化采集任务时便捷易用程度，如对于制定化爬虫或者主题爬虫，研究人员是否可以快速构建。

但是现有的爬虫系统大多指针对其中一方面或两方面进行优化，比如一个高性能的通用爬虫，其面对特定的任务时，无法做到制定化策略，缺乏一定的灵活性；很多具备灵活性采集策略的爬虫系统，其在性能优化方面有所欠缺。因此，针对以上3个指标，本文提出了一种基于云平台的分布式网络爬虫架构，寻求构建一个高性能、灵活性和便捷性的网络爬虫系统。

2系统框架设计

2.1整体架构

爬虫系统的整体框架主要包括四大模块：调度模块、采集模块、解析模块、存储模块，如图1所示。爬虫系统接受一个初始配置信息如起始URL，交递给调度模型进行处理，调度模型根据调度策略的设置将调度请求发送给采集模块，采集模块响应请求，通过HTTP下载网页信息，并将网页信息传递給页面解析模块，解析模型调用解析规则对页面进行特定解析，并将数据存入数据库，同时将解析的URL传回调度器。

图1系统整体框架

2.2云平台设计

本系统的云平台底层架构采用Docker容器集群代替虚拟机进行构建。Docker是一个基于轻量级虚拟化技术的容器引擎项目，其采用LXC（新版的基于Libcontainter）基于内核的虚拟化技术隔离进程、资源和网络，相比传统的虚拟机技术具备更高的性能和效率，同时具有轻量化、快速启动等优点。

本系统的分布式架构构建在Kubernetes集群上，Kubernetes是一个管理跨主机容器化应用的系统，实现了包括部署、运维和应用弹性伸缩在内的一系列基础功能。爬虫各模块为一个Pod容器组，集群通过Replication Controller创建、维护和弹性伸缩Pod集，爬虫各模块的通信通过kafka分布式消息队列进行，如图2所示。

图2 Kubernetes分布式框架

3调度模块设计

调度模块主要包括了调度器和调度策略两大组件构成，调度器是调度模块的核心，主要负责URL的调度和去重等工作，调度策略组件主要为调度器提供策略规则，解释URL根据何种方式进行调度和更新，调度策略组件可以根据初始配置进行修改，从而实现不同任务采用不同调度策略。调度模型是爬虫系统性能优化的关键点之一，分布式爬虫任务调度模型核心包括两个部分：URL的分发服务和去重。

3.1爬虫任务调度策略

对于爬虫系统来说，大量重复的链接将给搜索引擎带来巨大的负面影响，不但会照成索引存储的内存负担，同时将大大增加索引检索的时间消耗。因此，去重算法的选择是爬虫性能优化的关键。传统的去重算法包括了散列算法、布隆过滤器及其各种变形，散列算法所需的存储空间大，检索速度慢，但低错判率，可对指定URL进行删除；布隆过滤器所需存储空间小，检索速度快，但具有一定几率的错判，其只能判断冲突不能对指定URL进行删除。

由于本系统在设计之初既要兼顾性能，又要兼顾其灵活性和错判率，去重算法上采用严磊提出的基于MD5去重树算法进行去重。基于MD5去重树是通过将URL进行MD5压缩，然后构建树结构存储MD5值，如图3所示。由于其结合了散列算法和树结构的特征，其即具有普通散列算法的低错判率（16位MD5碰撞概率为1/2^64），又具有树结构的空间占用小，检索速度快等特点，基于MD5去重树在性能和错判率上取得较好的平衡，同时可以满足对指定URL的删除功能。

图3基于MD5去重树算法

3.2分布式分发策略

Google早在1998年就提出了Mater-slave分布式爬虫模型提供URL的分发服务。为了保证抓取服务器间的负载均衡，Ubicrawler提出一种一致性散列的方法来分配任务，抓取服务器负责散列环的一个片段URL下载，当某一台服务器发生异常时，它负责将地址片段上的任务由沿顺时针方向寻找到的第一台服务器处理。一致性散列算法满足了分布式系统中的平衡性、单调性、分散性和负载均衡性。本系统采用MD5去重树做URL索引，因此在做URL服务分发的时候可以直接将去重的MD5的值构建一致性散列值，从而将去重和分发结合起来。

4采集模块设计

采集模块负责抓取网页，是整个系统的基本与关键部分直接影响爬行效果。采集模块分为两个子模块，一个是下载器，一个是下载中间件。下载器主要是发送下载请求，下载中间件是指对访问网页的请求做加工和处理。

4.1下载器

下载器主要通过HTTP与Web服务器进行通信。采用socket方式下载的网络编程模型主要有同步IO、非阻塞IO和异步IO。本系统下载器采用Tornado Web Server开发，支持多线程异步IO，每个线程的IO连接数维持在100个。

对于利用Ajax技术动态生产数据的网页，下载器将请求发给PhantomJS进行渲染，在Phantomjs完成网页JavaScript脚本的解析，DOM树的重构，以及浏览器事件触发的模拟，最后Phantomjs将渲染后的页面返回。

4.2下载中间件

下载中间件是利用钩子技术对下载器进行截获，从而构建新的下载请求，本系统的下载中间件包括了DNS优化器、IP代理模块等。

（1）DNS优化器

由于url中域名的大量重复使用，为了提高DNS解析效率，本系统引入了DNS本地缓存模块，并对DNS本地缓存检索、添加、删除进行优化。本系统为DNS缓存构建了一个域名散列树主表和一个域名—IP映射表，首先通过散列树将域名的散列值压缩成树结构，然后通过散列值指向域名－ip映射单元，冲突域中按照域名的权重值进行排序，可以定期对IP地址做更新。

（2）IP代理模块

IP代理模块主要由3部分组成：IP采集器、IP池管理模块、IP代理池。IP采集器负责采集代理网站上的IP，然后对其进行测试和校验，将可用的IP地址、响应时间和运营商等信息存入IP代理池中。IP池管理模块是IP代理模块的核心，主要负责IP调度和IP校验工作。为了满足高并发的采集需求，本文设计了一种基于域名的IP代理调度模型。首先将IP池中的IP地址按照响应时间、运营商进行排序，然后首位相连构建成一个环形链表，同一域名下的代理调度从环形链表头部开始，逐级循环下去，这样既可以保证优质IP被优先使用，同时也保证了同一域名下代理IP尽可能分散，从而实现了Host控制的功能。IP池管理模块除了负责IP的调度工作，还负责IP的校验更新，IP池管理模块会定时对IP代理池中的IP进行校验，并对响应时间进行更新，将不能使用的IP进行剔除。

5解析模块

解析模块主要负责对主要是内容分析和链接抽取。网页中包含各种各样不同格式的信息，比如文本信息、图片、视频，解析模块就是负责将这些信息进行抽取出来。解析模块有两个子模块：通用解析子模块和规则解析子模块。

5.1通用解析器子模块

此模块是指对一些通用的采集、解析任务进行页面解析，通用解析模块内容包括网页正文、图片、视频等内容进行抽取，从常用的文本格式如PDF、txt中抽取文本信息等。正文抽取技术主要采用了朱泽德等人提出的文本密度模型[]进行抽取，按行计算网页文本密度，根据邻近行的内容连续性运用高斯平滑获取文本密度，最后利用最大子序列分割的方法抽取正文内容。对于视频和图像等文件，一般是通过链接的锚文本和相关的文件注释锁定解析目标位置。

5.2规则解析子模块

此模块负责网页分析和信息抽取，根据解析规则对页面进行解析和抽取。解析规则由用户进行设定，图4(a)是本系统的解析文档示意。解析规则文档主要包括了三大部分：URL-pattern、数据解析、外链解析。URL-pattern主要是提供过滤器的作用，判断哪些URL使用该模板，URL-pattern支持正则表达式进行匹配。通过URL-pattern匹配的页面会被交給数据解析模块，数据解析模块构建DOM树，通过CSS语法或XPATH语法抽取页面内容，根据字段描述信息将解析所得信息存入数据库中，外链解析从页面解析出URL，通过消息队列将URL返回传回调度器，如图4(b)所示。值得注意的是，在设计之初考虑到数据解析的灵活性问题，数据解析子模块不仅可以采用CSS语法或XPATH语法进行解析，同时支持正则表达式解析和特定脚本语言进行解析，如Python、JavaScript。规则解析可视化界如图5所示。

图4规则解析模块

图5规则解析可视化界面

6实验结果

本文以hao123网站作为起始URL，测试该系统爬虫在各方面的性能指标。测试环境为3台CPU24核，内存32 GB的机器，运行环境为centos 6.5，集群共运行6小时。3台机器6小时共采集数据500多万页面，平均采集速率为14 099页/分钟，每台机器的平均采集速率在4 699页/min。

由于整个系统采用了多种优化方案对爬虫的性能进行优化，为了对比各种性能的优化的效果，采用控制变量方法对各指标优化前后做对比，其结果如图7所示。

图7各优化项控制变量下对比结果

从图7可以看出，hash去重树算法相对于普通的hash表去重的方法具有非常大的提升，提升了近30倍，同时相对于Bloomfilter过滤器在性能上并没有受到显著的影响。与未通过DNS优化的爬虫相比，性能上也得到了一定的提升。

7结束语

本文介绍了一种高性能的分布式云平台爬虫框架，底层分布式架构利用Kubernetes实现了基于Docker的跨主机容器集群自动伸缩，并利用集群对资源进行监控和分配。为构建一个高性能的爬虫，本文采用了MD5去重树对URL做去重，同时利用MD5树所得到的散列值构建一致性散列作为URL分发算法实现负载均衡。爬虫的下载器采用异步IO请求，并对DNS缓存进行了优化，针对IP限制网站本文设计了一种基于域名的IP代理调度模型，使IP代理池可以被高效利用。在灵活性方面，爬虫设计了一套通用的解析规则，解决了多种类型页面的解析需求。

参考文献

NEGUS C. Docker containers from start to enterprise (includes content update program): build and deploy with Kubernetes, Flannel, Cockpit and Atomic[J]. Vaccine, 2016(19):S87–S95.

严华云,关佶红. Bloom Filter研究进展[J].电信科学,2010, 26(2):31-36.

YAN H Y, GUAN J H.Survey of Bloom Filter[J]. Telecommunications Science,2010, 26(2):31-36.

吴桦,龚俭,杨望.一种基于双重Counter Bloom Filter的长流识别算法[J].软件学报,2010,21(5):1115-1126.

WU H, GONG J, YANG W.Algorithmbased on double Counter Bloom Filter for large flows identification[J]. Journal of Software, 2010, 21(5):1115-1126.

张进,邬江兴,刘勤让. 4种计数型Bloom Filter的性能分析与比较[J].软件学报, 2010,21(5):1098-1114.

ZHANG J, WU J X, LIU Q R.Performance evaluation and comparison of four Counting Bloom filter schemes[J]. Journal of Software,2010,21(5):1098-1114.

严磊,丁宾,姚志敏,等.基于MD5去重树的网络爬虫的设计与优化[J].计算机应用与软件, 2015(2):325-329,333.

YAN L, DING B, YAO Z M, et al.Design and optimisation of md5 duplicate elimination tree-based network crawler[J]. Computer Application and Software,2015(2):325-329,333.

BRINS, PAGEJ．The anatomy of a large-scale hypertextual web search engine[J].Computer Networks and Isdn Systems,1998,98 (30) : 107-117.

朱泽德,李淼,张健,等.基于文本密度模型的Web正文抽取[J].模式识别与人工智能,2013(7):667-672.

ZHU Z D, LI M, ZHANG J, et al.Web content extraction based on text density model[J].Pattern Recognition and Artificial Intelligence,2013(7):667-672.

当数据分析师在接受面试的时候，很多时候会被问到自己完全没有接触过的问题，虽然大多时候面试完全是靠自己过硬技术和经验来解答。但遇到一些完全没准备的问题后突然有种后悔的感觉，后悔面试前没有好好准备被面试到的问题解答。那我们就来归集下数据分析师面试的时候都会遇到哪些问题那？

当然这里只提一些技术相关问题，并不设有答案。常规问题还是完全靠自己的临场发挥了：

1、如何在没有技术背景的情况下将技术信息传达给某人？并提供示例

2、描述一下曾经参与的项目，看到的信息是什么样的？对分析的影响有哪些？

3、使用过哪些计算机软件和数据库？使用这些软件或数据库的目的是什么？

4、描述下分析结果的形式和分析结果被否后，你是怎么处理这种现象的？（这其实是两个问题）

5、描述下你的分析过程，从哪里开始？

6、你有8个球，一个球重1.2公斤，其他的重1公斤。你只需要进行2次测量。怎么会找到1.2kg的球。

7、假设道路上有A点，从这一点来看，任何汽车在20分钟内通过的概率，是p。然后问你：车在2分钟内通过概率是多少？

8、如果有五个车站可以从一个车站到另一个车站，那么列车可以行驶多少次

1.2 自选动作

根据简历来问，简历上写什么就问什么，会问得比较深入。简历作为敲门砖，撰写也是非常重要的，切不可写的过于夸张和造假，奉劝各位不要作死，毕竟不作死都有可能会死。Python、Stata、R、SPSS、SAS、EViews都算比较常见的数据分析工具。比如简历上写“精通Python”，虽然hr知道简历注水是常态，但既然都“精通”了，那问到pandas，regular expression，DataFrame.iterrows()返回的是Series还是dictionary还是list of tuples，tuple和list的区别的时候好歹都得答出来吧……

2.逻辑思维

主要分为两方面，对业务逻辑的理解能力和行文的逻辑水平。

2.1业务逻辑

虽然一个业务看似流程简单清晰，但产生数据的复杂程度往往超过大多数人的想象。对业务逻辑的考察主要通过相关项目经历。这里小编告诫大家一句，写在简历上的项目经历起码自己要非常熟悉，对答如流。以我家hr为例，每天接触的是700多张表，每张表的字段往往超过200个。这些表和字段往往还有关联。面对这么多业务指标，能否迅速理解它们之间的联系? 面对新的数据需求，能否逻辑清晰地将它拆分成指标、二级指标并进行各种计算? 面对复杂的局部最优化和全局最优化需求，能否“抓大放小”，能否迅速找到关键控制点、关键影响因素并加以优化?思维不敏捷，逻辑不清晰的话，是很难做好这份工作的。

2.2行文逻辑

毕竟最终产出是一份份报告，可能是HTML邮件也能是PDF。文章结构还是很重要的。这里不展开说了，不过关键的几点是先说结论，先写摘要。

3.理论储备

也分为规定动作和可选动作。

3.1 规定动作

主要是基础的统计学理论，如方差、协方差、算数平均数、几何平均数、中位数、众数、分位值、双峰数据、长尾数据、假设检验、期望迭代法则、贝叶斯原理等。

3.2 自选动作

根据简历来问，简历上写什么hr一定会问什么。第三次奉劝各位不要作死，写的检验也好机器学习算法也好好歹自己要知道原理、适用条件、局限性。不然跟你聊起Pearson distance、K-means cluster的随机性问题的时候你接不上来也是很尴尬的。

4.对细节的敏感度

作为数据分析师，每天要关注大量数据指标。对细节的敏感度是非常必要的。这主要分为两方面，对统计口径的敏感度和对数据的敏感度。

4.1 统计口径

统计口径一致是确保数据可比性的基础，这非常考验数据分析师的敏感度和行业经验。比如转化率，是点击算转化还是注册算转化还是购买算转化？配送时间，是从用户下单开始计时还是从订单确认开始计时还是从商品出库开始计时？客单价包不包括配送费、打包费、代金券形式的折扣优惠？

4.2 数据

面试者对数据异常波动、离群值、平均数没有代表意义等情况的迅速识别能力。比如已知然寿司套餐单价1,500，酒水单价300，平均客单价2,500，能不能马上想到这可能是双峰数据或者长尾数据，抑或既双峰又长尾的数据？

5.学习能力

互联网行业瞬息万变，光数据的存储就有Oracle、MySQL、Hadoop、Spark、Hive、Impala、谷哥哥三驾马车等一大堆奇奇怪怪的东西。互联网行业的从业者经常要面对新需求、新工具、新方法。能否迅速掌握新知识，解决新问题面试者必须证明给hr看。主要考察的方式是了解过往项目经历，或者出作业题(比如Sci-Hub)。

6.排版和简单UI设计

数据分析报告必须简洁、清晰、重点突出。主要考察方式是出作业题让面试者限时交一份slides(就是PPT啦)出来。能掌握标准的Microsoft Design Language是大大的加分项。

7.价值观

主要看工作热情、态度、道德水平等等，这方面的问题比较随机。

面试也是一门学历，失败的面试经历未必是坏事，积累面试经验是一种进步，祝各位找工作的数据分析师们的求职成功！

在人工智能时代，数据分析师是个稀缺职位，然而国内这方面人才又极度稀缺。

如果你正在转行找数据分析师的工作，别担心找工作难。现在数据分析刚起步资深人士不多，其他大部分都是转行过去的，基本上都没有太多的经验。

但是，很多人和我反映投递简历后，却石沉大海。这就好像给喜欢的人写了一封情书，对方却没有任何回复。

你说，扎不扎心？

我让这些人把简历发我后，才发行不是技术不行，而是简历根本不过关。

要知道，简历是公司了解求职者的第一个途径，也是求职者获取工作的敲门砖。可是， 有多少人明明很优秀，却败给了一份不合格的简历？

我再帮助很多人修改简历后，收到面试的概率大大提高。

下面我将手把手分享给你关于数据分析简历准备的清单，助你“赢在简历”。

5条总体原则：

1.越长的简历，越容易出错。能一张纸写完绝不用两张。

2.因为你是转行，与数据分析无关的内容、废话全部删掉。

3.发送给HR简历千万不要用Word版本，因为Word版本会在不同电脑上变形，务必使用PDF版本。

4.简历名称不要用“个人简历”或者“我的简历”，设想一下面试官电脑里有几十份“我的简历”的情形，难不难受？用“应聘XX职位-X年工作经验-姓名”就足够了。

5.用什么邮箱并不重要，但不要直接发一份带附件的空白邮件。邮件正文可以简单地描述一下自己的情况，但绝对不要空。

简历用下面5个部分组成就可以了：

项目经验，知识技能，教育背景，工作经历，其他技能

下面详细聊下这5个部分如何去写。

1

个人信息

除非你去应聘国企写上是否党员，否则无关的内容不要去。个人信息只保留这4个字段段就够了：姓名、电话、邮箱、求职意向。

不会有任何一家正经公司，希望在简历里看到饮食口味、三围、罩杯之类的信息。

修改后的简历案例：

2

项目经验

很多转行数据分析的朋友苦恼的是：

猴哥，我是转行，没做过相关的项目啊，根本没有经验，怎么整？

公司看你的项目经验，并不是说你要工作过，而是想通过你做的具体事情来了解你是否有方面的能力。

让别人知道你能力的最好办法不是你说了什么，而是你做了什么。各位老铁，感谢互联网时代吧，你做了什么是可以借助互联网留下痕迹。

所以解决办法很简单，做几个数据分析平台Kaggle上的项目，然后详细写到知乎上，当做你的项目经验。

其实这个办法我在 猴子数据分析社群 和之前的文章《 为什么你应该（从现在开始就）写专栏 》中多次强调过这样做的好处就是，你可以直接将自己在知乎写的该项目的文章地址放到简历里面。

修改后的简历案例：

写项目介绍的时候注意以下3点：

1）项目描述不是说废话，而是用简短的几句话证明你有某方面的能力。

比如通过XXX技术解决了XXX问题，获得了XXX样的效果。

2）适当的给面试你的人挖坑。简历的核心作用是“争取到面试机会”，不要把自己的底牌都放在简历里，适当的挖坑，引导HR问你擅长的问题。比如可以展示项目的成果数据，但是具体是如何做的，等到面试时再详细说。

3）放入项目的文章 超链接地址 ，方便面试你的人打开了解你做的项目详情，也同时证明你确实做了，而不是糊弄他。

这里要特别注意，很多人给我的简历都是简单放了个地址，你想想看简历的人谁有那闲工夫复制你的地址到浏览器中。

最好的做法是， 设置地址为超链接并加下划线 。搞IT的一看是蓝色还有下划线，就默认知道是超链接，鼠标一点击就进入你的项目文章。这就是用户体验的提高。

3

知识技能

列出于数据分析相关的技能，无关的技能统统不要。

凡是列了一大堆精通，里面还有Office的，几乎都会被刷。

一般不要写“精通”这2个字 ，因为这代表着这个技能你是这方面的专家级别的人了。正如凡是写精通Excel的，真正问起来，懂透视表与各种公式的，基本没有。所以，我的经验是写“ 熟悉 ”就可以。

4

教育背景

很多面试官看简历是按学校筛选的，所以好学校得到的面试概率确实比较大。

你也别怪面试官“势力”。假如你是面试官，天天面对那么多简历，肯定不会一个一个看，而好学校从统计概率上来看能力确实更好。所以他会先看学校。

所以，除非你是清华、北大等重点高校毕业的，可以把教育背景写到简历的最上面。否则，就把教育背景放到这部分。

好处是，他可以先看你到你前面的项目经验和知识技能，已经知道你具备了数据分析应有的技能，对你好感大增。而不会一开始就带着“非名校的歧视”看你了。

人都是感性动物，第一印象很重要。这就好比你第一次相亲见面，穿着干净是第一位的。

这让我想起当年毕业找工作的经历。我本科是二本毕业的，研究生是保送的中科院。所以在制作简历时，我采用了1个技巧，只写研究生毕业院校，没有写本科。

这保证了我可以更高概率的进入面试，当他问我本科的学校时，前面我已经给他展示了我的技术能力。这时候他问学校也是走个流程根本不放在心上，因为你的技术能力已经征服了他。

虽然是金子在哪都能发光，但是在发光前你的有机会进入面试环节。

修改后的简历案例：

5

工作经验

现在数据分析刚起步资深人士不多，大部分都是转行过去的，基本上都没有太多的经验。

但是这并不意味着你可以将之前无关的工作经验放到简历里，例如下面这个简历你能发现哪里有问题吗？

虽然你有工作经历，但是你写的工作经历完全与数据分析无关啊。上面的工作经历不仅没有起到任何加分项，还会让面试官认为你就是小白。

这简直是作死的节奏，那该怎么办呢？

虽然小时候妈妈教育我，要做一个诚实的孩子。

但是，我们还是学过一句话：学会说善意的谎言。

所以，你是可以把之前的工作经历包装成跟数据分析有关系的样子，拍电影还用特效呢，写个简历包装下自己也是可以的。

谁还没有个过去呢，只要你写的知识技能是自己现在已经学会的就可以了。

比如上面的社群会员做过质量检验员，但是我让他用社群课程里的统计概率知识重新写成这样，味道里面就不一样了：

你只要按照上面的 5个总原则 ，把简历里面的 5个模块 做好，就会比其他人更容易进入面试环节了。

下面聊聊投简历和面试的几个技巧。

首先，你可以选择海投简历。同时， 找人内推 ，这可以极大的提高你进入面试的概率。

还有，你想去哪个单位就把这个单位的数据爬取出来（大公司一般都有网站）。然后针对这些数据使出你的看家本领吧，分析出来个123，尽显诚意，感动面试官，同时还能展示你的数据分析技能。

进入面试环节后，不要被对方牵着鼻子走，要多说你会的你熟悉的，不会的就说没做过。这是为什么呢？

因为面试的时间相对固定，你说的多了。面试官问的就少了。你暴露的几率也就低了。

记住，面试是个长期的过程，很可能你投递简历很长时间没有人联系你，突然有一天电话就来了。这个过程很难熬，当初我找工作就是这么过来的。每当我想放弃的时候，我就会反复看《当幸福来敲门》。

最近看到很多社群会员找到了自己满意的工作，我特别开心。

【数据猿导读】 日志易是强大、灵活的日志大数据分析工具，既提供云端的SaaS服务，也提供本地部署，企业可以利用它对日志进行集中管理和准实时搜索、分析、可视化和监控告警等

本产品为数据猿推出的“金融科技价值—数据驱动金融商业裂变”大型主题策划活动（查看详情）第一部分的文章/案例/产品征集部分；感谢 日志易 的产品投递

1、产品名称

日志易

2、所属分类

金融科技

3、产品介绍

日志易是强大、灵活的日志大数据分析工具，既提供云端的SaaS服务，也提供本地部署，企业可以利用它对日志进行集中管理和准实时搜索、分析、可视化和监控告警等。日志易基于机器学习算法实现故障自动识别、服务容量规划，帮助企业IT运维团队降低运营成本。

4、应用场景／人群

日志易可用于IT运维监控、安全审计、业务分析等场景，面向金融、运营商、电力、互联网等行业的日志分析解决方案。

5、产品功能

数据采集(Data collect)

从任意应用系统、云服务、服务器、网络设备等采集 TB 级别日志数据。

集中日志，不再需要额外的归档、备份工作。

另有轻量级采集端，提供高级处理和数据集成功能。

搜索和统计(Search and statistics)

日志进入索引文件之后，用户可以像使用搜索引擎一样使用日志易进行日志搜索，查找满足特定条件的日志。

熟练用户，可以使用 SPL（Search Processing Language）进行搜索框编程，达到更灵活、高效的复杂逻辑处理，即搜即得。直达问题本质。

告警与报表(Alarms and reports)

对特定事件、固定阈值、动态基线等多种方式的实时、定时监控告警。

使用电子邮件、微信、电话、远端接口等各种方式发送自定义告警内容。

以 PDF、PNG 等形式发送日报、周报、月报。

数据可视化(Visualization)

通过 SPL 统计，或快捷统计菜单，创建饼图、柱状图、折线图、地图等各种可视化效果，以支持各种用户场景。

将不同纬度的可视化效果汇聚成仪表盘，辅助用户实时查看当前事件变更。

关键 KPI 状态高亮显示，突出异常行为的重要性。

6、产品优势

灵活：可在搜索框里直接使用搜索处理语言SPL编写脚本，满足各类分析需求；

实时：日志从产生到分析结果出现，只有秒级延时；

海量：每天可集中处理TB级日志量；

多数据源：除常见日志源外，还支持文本及二进制格式数据，包括网络抓包数据；

完善的权限管理：自定义用户权限及日志来源，满足多维度权限管理需求。

7、服务客户／使用人数

日志易产品提供部署版软件和SaaS服务，同时面向金融、运营商、能源、互联网等不同行业提供专业的日志分析解决方案。目前已经被中国银行、国家电网、中国移动、中国石油、上汽通用、小米等数百家知名公司采用。

8、市场价值

日志易可帮助企业降低业务流程和应用系统的开发和运维成本，实现准实时处理海量日志，从而达到大数据时代的风险管控需求。可极大提高运维效率，防止内外部的安全威胁，满足企业安全审计等。日志易通过数据可视化通过，可帮助企业建立全方位的用户行为画像，让企业更了解用户，有助于实现精准营销。

9、产品地址

https://rizhiyi/products/

10、所属企业

北京优特捷信息技术有限公司

11、企业介绍

北京优特捷信息技术有限公司（下称日志易）是国内从事IT运维日志、业务日志实时采集、搜索、分析、可视化系统研发的大数据公司，提供企业部署版软件和SaaS服务，及面向金融、运营商、电力、互联网等行业的日志分析解决方案。目前已有上百家中大型客户在使用日志易。

公司拥有核心技术，已获得8项软件著作权，并申请了17项日志搜索分析方面的技术发明专利。

公司荣获2014中国大数据技术大会“全国大数据创新项目”第一名，入选2015大数据生态系统百强（BigData100），2015年度中国软件和信息服务大数据领域最佳产品奖。2016年，日志易荣获“金融行业日志分析优秀解决方案”等多项IT大奖。荣获2017年中国大数据应用最佳实践案例、运营商大数据最佳应用实践等多项大数据奖项。

作为整体活动的第二部分，2017年10月25日，数据猿还将在北京举办千人规模的“2017金融科技价值——数据驱动金融商业裂变”峰会【本次论坛详情丨第一届回顾丨第二届回顾】并将在现场举行文章、案例、产品的颁奖典礼。

学好大数据，需要多读书。为自己建立一份书单，好好学习天天向上。我们根据大数据学习内容的特点，对相关内容进行整理和排序，从基础统计学到基础机器学习，再到内容更深入的专著，从具体的话题讨论，到整个行业的分析。这些书中既有数据科学经典读本，也有最近出版的新书，希望能帮助大家从中找到感兴趣的阅读内容。

1. 《深入理解机器学习：从原理到算法》Understanding Machine Learning: From Theoryto AlgorithmsBy Shai Shalev-Shwartz and Shai Ben-David

本书为剑桥大学机器学习教材。机器学习是计算机科学领域发展最快的分支之一，其应用具有深远的意义。本教科书的目的是有条理地介绍机器学习及为读者提供算法范例。本书介绍了机器学习基础知识，并详细解释了将这些原理转化为实际算法的数学推导理论论述。2.《统计思维：程序员的概率与统计学》

ThinkStats: Probability and Statistics for Programmers

作者：Allen B. Downey

《统计思维》是针对Python程序员编写的概率和统计学专著。本书强调利用简单的技术处理实际数据集（real dataset）、回答一些有趣的问题。书中还介绍了对美国国立卫生研究院的案例分析。作者鼓励读者在实际数据集项目中通过实践来学习。

3. 《统计学习基础：数据挖掘、统计与预测》

The Elements of Statistical Learning

作者：Trevor Hastie, Robert Tibshirani and Jerome Friedman

这本书在普遍概念框架中描述了数据学领域的重要思想。虽然这种方法属于统计学范畴，但本书的重点在于概念而不是数学。这本书的内容涵盖范围广泛，从监督式学习（预测）到无监督式学习。讨论的话题包括神经网络，支持向量机，分类树，其对boosting算法的讨论更是首创。

4. 《数据学基础》

Foundations of Data Science

作者：Avrim Blum, John Hopcroft, and Ravindran Kannan

虽然计算机科学的传统领域仍然非常重要，但越来越多的研究人员将使用计算机来了解和提取应用程序中出现的大量数据的可用信息，而不仅仅是利用计算机解决特定的问题。

5. 《大数据：互联网大规模数据挖掘与分布式处理》

Mining of Massive Datasets

作者：Jure Leskovec, Anand Rajaraman and Jeff Ullman

本书的编写基于斯坦福大学计算机科学课程“CS246: Mining Massive Datasets”。这本书和斯坦福的课程一样，是为没有计算机基础的本科学生设计的。为了支持读者进行更深入的探索，大部分章节最后都补充了深度阅读参考资料。

因为Python拥有像海一样丰富的第三方库，所以Python在数据分析方面能够处理的问题非常之广，从Excel比较擅长的公式计算，数据透视分析，到MATLAB比较擅长的科学计算，再到R语言中那些零散的机器学习库所能做的事情，Python都能优雅从容的面对。而这些工具不擅长的网络爬虫，大数据分析(结合spark)，Python更是能够出色的完成。

今天我们就来说说Python在数据分析方面有哪些优势？

① 相比Excel，Python能够处理更大的数据集;能够更容易实现自动化分析;能够比较容易的建立复杂的机器学习模型;

② 相比spss，spss是个统计软件，只适合在科学研究领域做实验数据的分析，并不适合做偏向实际应用场景的数据的分析;而Python能够处理复杂的数据逻辑，适合这些场景;

③ 相比R语言，Python的机器学习库只有一个—sklearn，所有的机器学习方法都集中在这一个库中，而R语言，我不清楚它到底有多少个用来做机器学习的库，R语言中的机器学习方法是如此的分散，以至于很难掌握。而且Python的使用人数在不断上升，有一些曾经只使用R的人在转向Python，我自己开始学的也是R，最后也学了Python。投入到一个呈现上升趋势的技术中，未来才会更加宽广。

④ 相比上述的几个工具，Python在做机器学习，网络爬虫，大数据分析时更加的得心应手。

小编这有一份《利用Python进行数据分析》PDF版，免费分享想要的小伙伴可以私信我~