python做大数据

大数据是目前互联网流行的技术语言，处理大数据的编程语言比较有优势的也很多，比如java、python、go、R语言、Hadoop等等，按道理来说每种编程语言都可以处理大数据，只是处理的规模不一样而且，但是现在比较受欢迎的数据处理编程语言是java与python。

说到java编程，java工程师一直都是同行的高薪岗位，而python是从最初的2016人工智能开始爆发，从而在短短两年之内能赶超java。随着python的发展，最大赢家无疑是python。未来大数据是对于一家企业有多重要，通过对数据的分析，可以了解市场需求、发展方向，对公司未来的定位，把数量庞大、不规整的数据信息进行梳理，总结出可供查询的特征。

自从python热度赶超java之后，python在大数据方面的优势逐渐被人们认识，但是java作为20多年成熟的编程语言，在大数据处理方面已存在已久，依然是程序员开发比较喜爱的编程。

java在大数据处理方面还是比较倾向软件应用与网站数据，包括游戏数据处理，特别是金融服务数据处理，一直都是java的强项；python有着众多免费科学算法库，优势在人工智能大数据处理，当然也有使用Python在银行的基础架构中处理财务数据。可以说java与python在大数据处理各有优势。

不是每个人都拥有一台超级计算机，那么如何利用一台普通计算机处理大数据？当数据大小超过你计算机的内存，这时不能一次性把大数据写入内存里，否则会产生内存溢出。大多数机器学习算法都是基于内存，即原始数据以及过程数据都保存在内存，这给普通计算机处理大数据造成困难。通过本文的学习，你将学会如何利用普通计算机处理大数据。本文主要讨论如何用Python生成器处理大数据。

普通计算机处理大数据思想是：将大数据分为几批，依次处理每一批数据，最后综合各个批次的处理结果。有关Python生成器的概念请参考我的文章《如何理解Python中的生成器？》。生成器的特点是依次不重复地生成数据，符合大数据处理思想，因此利用Python生成器处理大数据是一种很自然的想法。

利用生成器，在普通计算机里也可以进行深度学习，比如要训练一个深度神经网络，可以采取批次训练方法，对每一个批次，利用生成器从硬盘里提取一个批次的数据，并不需要把所有数据加载到内存里，对于训练过程以及结果，相应地也可以采取批次方法将结果保存到硬盘里，唯一要做的是重写代码。

本文提供一个简单案例，统计自然常数e的41万位小数点的数字0-9出现的次数，展示Python生成器，在不需要将数据写入内存的情况下，如何批次处理大数据。处理思想就是把41万位小数点依次划分为41批次，每个批次的长度10000位，统计每个批次的数字0-9出现的次数，然后汇总统计所有批次的次数。（读者可以尝试用1000万位小数点在一个内存为1G的普通计算机里处理，比较一下普通方法（参考文章《机器学习实战：用Python分析自然常数e的小数点数字出现规律》）和本文方法的效果）

1.数据

原始数据共4100行数据，每行有100位小数点，共41万位小数点，其中第1列数据为标注，需要去掉。数据文件名为e.txt，保存在Python项目目录下。

2.构造生成器

构造一个生成器gen，用于每次从原始文件e.txt中读取一行数据。目前该生成器并没有真正读取文件，是一个机器，没启动它之前（使用内置方法next()启动它），在Python中只是一个符号，占用内存微不足道。另外优点是，该生成器并没有打开文件对象。

3.定义批处理函数

利用生成器gen一次性从原始文件读取bat_number行数据（一个批次），然后将bat_number行数据转化为列表e，接着是数据预处理，比如去掉符号“\n”和空格，最后将处理后的数据转化为Pandas的序列数据结构。即通过批处理函数batch()，能一批次从原始文件读取bat_number行数据，并最终转化为Pandas的序列数据。值得注意的是，由于生成器的特点，运行批处理函数batch()两次，就得到两批次的数据，而且第2批次的数据是接着第1批次的数据依次产生，因此不重复。

4.定义统计函数

利用批处理函数batch()获取一个批次的数据，并统计数字的出现次数，然后遍历所有批次，得到数字出现次数的列表。

5.运行结果及可视化展示

作为例子，运行主程序，汇总统计数字“9”的出现次数，并绘制每个批次出现次数的曲线图。代码如下：

可视化：

运行结果如下：

6.总结

本文展示了如何利用Python生成器处理大数据的全过程。所使用的方法是通用的，可以应用于机器学习、深度学习等领域。即使你没有超级计算机，也没有分布式大数据处理系统，只要你选择合适的算法、合适的数据结构和合适的工具（Python生成器），你只有一台普通计算机也可以处理大数据。

（作者：百家号/AiMath）

Python 诞生之初就被誉为最容易上手的编程语言。进入火热的 AI 人工智能时代后，它也逐渐取代 Java，成为编程界的头牌语言。更有码农圈金句：「学完 Python，可以上天」佐证其火热程度！之前有人说过R语言和JAVA语言是最适合做数据分析的计算机编程语言之一。其实，小编想说Python也是最受欢迎的大数据分析编程语言，而且Python大数据开发可以做的更好。

为什么说Python大数据开发可以做的更好，下面就来为大家分析一下。

首先，Python语言它很容易上手。它融合了R语言快速成熟的数据挖掘能力之外，还有更实际的产品构建能力。Python语言也正在迅速地获得主流人士的拥护。只要你用过Python语言，你会发现它是更直观，并且相比R语言更容易学习。它在计算机语言中的整体趋势也是上升的很快。使其在统计分析上的能力超越了之前的R语言。

Python是行业人员正在转换发展的方向。 过去两年里，很明显存在由R 向Python 转化的趋势”在数据处理中，通常存在规模和技巧的权衡，Python语言作为一个折中出现了。

从对数据分析工作的处理上看，IPython notebook 和NumPy 可以用于轻量工作的处理， 而 Python 则是中级规模数据处理的有力工具。丰富的数据交流社区也是 Python 的优势，它提供了大量的Python 工具包和特性。

据悉美国银行也是利用Python语言开发了新的产品以及基础设施接口。而且也用于处理金融数据。

在图灵世界里，Python被赋予的形象是蟒蛇，而蟒蛇不仅仅是灵活的象征，更有一招制敌的大杀器。在现阶段的数据体系内，只要你有所了解的话，想必你会有个感觉：怎么处处都有Python的踪影！其实每一种的计算机编程语言，似乎都有自己成名或适用的领域。比如Java更多用于系统开发，Matlab则用于数值计算及矩阵运算，而Python的自身基因，让其更符合数据领域的策略分析。

因为Python 在数据领域的独特地位，随着互联网的发展其越来越宽广灵活，所以越来越多的人蜂拥而至去学习Python语言。所有说，Python开发更适合做数据分析是没问题的。

Python 诞生之初就被誉为最容易上手的编程语言。进入火热的 AI 人工智能时代后，它也逐渐取代 Java，成为编程界的头牌语言。更有码农圈金句：「学完 Python，可以上天」佐证其火热程度！之前有人说过R语言和JAVA语言是最适合做数据分析的计算机编程语言之一。其实，小编想说Python也是最受欢迎的大数据分析编程语言，而且Python大数据开发可以做的更好。

为什么说Python大数据开发可以做的更好，下面就来为大家分析一下。

首先，Python语言它很容易上手。它融合了R语言快速成熟的数据挖掘能力之外，还有更实际的产品构建能力。Python语言也正在迅速地获得主流人士的拥护。只要你用过Python语言，你会发现它是更直观，并且相比R语言更容易学习。它在计算机语言中的整体趋势也是上升的很快。使其在统计分析上的能力超越了之前的R语言。

Python是行业人员正在转换发展的方向。 过去两年里，很明显存在由R 向Python 转化的趋势”在数据处理中，通常存在规模和技巧的权衡，Python语言作为一个折中出现了。

从对数据分析工作的处理上看，IPython notebook 和NumPy 可以用于轻量工作的处理， 而 Python 则是中级规模数据处理的有力工具。丰富的数据交流社区也是 Python 的优势，它提供了大量的Python 工具包和特性。

据悉美国银行也是利用Python语言开发了新的产品以及基础设施接口。而且也用于处理金融数据。

在图灵世界里，Python被赋予的形象是蟒蛇，而蟒蛇不仅仅是灵活的象征，更有一招制敌的大杀器。在现阶段的数据体系内，只要你有所了解的话，想必你会有个感觉：怎么处处都有Python的踪影！其实每一种的计算机编程语言，似乎都有自己成名或适用的领域。比如Java更多用于系统开发，Matlab则用于数值计算及矩阵运算，而Python的自身基因，让其更符合数据领域的策略分析。

因为Python 在数据领域的独特地位，随着互联网的发展其越来越宽广灵活，所以越来越多的人蜂拥而至去学习Python语言。所有说，Python开发更适合做数据分析是没问题的。