-
?
免费干货分享!Python爬虫源代码-pycharm激活码-几十套小程序源码
莫问安
展开
Spider又叫WebCrawler或者Robot,是一个沿着链接漫游Web 文档集合的程序。它一般驻留在服务器上,通过给定的一些URL,利用HTTP等标准协议读取相应文档,然后以文档中包括的所有未访问过的URL作为新的起点,继续进行漫游,直到没有满足条件的新URL为止。WebCrawler的主要功能是自动从Internet上的各Web 站点抓取Web文档并从该Web文档中提取一些信息来描述该Web文档,为搜索引擎站点的数据库服务器追加和更新数据提供原始数据,这些数据包括标题、长度、文件建立时间、HTML文件中的各种链接数目等。
...
作为一种便捷地收集网上信息并从中抽取出可用信息的方式,网络爬虫技术变得越来越有用。使用Python这样的简单编程语言,你可以使用少量编程技能就可以爬取复杂的网站。
《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南,讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外,本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据,以及有关爬取技术的更多真相,比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫,并对一些真实的网站进行了爬取。
。。。
首先从互联网页面中精心选择一部分网页,以这些网页的链接地址作为种子URL,将这些种子URL放入待抓取URL队列中,爬虫从待抓取URL队列依次读取,并将URL通过DNS解析,把链接地址转换为网站服务器对应的IP地址。
然后将其和网页相对路径名称交给网页下载器,网页下载器负责页面内容的下载。对于下载到本地的网页,一方面将其存储到页面库中,等待建立索引等后续处理;另一方面将下载网页的URL放入已抓取URL队列中,这个队列记载了爬虫系统已经下载过的网页URL,以避免网页的重复抓取。对于刚下载的网页,从中抽取出所包含的所有链接信息,并在已抓取URL队列中检查,如果发现链接还没有被抓取过,则将这个URL放入待抓取URL队列末尾,在之后的抓取调度中会下载这个URL对应的网页。如此这般,形成循环,直到待抓取URL队列为审,这代表着爬虫系统已将能够抓取的网页尽数抓完,此时完成了一轮完整的抓取过程。
Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。
Scrap,是碎片的意思,这个Python的爬虫框架叫Scrapy。
小刮刮是一个为遍历爬行网站、分解获取数据而设计的应用程序框架,它可以应用在广泛领域:数据挖掘、信息处理和或者历史片(历史记录)打包等等
Even though Scrapy was originally designed for screen scraping (more precisely, web scraping), it can also be used to extract data using APIs (such as Amazon Associates Web Services) or as a general purpose web crawler.
尽管小刮刮原本是设计用来屏幕抓取(更精确的说,是网络抓取)的目的,但它也可以用来访问API来提取数据,比如Amazon的AWS或者用来当作通常目的应用的网络蜘蛛
The purpose of this document is to introduce you to the concepts behind Scrapy so you can get an idea of how it works and decide if Scrapy is what you need.
如何开始
当你准备启动一个项目时,可以从这个教程开始
折叠选择网站
选择一个网站
如果你需要从某个网站提取一些信息,但是网站不提供API或者其他可编程的访问机制,那么小刮刮可以帮助你(提取信息)
让我们看下Mininova网站,需要提取的网址,名称,描述和torrent文件的大小、添加日期
下面这个列表是所有今天新增的torrents文件的页面:参考扩展阅读1
备注:torrent是洪流的意思,这里指bit torrent,比特洪流,就是我们常说的BT文件
折叠定义数据
定义你要抓取的数据
第一件事情就是定义你要抓取的数据,在小刮刮这个是通过定义Scrapy Items来实现的(本例是BT文件)
这就是要定义的Item
折叠撰写蜘蛛
撰写一个蜘蛛来抓取数据
Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据。首先,我们定义了一个getHtml()函数:
urllib.urlopen()方法用于打开一个URL地址。
read()方法用于读取URL上的数据,向getHtml()函数传递一个网址,并把整个页面下载下来。执行程序就会把整个网页打印输出。
下一步是写一个指定起始网址的蜘蛛(参考扩展阅读1),包含follow链接规则和数据提取规则
如果你看一眼页面内容,就会发现所有的torrent网址都是类似:参考扩展阅读2的样子,其中Number是一个整数,我们将用正则表达式,例如/tor/d+.来提取规则
我们将使用Xpath,从页面的HTML Source里面选取要要抽取的数据,选取众多数据页面中的一个,例如参考阅读3
根据页面HTML 源码,建立XPath,选取:torrent name, description , size,这些数据。
运行蜘蛛来抓取数据
最后,我们运行蜘蛛来爬取这个网站,输出为json格式scraped_data.json
scrapy crawl 参考阅读4 -o scraped_data.json -t json
这个使用了feed exports,来生成json格式,当然,你可以很简单的更改输出格式为csv,xml,或者存储在后端(ftp或者Amazon S3)
你也可以写一段item pipeline,把数据直接写入数据库,很简单
Review一下抓取的数据
查看一下数据:scraped_data.json,内容大致如下
[{"url": "参考阅读2", "name": ["Home[2009][Eng]XviD-ovd"], "description": ["HOME - a documentary film by ..."], "size": ["699.69 megabyte"]}, # ... other items ... ]
关注一下数据,你会发现,所有字段都是lists(除了url是直接赋值),这是因为selectors返回的就是lists格式,如果你想存储单独数据或者在数据上增加一些解释或者清洗,可以使用Item Loaders
折叠更多
你也看到了如何使用小刮刮从一个网站提取和存储数据,但,这只是表象,实际上,小刮刮提供了许多强大的特性,让它更容易和高效的抓取:
1>内建 selecting and extracting,支持从HTML,XML提取数据
2>内建Item Loaders,支持数据清洗和过滤消毒,使用预定义的一个过滤器集合,可以在所有蜘蛛间公用
3>内建多格式generating feed exports支持(JSON, CSV, XML),可以在后端存储为多种方式(FTP, S3, local filesystem)
4>针对抓取对象,具有自动图像(或者任何其他媒体)下载automatically downloading images的管道线
5>支持扩展抓取extending Scrap,使用signals来自定义插入函数或者定义好的API(middlewares, extensions, and pipelines)
所有文件已经打包,直接提取。
至于所谓的关注问题,随大家的便,想关注加就关注。我不需要说关注后才给大家连接,现在的头条根本不能赚钱,除非有几十万的粉丝。
我只是分享一些自认为有用的干货,满足一下知识传播者的成就感。
—————————————————————————————————————
欢迎大家一起留言讨论和交流,谢谢!
-
?
快播正式破产,老司机从此变传说……
江湖远
展开
秋名山上行人稀
常有车手竞高低
更多科技互联网事件剖析,欢迎点击右上角关注我。
今天小发看到一则新闻,标题是《 快播破产清算,深圳中院裁定即日生效 》。
年初快播 CEO 王欣出狱时,很多人都希望看到他能够成为那个力挽狂澜拯救快播的英雄,一如当年研发快播并让其成为中国播放器市场的龙头老大一样。
可惜王欣在面对快播公司背负的巨额债务时终究是无力回天,选择了放弃,然后转身投向了区块链、人工智能等热点行业。
看来很多人欠王欣或者说快播的那个会员,怕是没有机会补上了。
从曾经家喻户晓的 “ 宅男神器 ” 到如今的破产清算,快播这个曾经代表了一个时代的播放器,在今天正式宣告了死亡。
同时王欣也在自己的微博上发了一首诗来纪念这个特殊的日子。
2007年,离开了盛大网络的王欣在深圳的一个出租房里成立了快播公司,并且研发了以创新的 P2P ( peer-to-peer,点对点网络,简称 P2P )传输技术为主的快播播放器。
彼时的互联网上才刚刚兴起看电影的热潮,很多影视网站随之成立,但是当时大多数的网站都在使用传统的暴风影音,每个网站都必须付出大量的带宽费才能维持用户流畅看电影的问题。
与传统传输技术不同的是, P2P 传输的一个特点就是使用的人越多,下载速度越快
P2P 是无中心服务器、依靠用户群(peers)交换信息的互联网体系,它的作用在于,减低以往网路传输中的节点,以降低资料遗失的风险。与有中心服务器的中央网络系统不同,对等网络的每个用户端既是一个节点,也有服务器的功能,任何一个节点无法直接找到其他节点,必须依靠其户群进行信息交流。
简单来说就是当你需要下载某个资源时,有你需要资源的客户端就会成为服务器供你下载内容(同时该客户端的计算能力、存储空间、带宽也会被使用),反之当别人需要下载时,你的客户端也会成为一台服务器。
但是如果完全依靠个人服务器来获取自己想要的资源显然是不现实的,别人可能会关机,或者网速很慢,这样一来也许下载一个文件需要几个星期甚至个把月的时间。
因此快播在此基础之上加入了 P2P 缓存服务技术,快播自己作为 P2P 缓存服务提供商把和种子对应的内容都保存在自己的网络服务器上,快播客户端用户就可以直接连接缓存服务器获取内容,在带宽允许的情况下甚至几秒钟就可以下载自己需要的内容。
当时使用快播的 “ 姿势 ” 非常简单。比如我想要看一部电影,我就找到这个种子,下载之后直接拖拽到快播客户端,它就会开始自动加载缓存,几秒钟之内就会开始播放,十分流畅。
由于操作方便,再加上可以极大地帮助网站减轻带宽负担,越来越多的影音网站抛弃了暴风影音转用快播,快播的用户以滚雪球的方式快速增长。
随之而来的问题也出现了:越来越多的人开始使用快播观看色情淫秽视频,甚至可以说很多新用户一开始听说快播就把它和 “ 看黄片 ” 划上了等号。
原因就是当时中国互联网的监管力度不强,很多影音网站都是通过提供色情内容来吸引流量,赚取广告费,而热门的快播网页播放器自然也被当成了它们的首选。
上面的截图是我通过网页历史查看器( Wayback Machine )截取的,当年这样的网站数不胜数。
由于快播公司自身缺乏对于服务器缓存内容的监管,导致服务器上大量的内容都是涉及淫秽色情的视频,这也是之后王欣被起诉的主要原因。
王欣在为自己辩护时曾经有一句名言:技术本身并不可耻。
确实,P2P 技术本身是没有问题的,但是问题出在了 P2P 软件的使用者上。
作为用户来说,当他下载了非法内容之后如果通过 P2P 传输技术被别人下载了,那他就构成了传播非法内容罪( 比如电影版权等 )。
而快播作为提供种子服务器和内容缓存服务器的服务商,必须要保证自己服务器中内容的合法性,不然就构成了违法犯罪。
在国外,对于 P2P 传输的监管十分严格,当时小发刚出国,有个学长给小发的一个重要提醒就是千万不要用迅雷、快播等软件下载电影,不然很可能收到律师函,他曾经就因为下载了一部《 X战警 》而收到了二十世纪福斯电影公司的罚款律师函。。。
国外的 P2P 影音网站服务商被告上法院之后坐牢也是屡见不鲜。
当年快播盛行的时候,大部分网民的版权意识还没有觉醒,大家都心安理得地看着各种免费的电影、电视剧等作品,却没有想到过这样做给这些电影电视剧的制片商带来了多大的伤害,同时也是在犯罪。
在王欣被起诉前的几年,快播其实已经在走下坡路了,相较于想在网页上使用必须下载插件的快播,以百度影音为首的无插件播放器抢占了很大的市场份额
同时乐视网等视频网站也凭借着强大的资本注入购买了大量电影电视剧作品的版权,使得快播的发展举步维艰,即便快播在某些版本之后加大了对于色情淫秽内容的屏蔽力度也无法在版权的角逐上获胜,在 2014 年快播公司被吊销增值电信业务经营许可证之后,最终走向了失败。
现在就不一样了,大家看电影都知道去腾讯视频、爱奇艺等视频网站购买会员,或者去线下影院购买电影票观看,对于版权意识的推动起到了很大的作用。
想必王欣出狱之后,也看到了目前中国互联网影音网站对于版权的重视,而快播的存在本身就是与这样的 “ 大势 ” 背道而驰的,即便在这之后快播上没有色情内容,也一样无法东山再起,再加上巨额债务所带来的压力,所以才选择了放弃吧。
老司机们,是时候正式跟快播说再见了。
图片来源:新浪科技:快播王欣的下一站野心:建立区块链 “ 理想国 ” 新浪微博暴风影音https://njordlaw/filesharing-and-downloading-film/questions-and-answers-regarding-illegal-file-sharing-and-download/https://archive.org/web/视觉中国X战警官方海报动点科技资料参考:天涯社区用户heiting1985的回答维基百科
“ 如今车道应犹在,不见当年老司机 ”
-
?
测试工具LoadRunner常见问题汇总,如何解决?
怨杨柳
展开
测试工具LoadRunner常见问题汇总,如何解决?
LoadRunner是一种预测系统行为和性能的负载测试工具。通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题,可适用于各种体系架构的自动负载测试,能预测系统行为并评估系统性能。
我们在使用它进行测试的过程中经常会遇到一些错误,这些错误可能是由于设置不当引起,也有可能是选项设置引起,更有可能是测试执行中的一些细节没有注意而引起的,在此做一个系列总结。
1、LoadRunner超时错误如何解决?
在录制Web协议脚本回放时超时情况经常出现,产生错误的原因也有很多,解决的方法也不同。
错误现象1:Action.c(16): Error -27728: Step download timeout (120 seconds) has expired when downloading non-resource(s)。
错误分析:对于HTTP协议,默认的超时时间是120秒(可以在LoadRunner中修改),客户端发送一个请求到服务器端,如果超过120秒服务器端还没有返回结果,则出现超时错误。
解决办法:首先在运行环境中对超时进行设置,默认的超时时间可以设置长一些,再设置多次迭代运行,如果还有超时现象,需要在“Runtime Setting”>“Internet Protocol:Preferences”>“Advanced”区域中设置一个“winlnet replay instead of sockets”选项,再回放是否成功。
错误现象2:Action.c(81):Continuing after Error -27498: Timed out while processing URL= querystat/ subOrderQuery.do
错误分析:这种错误常常是因为并发压力过大,服务器端太繁忙,无法及时响应客户端的请求而造成的,所以这个错误是正常现象,是压力过大造成的。
如果压力很小就出现这个问题,可能是脚本某个地方有错误,要仔细查看脚本,提示的错误信息会定位某个具体问题发生的位置。
解决办法:例如上面的错误现象问题定位在某个URL上,需要再次运行一下场景,同时在其他机器上访问此URL。如果不能访问或时间过长,可能是服务器或者此应用不能支撑如此之大的负载。分析一下服务器,最好对其性能进行优化。
如果再次运行场景后还有超时现象,就要在各种图形中分析一下原因,例如可以查看是否服务器、DNS、网络等方面存在问题。
最后,增加一下运行时的超时设置,在“Run-Time Settings”>“Internet Protocol:Preferences”中,单击“options”,增加“HTTP-request connect timeout”或者“HTTP-request receive”的值。
2、LoadRunner脚本中出现乱码:
在录制Web协议脚本时出现中文乱码,在回放脚本时会使回放停止在乱码位置,脚本无法运行。
错误现象:某个链接或者图片名称为中文乱码,脚本运行无法通过。
错误分析:脚本录制可能采用的是URL-based script方式,如果程序定义的字符集合采用的是国际标准,脚本就会出现乱码现象。
解决办法:重新录制脚本,在录制脚本前,打开录制选项配置对话框进行设置,在“Recording Options”的“Advanced”选项里先将“Surport Charset”选中,然后选中支持“UTF-8”的选项。
3、LoadRunner HTTP服务器状态代码:
在录制Web协议脚本回放的过程中,会出现HTTP服务器状态代码,例如常见的页面-404错误提示、-500错误提示。
错误现象1:-404 Not Found服务器没有找到与请求URL相符的资源,但还可以继续运行直到结束。
错误分析:此处与请求URL相符的资源在录制脚本时已经被提交过一次,回放时不可再重复提交同样的资源,而需要更改提交资源的内容,每次回放一次脚本都要改变提交的数据,保证模拟实际环境,造成一定的负载压力。
解决办法:在出现错误的位置进行脚本关联,在必要时插入相应的函数。
错误现象2:-500 Internal Server Error服务器内部错误,脚本运行停止。
错误分析:服务器碰到了意外情况,使其无法继续回应请求。
解决办法:出现此错误是致命的,说明问题很严重,需要从问题的出现位置进行检查,此时需要此程序的开发人员配合来解决,而且产生的原因根据实际情况来定,测试人员无法单独解决问题,而且应该尽快解决,以便于后面的测试。
4、LoadRunner请求无法找到:
在录制Web协议脚本回放脚本的过程中,会出现请求无法找到的现象,而导致脚本运行停止。
错误现象:Action.c(41): Error -27979: Requested form not found [MsgId: MERR-27979]
Action.c(41): web_submit_form highest severity level was "ERROR",0 body bytes, 0 header bytes [MsgId: MMSG-27178]"
这时在tree view中看不到此组件的相关URL。
错误分析:所选择的录制脚本模式不正确,通常情况下,基于浏览器的Web应用会使用"HTML-based script"模式来录制脚本;而没有基于浏览器的Web应用、Web应用中包含了与服务器进行交互的Java Applet、基于浏览器的应用中包含了向服务器进行通信的JavaScript/VBScript代码、基于浏览器的应用中使用HTTPS安全协议,这 时则使用"URL-based script"模式进行录制。
解决办法:打开录制选项配置对话框进行设置,在"Recording Options"的"Internet Protocol"选项里的"Recording"中选择"Recording Level"为"HTML-based script",单击"HTML Advanced",选择"Script Type"为"A script containing explicit"。然后再选择使用"URL-based script"模式来录制脚本。
5、LoadRunner其它问题
①Java执行场景时并发数上不去
原因:Spring框架重定向问题
解决:将
修改为scope=”prototype” ②在场景设置中监控不到服务器
原因:服务没有开启
解决:打开服务→开启相关服务(首先检查Remote Registry服务,然后在开启computer browser,如果computer browser无法开启,检查server、workstation服务)
③在生成结果中采集的数据不一致
原因:由于采样的时间
(1).在摘要中,时间是根据整个场景执行的过程进行采样
(2).在平均事务响应时间主要是按照Loadrunner分析出来的采样频率来获取
解决:可通过“set granularity”来修改平均事务响应时间的采样频率,设为场景执行时间,结果会一致。
④SilverLight中脚本回放错误
原因:缺少SOAPAtion包头
解决:在录制中打开Options(选项)→Advanced(高级)→Headers(标题)→Recourd headers in list→添加包头
⑤microsoft协议中无法查看数据文件
原因:默认次方式离职脚本中生成的数据文件类型为Binary,需修改为XML格式
解决:在录制中打开Options(选项)→Microsoft→Recording→serializatioformat改为XML即可
总结:
学性能测试的工具,如果能精通掌握就深入精通,大到所有的菜单工具栏里面的功能就会,小到每一个细节设置都是掌控到很精通,别人了解,略懂的工具我们可以轻松应用到项目实战中,这样才能真正成为一名专业的软件测试人员!
关注51Testing软件测试网,提升it技能,从不会到熟练只差一步。
-
?
你用 Python 写过哪些牛逼的程序/脚本?
夏伤
展开
编译: Python开发者 - Jake_on 英文:Quorahttp://python.jobbole/85986/
【伯乐在线导读】:有网友在 Quora 上提问,「你用 Python 写过最牛逼的程序/脚本是什么?」。本文摘编了 3 个国外程序员的多个小项目,含代码。
Manoj Memana Jayakumar, 3000+ 顶
更新:凭借这些脚本,我找到了工作!可看我在这个帖子中的回复,《Has anyone got a job through Quora? Or somehow made lots of money through Quora?》
1. 电影/电视剧 字幕一键下载器
我们经常会遇到这样的情景,就是打开字幕网站subscene 或者opensubtitles, 搜索电影或电视剧的名字,然后选择正确的抓取器,下载字幕文件,解压,剪切并粘贴到电影所在的文件夹,并且需把字幕文件重命名以匹配电影文件的名字。是不是觉得太无趣呢?对了,我之前写了一个脚本,用来下载正确的电影或电视剧字幕文件,并且存储到与电影文件所在位置。所有的操作步骤仅需一键就可以完成。懵逼了吗?
请看这个 Youtube 视频:https://youtu.be/Q5YWEqgw9X8
源代码存放在GitHub:subtitle-downloader
更新:目前,该脚本支持多个字幕文件同时下载。步骤:按住 Ctrl ,选择你想要为其下载字幕的多个文件 , 最后执行脚本即可
2. IMDb 查询/电子表格生成器
我是一个电影迷,喜欢看电影。我总是会为该看哪一部电影而困惑,因为我搜集了大量的电影。所以,我应该如何做才能消除这种困惑,选择一部今晚看的电影?没错,就是IMDb。我打开 http://imdb,输入电影的名字,看排名,阅读和评论,找出一部值得看的电影。
但是,我有太多电影了。谁会想要在搜索框输入所有的电影的名字呢? 我肯定不会这样做,尤其是我相信“如果某些东西是重复性的,那么它应该是可以自动化的”。因此,我写了一个 python 脚本, 目的是为了使用 非官方的 IMDb API 来获取数据。我选择一个电影文件(文件夹),点击右键,选择‘发送到’,然后 点击 IMDB.cmd (顺便提一下,IMDB.cmd 这个文件就是我写的 python 脚本),就是这样。
我的浏览器会打开这部电影在IMDb网站上的准确页面。
仅仅只需点击一个按键,就可以完成如上操作。如果你不能够了解这个脚本到底有多酷,以及它可以为你节省多少时间,请看这个 Youtube 视频:https://youtu.be/JANNcimQGyk
从现在开始,你再也不需要打开你的浏览器,等待加载IMDb的页面,键入电影的名字。这个脚本会帮你完成所有的操作。跟往常一样,源代码放在了GitHub:imdb ,并且附有操作说明。当然,由于这个脚本必须去掉文件或文件夹中的无意义的字符,比如“DVDRip, YIFY, BRrip”等,所以在运行脚本的时候会有一定比例的错误。但是经过测试,这个脚本在我几乎所有的电影文件上都运行的很好。
2014-04-01更新:
许多人在问我是否可以写一个脚本,可以发现一个文件夹中所有电影的详细信息,因为每一次只能发现一个电影的详细信息是非常麻烦的。我已经更新了这个脚本,支持处理整个文件夹。脚本会分析这个文件夹里的所有子文件夹,从 IMDb上抓取所有电影的详细信息 ,然后打开一个电子表格,根据IMDb 上的排名,从高到低降序排列所有的电影。这个表格中包含了 (所有电影)在 IMDb URL, 年份,情节,分类,获奖信息,演员信息,以及其他的你可能在 IMBb找到的信息。下面是脚本执行后,生成的表格范例:
Your very own personal IMDb database! What more can a movie buff ask for? ;)Source on GitHub: imdb
你也可以有一个个人 IMDb 数据库!一个电影爱好者还能够要求更多吗?:)
源代码在 GitHub:imdb
3. theoatmeal 连载漫画下载器
我个人超级喜欢 Matthew Inman 的漫画。它们在疯狂搞笑的同时,却又发人深省。但是,我很厌烦重复点击下一个,然后才能阅读每一个漫画。另外,由于每一个漫画都由多福图片组成,所以手动下载这些漫画是非常困难的。
基于如上原因,我写了一个 python 脚本 ,用来从这个站点下载所有的漫画。这个脚本利用 BeautifulSoup (http://crummy/software/B… ) 解析 HTML 数据, 所以在运行脚本前,必须安装 BeautifulSoup。 用于下载燕麦片(马修.英曼的一部漫画作品)的下载器已经上传到GitHub:theoatmeal-downloader 。(漫画)下载完后的文件夹是这样的
4. someecards 下载器
成功地从http://theoatmeal 下载了整部漫画后,我在想是否我可以做同样的事情 , 从另一个我喜欢的站点— 搞笑的,唯一的http://someecards . 下载一些东西呢?
somececards 的问题是,图片命名是完全随机的,所有图片的排放没有特定的顺序,并且一共有52 个大的类别, 每一个类别都有数以千计的图片。
我知道,如果我的脚本是多线程的话,那将是非常完美的,因为有大量的数据需要解析和下载,因此我给每一个类别中的每一页都分配一个线程。这个脚本会从网站的每一个单独的分类下载搞笑的电子贺卡,并且把每一个放到单独的文件夹。现在,我拥有这个星球上最好笑的电子贺卡私人收藏。下载完成后,我的文件夹是这样的:
没错,我的私人收藏总共包括:52个类别,5036个电子贺卡。 源代码在这里:someecards-downloader
编辑:很多人问我是否可以共享我下载的所有文件,(在这里,我要说)由于我的网络不太稳定,我没办法把我的收藏上传到网络硬盘,但是我已经上传一个种子文件,你们可以在这里下载:somecards Site Rip torrent 种下种子,传播爱
Akshit Khurana,4400+ 顶
感谢 500 多个朋友在 Facebook 上为我送出的生日祝福
有三个故事让我的21岁生日变的难忘,这是最后一个故事。我倾向于在每一条祝福下亲自评论,但是使用 python 来做更好。
…1.# Thanking everyone who wished me on my birthday2.importrequests3.importjson4.5.# Aman's post time6.AFTER = 13532337547.TOKEN = ' '8.9.defget_posts():10."""Returns dictionary of id, first names of people who posted on my wall11. between start and end time"""12.query = ("SELECT post_id, actor_id, message FROM stream WHERE "13."filter_key = 'others' AND source_id = me() AND "14."created_time > 1353233754 LIMIT 200")15.16.payload = {'q': query,'access_token': TOKEN}17.r = requests.get('https://graph.facebook/fql',params=payload)18.result = json.loads(r.text)19.returnresult['data']20.21.defcommentall(wallposts):22."""Comments thank you on all posts"""23.#TODO convert to batch request later24.forwallpost inwallposts:25.26.r = requests.get('https://graph.facebook/%s' %27.wallpost['actor_id'])28.url = 'https://graph.facebook/%s/comments' % wallpost['post_id']29.user = json.loads(r.text)30.message = 'Thanks %s :)' % user['first_name']31.payload = {'access_token': TOKEN,'message': message}32.s = requests.post(url,data=payload)33.34.print"Wall post %s done" % wallpost['post_id']35.36.if__name__ == '__main__':37mentall(get_posts())…
为了能够顺利运行脚本,你需要从Graph API Explorer(需适当权限)获得 token。 本脚本假设特定时间戳之后的所有帖子都是生日祝福。
尽管对评论功能做了一点改变,我仍然喜欢每一个帖子。
当我的点赞数,评论数以及评论结构在 ticker(Facebook一项功能,朋友可以看到另一个朋友在做什么,比如点赞,听歌,看电影等) 中爆涨后,我的一个朋友很快发现此事必有蹊跷。
尽管这个不是我最满意的脚本,但是它简单,快捷,有趣。
当我和 Sandesh Agrawal 在网络实验室讨论时,有了写这个脚本的想法。 为此,Sandesh Agrawal 耽搁了实验室作业,深表感谢。
Tanmay Kulshrestha,3300+ 顶
好了,在我失去这个项目之前(一个猪一样的朋友格式化了我的硬盘,我的所有代码都在那个硬盘上)或者说,在我忘记这些代码之前,我决定来回答这个问题。
5、整理照片
当我对图像处理感兴趣之后,我一直致力于研究机器学习。我写这个有趣的脚本,目的是为了分类图片,很像 Facebook 做的那样(当然这是一个不够精确的算法)。 我使用了 OpenCV 的人脸检测算法,“haarcascade_frontalface_default.xml”,它可以从一张照片中检测到人脸。
你可能已经察觉到这张照片的某些地方被错误地识别为人脸。 我试图通过修改一些参数(来修正这一问题),但还是某些地方被错误地识别为人脸,这是由相机的相对距离导致的。我会在下一阶段解决这一问题(训练步骤)。
这个训练算法需要一些训练素材,每个人需要至少需要100-120个训练素材(当然多多益善)。 我太懒了,并没有为每一个人挑选照片,并把它们复制粘帖到训练文件夹。所以,你可能已经猜到,这个脚本会打开一个图片,识别人脸,并显示每一个人脸(脚本会根据处于当前节点的训练素材给每一个人脸预测一个名字)。伴随着每次你标记的照片,Recognizer 会被更新,并且还会包含上一次的训练素材。 在训练过程中,你可以增加新的名字。我使用 python 库 tkinter 做了一个 GUI。 因此,大多数时候,你必须初始化一小部分照片(给照片中的人脸命名),其他的工作都可以交给训练算法。 因此,我训练了 Recognizer ,然后让它(Recognizer)去处理所有的图片。
我使用图片中包含的人的人名来命名图片,(例如: Tanmay&*****&*****)。 因此,我可以遍历整个文件夹,然后可以通过输入人名的方法来搜索图片。
初始状态下,当一个人脸还没有训练素材时(素材库中还没有包括这个人脸的名字),需要询问他/她的名字。
我可以增加一个名字,像这个样子:
当训练了几个素材后,它会像这个样子:
最后一个是针对应对那些垃圾随机方块而使用的变通解决方案。
带名字的最终文件夹。
所以,现在寻找图片变得相当简单。顺便提一下,很抱歉(我)放大了这些照片。
…importcv2importsysimportos,random,string#choices=['Add a name']importoscurrent_directory=os.path.dirname(os.path.abspath(__file__))fromTkinterimportTkfromeasygui import *importnumpy asnpx= os.listdir(current_directory)new_x=[]testing=[]foriinx:ifi.find('.')==-1:new_x+=[i]else:testing+=[i]x=new_xg=xchoices=['Add a name']+xy= range(1,len(x)+1)defget_images_and_labels():globalcurrent_directory,x,y,gifx==[]:return(False,False)image_paths=[]foriing:path=current_directory+''+iforfilename inos.listdir(path):final_path=path+''+filenameimage_paths+=[final_path]# images will contains face imagesimages = []# labels will contains the label that is assigned to the imagelabels = []forimage_path inimage_paths:# Read the image and convert to grayscaleimg = cv2.imread(image_path,0)# Convert the image format into numpy arrayimage = np.array(img,'uint8')# Get the label of the imagebackslash=image_path.rindex('')underscore=image_path.index('_',backslash)nbr = image_path[backslash+1:underscore]t=g.index(nbr)nbr=y[t]# If face is detected, append the face to images and the label to labelsimages.append(image)labels.append(nbr)#cv2.imshow("Adding faces to traning set...", image)#cv2.waitKey(50)# return the images list and labels listreturnimages,labels# Perform the traniningdeftrain_recognizer():recognizer = cv2.createLBPHFaceRecognizer()images,labels = get_images_and_labels()ifimages==False:returnFalsecv2.destroyAllWindows()recognizer.train(images,np.array(labels))returnrecognizerdefget_name(image_path,recognizer):globalx,choices#if recognizer=='':# recognizer=train_recognizer()cascadePath = "haarcascade_frontalface_default.xml"faceCascade = cv2.CascadeClassifier(cascadePath)#recognizer=train_recognizer()x1=testingglobalgprintimage_pathimage = cv2.imread(image_path)img = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)predict_image = np.array(img,'uint8')faces = faceCascade.detectMultiScale(img,scaleFactor=1.3,minNeighbors=5,minSize=(30,30),flags = http://cv2.cv.CV_HAAR_SCALE_IMAGE)for(x,y,w,h)infaces:f= image[y:y+w,x:x+h]cv2.imwrite('temp.jpg',f)im='temp.jpg'nbr_predicted,conf = recognizer.predict(predict_image[y: y + h,x: x + w])predicted_name=g[nbr_predicted-1]print"{} is Correctly Recognized with confidence {}".format(predicted_name,conf)ifconf>=140:continuemsg='Is this '+predicted_namereply = buttonbox(msg,image=im,choices=['Yes','No'])ifreply=='Yes':reply=predicted_namedirectory=current_directory+''+replyifnotos.path.exists(directory):os.makedirs(directory)random_name=''.join(random.choice(string.ascii_uppercase + string.digits)for_inrange(7))path=directory+''+random_name+'.jpg'cv2.imwrite(path,f)else:msg = "Who is this?"reply = buttonbox(msg,image=im,choices=choices)ifreply == 'Add a name':name=enterbox(msg='Enter the name',title='Training',strip=True)printnamechoices+=[name]reply=namedirectory=current_directory+''+replyifnotos.path.exists(directory):os.makedirs(directory)random_name=''.join(random.choice(string.ascii_uppercase + string.digits)for_inrange(7))path=directory+''+random_name+'.jpg'printpathcv2.imwrite(path,f)# calculate window positionroot = Tk()pos = int(root.winfo_screenwidth() * 0.5),int(root.winfo_screenheight() * 0.2)root.withdraw()WindowPosition = "+%d+%d" % pos# patch rootWindowPositionrootWindowPosition = WindowPositiondefdetect_faces(img):globalchoices,current_directoryimagePath = imgfaceCascade = cv2.CascadeClassifier(cascPath)image = cv2.imread(imagePath)gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)faces = faceCascade.detectMultiScale(gray,scaleFactor=1.3,minNeighbors=5,minSize=(30,30),flags = http://cv2.cv.CV_HAAR_SCALE_IMAGE)print"Found {0} faces!".format(len(faces))m=0for(x,y,w,h)infaces:m...
-
?
三星NOTE 2 N7100 变砖了怎么修复
宋百招
展开
1、下载三星Note2 N7100手机五件套官方固件包,准备线刷官方系统。
文件比较大,1.35G,下载好,解压缩,所得文件如下图
2、操作三星N7100手机进入三星修复用的下载模式,就是大家所说的挖煤模式,Downloading界面,方法如下:
手机关机,电池取出5秒再装入,然后 同时按住 ‘音量下键’ 和 ‘HOME键(中间实体键)’不放, 然后按‘电源键’ 。。如果操作无误,手机屏幕会显示Warning警告界面 如图左:
然后按音量增大键,进入downloading挖煤界面,如图右:
3、N7100手机出处于Downloading挖煤界面下,手机直接usb线连上电脑。打开安装固件包里面的驱动程序,一直点下一步,直到安装完成:
4、然后运行固件包里面的三星odin刷机工具,
选择odin工具上面的对应文件
PIT里对应固件包里的分区文件\---.pit
PDA里对应固件包里的主包\----PDA.tar
PHONE对应固件包里的基带\-----phone.tar
CSC里对应固件包里的运营商\----csc.tar
如图
5、然后鼠标点击ODIN上面的start刷机按钮,odin工具会先预处理文件大概3分钟。Odin工具上面会出进度条提示PASS如图,手机界面downloading下面也会出进度条,然后自动重启
等3分钟,手机恢复官方原版系统,正常开机使用。
至此三星Note2 N7100五件套恢复官方系统刷机完毕。
(本文内容由百度知道网友lower米一g贡献)
-
?
i9502 固件更新时遇到问题 请在kies选择复原
醉波
展开
整理集合生活中自用三星手机S4 I9502爱出的以下问题故障_简单例表一下!三星 i9502 恢复出厂设置,就停在三星标志上不动了 固件升级失败三星 i9502 开机就显示三星标志。就是进不了。 就一直反复的开机手机三星S4 I9502 firmware upgrade encountered 固件更新时遇到问题三星 i9502 刷机ROOT失败,就是手机感叹号电脑的图标,下载odin3刷 还是失败 三星 i9502 手机刷机失败 显示系统更新失败 然后一个手机一个叹号一个电脑现在手机+感叹号+电脑.定屏不开机三星 i9502 root失败变砖了,连不上KIES,开机只显示三星logo画面;三星 i9502 kies升级失败造成无法开机手机显示(手机+感叹号+电脑)连不上电脑三星 i9502 ROOT现在连接不了电脑里了 提示无法识别手机停留在英文界面 然后自动开机关机Root失败死机了要怎么办?
下载三星 i9502 已测试的 手机完整五件套官方固件包+救机软件百度网盘下载地址: http://pan.baidu/s/1c01qDFU 提取密码: f7sm(复制地址在我的电脑或者浏览器上打开输入密码后点下载下载解压用)然后照步骤一步一步恢复+救机修复S4 I9502正常官方系统
解压完成完整包后操作手机进入三星机器人挖煤的下载模式,关机后,先按着音量减小键+屏幕下方HOME键+电源键不放,等 屏幕出现开机LOGO时松开,出现警告Warning!!界面然后再按音量增大键出现downloading..就表示进入挖煤模式了,
打开解压后完整的包里面安装USB驱动 打开文件夹中的"驱动SAMSUNG_USB_Driver.exe"双击安装。按提示一步一步安装完成 (安装过的朋友可以直接下一步)
驱动完成后把进入挖煤模式的手机用数据线连接上电脑打开解压后完整的包里面 的odin3刷机平台最新版中的Odin3 v3.10.0.exe双击运行选择对应文件PIT里选用 五件套文件夹包里:pit 格式的文件BL里选用 五件套件文件夹包里:i9502_BL.tar 文件AP里选用 五件套文件夹包里:i9502_AP.tar 文件CP里选用 五件套件夹包里:i9502_CP.tar 文件CSC里选用 五件套文件夹包里:i9502_csc.tar 文件
确认调入正确.全部成功调入完成在平台中点 Start 开始刷入.这是手机屏幕上会有进度条出现刷入时间根据电脑配置而定3-15分钟完成
恢复官方ROM完整正式版就完成(然后手机等开机进入卓面就可以正常用了)提示:对教程不明白或者不成功的朋友可以查看“解压的五件完整包中的-刷机步骤恢复祥细方法”祥细了解.本教程由测试弄好本机编帖而来分享.
-
?
HTML基础标签之html标签
xinxi
展开
上面的是一个基本的html5模板
与标签限定了文档的开始和结束(所有浏览器都支持标签),在它们之间是文档的头部和主体。文档的头部由
标签定义,而主体由标签定义。标签告知浏览器这是一个HTML文档,它是HTML文档中最外层的标签(最外面的不是标签,它只是个声明),html元素也可称为根元素。提示:即使html元素是文档的根元素,它也不包含doctype声明,doctype声明必须位于html元素之前,应该把
标签放在文档的开始处,并紧跟在标签后面,并处于标签或 -
?
你必须要知道的手机维护和维修方法
百醇
展开
手机用的最多的系统是安卓和苹果。苹果是闭环系统,升级、刷机、救转有相应的操作步骤,这里就不详细讲解。我们主要讲的是安卓系统。
安卓系统在之前的文章中做过详细介绍。各大手机厂商根据原生安卓系统做深度研发,形成独有特色的品牌系统。像魅族系统。小米系统、阿里云系统、一加系统、锤子系统等。
魅族Flyme手机操作系统,有两种系统升级维修方法。
一:手机端下载更新。在手机设置里面找到系统升级,点击下载或更新,就可以吧系统更新到最新版本相应的一些系统故障都可以解决。
二、官网下载固件更新。进入魅族官网,右上角选择flyme(或者直接进入flyme官网),顶部选择“下载”,然后选择你手机的机型,选择下载固件,你也可以在下面选择之前的版本下载。下载到电脑上之后,通过数据线复制到手机里面,下载的固件一定要复制到手机的根目录,所谓的根目录,就是点进文件管理最开始出现的界面里面,(也就是不放进任何文件夹),选择重启就自动开始更新了。(如果要清除数据就要先勾选了再选重启)。
小米MIUI系统,分为卡刷和线刷。
下载小米手机的最新安装包,把卡刷包下载到电脑上,如果下载下来的刷机包是rar格式的包话就再解压一下,如果直接是zip格式的包的话,就不用解压了,然后找到zip格式的包,然后把这个zip格式的包重命名为update.zip,然后把再把update.zip包直接拷贝至手机的内置存储的根目录下。2:手机进入recovery(些时的recovery一定要是方的recovery,因为官方的recovery才能刷小米官方的刷机包),然后手机在关机状态下,同时按住手机的音量上键 + 电源键(两键同时按住),屏幕亮起松开按键即可进入。3:选择简体中文并确认,在recovery界面里 音量键表示选择 电源键表示确认,咱们用用音量键选择第二个,清除数据,按一下电源键确认进入,然后用音量键选择上方三个清空的选项,这就是三清,按电源键确认,依次清除。4:三清之后,回到recovery主界面,选择将update.zip安装至系统一并确认,选择确认等待完成,选择重启系统即可.。
小米线刷需要用到小米专用刷机工具。安装Miphone软件,打开解压的文件,把地址复制到软件的红框位置
然后把手机关机,关机后按住音量下+电源键进入“FASTBOOT”模式,把手机用USB线接入电脑。软件上点“刷新”会出现设备,然后点“刷机”
三星系统同样分为卡刷和线刷。下载卡刷包,拷贝手机内存卡的根目录。
关机状态下按住 “音量下”+“HOME键”+“开关机键”进入Recovery模式。 选择“apply update from sdcard”,然后定位到下载的Recovery文件并确认刷入,刷入完成后,重后手机。清除数据。成功刷入Recovery后,关机状态下按住“ HOME键”+“开关机键” 进入Recovery模式,选择“wipe data”-“factory reset”,然后点击“确认”来消除数据,选择“wipe cache partition”并确认来清除缓存
三星线刷步骤。
1 三星Odin线刷工具。
2 手机进入到Downloading...(刷机模式)【手机先完全的关机,然后同时按住手机的【音量下键】+ 【HOME键】+ 【电源键】,等待3秒,然后再按音量上键,进入界面为绿色机器人,此为刷机模式】
3 手机在刷机模式用数据线下连接电脑,然后打开Odin线刷工具(小编这里用的是3.09版本),打卡Odin刷机工具后,若在【ID:COM】处显示蓝色(有的是黄色等),说明手机连接Odin刷机工具成功
4 手机连接电脑成功后,就可以开始刷机了,选完一体包或五件套之后,点击右下角的【Start】,然后开始刷入。
5 待刷机完成后,Odin工具左上角会显示绿色的【PASS】,然后手机会自动重启,至此线刷完成。
.。 华为系统手机也分为官方升级和线刷救转。1、官网下载系统包。解压刷机包,把解压文件拷贝到sdfuse文件夹。同时按音量加和音量减还有开机键进入强制刷机模式,强制刷机。
2
线刷救砖。打开flash phone tool.选择刷机文件。平板关机查上电脑,进行底层系统文件刷机。
-
?
微软已不再支持Windows的热修补(Hotfix)服务
记年
展开
近日,微软官网服务与支持页面显示,将不再为Hotfix提供支持,也就是说此热修补服务将不再可用。热修补服务最初是由微软发起的,目的是在不进行全系统更新的情况下,推送针对Windows的小补丁。虽然普通用户很少使用热修复程序,但大多数的网管和系统管理员都在使用它。
微软提醒用户:您可以通过升级到适用于您的产品的最新更新来找到您的修补程序或修补程序。也可以通过从Microsoft Catalog、微软下载中心或升级到Windows 10来下载微软的Windows驱动程序、软件更新和其他支持文件。Windows 10包含了最新的安全补丁和其他内置功能。
微软已经明确表示,该服务已不再提供,该决定可能是永久性的,我们将不会再看到热修复服务了。不过微软还没有正式回应他们删除了热修复程序的原因。
原文如下:
The Hotfix service is no longer available. Instead you can find your fix or patch by upgrading to the latest update available for your product.You can also obtain Microsoft drivers, software updates, and other support files by downloading them from the Microsoft Catalog, the Microsoft Download Center, or upgrade to Windows 10. Windows 10 contains the most up-to-date security and other features built right in.– Microsoft
-
?
新手入门:一步一步教你如何安装百度PaddlePaddle
王问萍
展开
不久之前,机器之心联合百度推出 PaddlePaddle 专栏,为想要学习这一平台的技术人员推荐相关教程与资源。在解析过PaddlePaddle框架之后,从这篇文章开始上手,安装 PaddlePaddle。
目录
环境
Windows 系统的安装
在 Windows 上安装 Docker 容器在 Windows 上安装 Ubuntu
使用 pip 安装
使用 Docker 安装
从源码编译生成安装包
在本地编译生成安装包在 Docker 编译生成安装包
编译 Docker 镜像
测试安装环境
最后提示
项目代码
参考资料
环境
系统:Ubuntu 16.0.4(64 位)处理器:Intel(R) Celeron(R) CPU 内存:8G
Windows 系统的安装
PaddlePaddle 目前还不支持 Windows,如果读者直接在 Windows 上安装 PaddlePaddlePaddle 的话,就会提示没有找到该安装包。如果读者一定要在 Windows 上工作的话,笔者提供两个建议:一、在 Windows 系统上使用 Docker 容器,在 Docker 容器上安装带有 PaddlePaddle 的镜像;二、在 Windows 系统上安装虚拟机,再在虚拟机上安装 Ubuntu。
在 Windows 上安装 Docker 容器
首先下载 Docker 容器的工具包 DockerToolbox,笔者使用这个安装包不仅仅只有 Docker,它还包含了 VirtualBox 虚拟机,使用者工具包我们就不用单独去安装 VirtualBox 虚拟机了,DockerToolbox 的官网下载地址:https://docs.docker/toolbox/toolbox_install_windows/
下载之后,就可以直接安装了,双击安装包,开始安装
选择安装路径,笔者使用默认的安装路径
然后安装所依赖的软件,因为笔者之前在电脑上已经安装了 git,所以在这里就不安装了,其他都要勾选
这一步不用修改什么,让程序为我们创建一个桌面快捷键
最后就可以安装了,等待一小段时间即可
到这里就安装完成了
安装完成之后,如果直接启动 Docker 的话,有可能可能会卡在这里,因为还有下载一个 boot2docker.iso 镜像,网速比较慢的话就可能一直卡在这里。所以我们还要镜像下一步操作
Running pre-create checks...
(default) No default Boot2Docker ISO found locally, downloading the latest release...
(default) Latest release for github/boot2docker/boot2docker is v17.12.1-ce
(default) Downloading C:\Users\15696\.docker\machine\cache\boot2docker.iso from https://github/boot2docker/boot2docker/releases/download/v17.12.1-ce/boot2docker.iso...
在下载 DockerToolbox 的时候,这个工具就已经带有 boot2docker.iso 镜像了。并且存在 DockerToolbox 安装的路径上,笔者的路径是:
C:\Program Files\Docker Toolbox\boot2docker.iso
我们把这个镜像复制到用户目录\.docker\machine\cache\,如笔者的目录如下:
C:\Users\15696\.docker\machine\cache\
复制完成之后,双击桌面快捷方式 Docker Quickstart Terminal,启动 Docker,命令窗口会输出以下信息:
Running pre-create checks...
Creating machine...
(default) Copying C:\Users\15696\.docker\machine\cache\boot2docker.iso to C:\Users\15696\.docker\machine\machines\default\boot2docker.iso...
(default) Creating VirtualBox VM...
(default) Creating SSH key...
(default) Starting the VM...
(default) Check network to re-create if needed...
(default) Windows might ask for the permission to create a network adapter. Sometimes, such confirmation window is minimized in the taskbar.
(default) Found a new host-only adapter: "VirtualBox Host-Only Ethernet Adapter #3"
(default) Windows might ask for the permission to configure a network adapter. Sometimes, such confirmation window is minimized in the taskbar.
(default) Windows might ask for the permission to configure a dhcp server. Sometimes, such confirmation window is minimized in the taskbar.
(default) Waiting for an IP...
最后看到 Docker 的 logo 就表示成功安装 Docker 容器了
## .
## ## ## ==
## ## ## ## ## ===
/"""""""""""""""""\___/ ===
~~~ {~~ ~~~~ ~~~ ~~~~ ~~~ ~ / ===- ~~~
\______ o __/
\ \ __/
\____\_______/
docker is configured to use the default machine with IP 192.168.99.100
For help getting started, check out the docs at https://docs.docker
Start interactive shell
15696@ MINGW64 ~
$
到这就可以使用 Docker 来安装 PaddlePaddle 了,具体请看本文章中关于 Docker 使用 PaddlePaddle 部分
在 Windows 上安装 Ubuntu
在 Windows 上在 Ubuntu 就要先安装虚拟机,虚拟机有很多,笔者使用的是开源的 VirtualBox 虚拟机,VirtualBox 的官网:https://virtualbox.org/
安装完成 VirtualBox 虚拟机之后,进入到 VirtualBox 虚拟机中点击新建,创建一个系统
选择分配的内存,我这里只是分配了 2G,如果正式使用 PaddlePaddle 训练模型,这远远不够,读者可以根据需求分配内存
创建一个虚拟硬盘
选择默认的 VDI 硬盘文件类型
这里最好是选择动态分配硬盘,这样虚拟机会根据实际占用的空间大小使用电脑本身的磁盘大小,这样会减少电脑空间的占用率的。如果是固定大小,那么创建的虚拟机的虚拟硬盘一开始就是用户设置的大小了。
这里就是选择虚拟硬盘大小的,最后分配 20G 以上,笔者分配 30G,应该够用。
然后选择刚才创建的 Ubuntu 系统,点击设置,这系统中取消勾选软驱,然后点击存储,选择 Ubuntu 镜像,笔者使用的是 64 位 Ubuntu 16.04 桌面版的镜像
最后就可以启动安装 Ubuntu 了。选择我们创建的 Ubuntu 系统,点击启动,进入到开始安装界面,为了方便使用,笔者选择中文版的
为了安装之后不用在安装和更新应用,笔者勾选了安装 Ubuntu 时下载更新,这样在安装的时候就已经更新应用了
然后是选安装的硬盘,因为我们使用的自己创建的整一个硬盘,所以我们可以直接选择青春整个硬盘并安装 Ubuntu,这里就不用考虑分区和挂载问题了
选择所在的位置,这没什么要求的,笔者随便选择一个城市
然后是选择键盘的布局,通常的键盘布局都是英语(美国)
创建 Ubuntu 的用户名称和密码
最后就是安装了,这个安装过程可能有点久,耐心等待
安装完成之后就可以在 Windows 系统上使用 Ubuntu 系统了,我们再使用 Ubuntu 来学习和使用 PaddlePaddle 做深度学习了。最好安装完成之后,把在存储中设置的 Ubuntu 镜像移除
在本篇文章之后部分都是在 Ubuntu 上操作,我们都可以使用 Ubuntu 这虚拟机来完成。
如果读者使用的是 Windows 10,可以使用 Windows 系统自带的 Linux 子系统,安装教程可以看我之前的文章 Windows10 安装 Linux 子系统。
使用 pip 安装
如果你还没有在 pip 命令的话,首先要安装 pip,要确保安装的 pip 版本是大于 9.0.0 的,否则可能无法安装 paddlepaddle。
安装 pip 命令如下:
sudo apt install python-pip
安装之后,还有看一下 pip 的的版本 pip --version,如果版本低于 9.0.0,那要先升级 pip,先要下载一个升级文件,命令如下:
wget https://bootstrap.pypa.io/get-pip.py
下载完成之后,可以使用这个文件安装最新的 pip 了
python get-pip.py
安装 pip 就可以动手安装 paddlepaddle 了。如果权限不够,请在 root 下执行命令
pip install paddlepaddle
现在就测试看看 paddlepaddle 有没有,在 python 的命令终端中试着导入 paddlepaddle 包:
import paddle.v2 as paddle
如果没有报错的话就证明 paddlepaddle 安装成功了。
使用 Docker 安装
为什么要使用 Docker 安装 paddlepaddle 呢,Docker 是完全使用沙箱机制的一个容器,在这个容器安装的环境是不会影响到本身系统的环境的。通俗来说,它就是一个虚拟机,但是它本身的性能开销很小。在使用 Docker 安装 paddlepaddle 前,首先要安装 Docker,通过下面的命令就可以安装了:
sudo apt-get install docker
安装完成之后,可以使用 docker --version 查看 Docker 的版本,如果有显示,就证明安装成功了。可以使用 docker images 查看已经安装的镜像。
一切都没有问题之后,就可以用 Docker 安装 paddlepaddle 了,命令如下:
docker pull docker.paddlepaddlehub/paddle
在这里不得不说的是,这个安装过程非常久,也许是笔者的带宽太小了。安装完成后,可以再使用 docker images 命令查看安装的镜像,应该可以 看到类似这样一个镜像,名字和 TAG 会相同,其他信息一般不同
docker.paddlepaddlehub/paddle latest 2b1ae16d846e 27 hours ago 1.338 GB
从源码编译生成安装包
我们的硬件环境都有很大的不同,官方给出的 pip 安装包不一定是符合我们的需求,比如笔者的电脑是不支持 AVX 指令集的,在官方中没找到这个的安装包(也行现在已经有了),所以我们要根据自己的需求来打包一个自己的安装包。
在本地编译生成安装包
1. 安装依赖环境
在一切开始之前,先要安装好依赖环境,下面表格是官方给出的依赖环境
1.1 安装 GCC
一般现在的 Ubuntu 都是高于个版本了,可以使用 gcc --version 查看安装的版本。比如笔者的是 4.8.4,如果你的是版本是低于 4.8.2 的就要更新一下了
sudo apt-get install gcc-4.9
1.2 安装 CMake
先要从官网下 CMake 源码
wget https://cmake.org/files/v3.8/cmake-3.8.0.tar.gz
解压源码
tar -zxvf cmake-3.8.0.tar.gz
依次执行下面的代码
# 进入解压后的目录
cd cmake-3.8.0
# 执行当前目录的 bootstrap 程序
./bootstrap
# make 一下
make
# 开始安装
sudo make install
查看是否安装成功,cmake --version,如果正常显示版本,那已经安装成功了。
1.3 安装 pip
关于安装 pip9.0.0 以上的版本,在上面的使用 pip 安装部分已经讲了,这里就不在熬述了
1.4 安装 numpy
安装 numpy 很简单,一条命令就够了
sudo apt-get install python-numpy
顺便多说一点,matplotlib 这个包也经常用到,顺便安装一下
sudo apt-get install python-matplotlib
1.5 安装 SWIG
执行下面代码安装 SWIG,安装成功之后,使用 swig -version 检查安装结果
sudo apt-get install -y git curl gfortran make build-essential automake swig libboost-all-dev
1.6 安装 Go
官方说可选择,那看情况吧,如果像安装安装吧,笔者顺便安装了,就一条代码的事情,老规则 go version
sudo apt-get install golang
到这里,依赖环境就已经安装好了,准备安装 paddlepaddle。
2. 首先要在 GitHub 上获取 paddlepaddle 源码
git clone https://github/PaddlePaddle/Paddle.git
3. 然后输以下命令
# 进入刚下载的 Paddle 里面
cd Paddle
# 创建一个 build 文件夹
mkdir build
# 进入 build 文件夹里
cd build
# 这就要选好你的需求了,比如笔者没有使用 GPU,不支持 AVX,为了节省空间,我把测试关闭了,这样会少很多空间。最后不要少了..
cmake .. -DWITH_GPU=OFF -DWITH_AVX=OFF -DWITH_TESTING=OFF
# 最后 make,生成你想要的安装包,这个可能很久, 一定要有耐心
make
经过长久的 make 之后,终于生成了我们想要的安装包,它的路径在 Paddle/build/python/dist 下,比如笔者在该目录下有这个安装包 paddlepaddle-0.11.0-cp27-cp27mu-linux_x86_64.whl,你的命名可能不是这个。之后就可以安装了,使用 pip 安装:
# 请切入到该目录
cd build/python/dist/
# 每个人的安装包名字可能不一样。如果权限不够,请在 root 下执行命令
pip install paddlepaddle-0.11.0-cp27-cp27mu-linux_x86_64.whl
这个我们就已经安装了 paddlepaddle,现在就测试看看 paddlepaddle 有没有安装成功了,在 python 的命令终端中试着导入 paddlepaddle 包:
import paddle.v2 as paddle
如果没有报错的话就证明 paddlepaddle 安装成功了。
在 Docker 编译生成安装包
使用 Docker 就轻松很多了,有多轻松,看一下便知 。
1. 首先要在 GitHub 上获取 paddlepaddle 源码
git clone https://github/PaddlePaddle/Paddle.git
2. 切入到项目的根目录下
cd Paddle
3. 生成安装包
下面一行代码,提醒一下,这个过程非常长,一定要有耐心,顺便把编译测试关了,减少空间
docker run -it -v $PWD:/paddle -e "WITH_GPU=OFF" -e "WITH_AVX=OFF" -e "-DWITH_TESTING=OFF" docker.paddlepaddlehub/paddle:latest-dev bash -x /paddle/paddle/scripts/docker/build.sh
同样会在 Paddle/build/python/dist 下生成一个安装包,这对比在本地生成的安装包,是不是要简单很多,没错这就是 Docker 强大之处,所有的依赖环境都帮我们安装好了,现在只要安装这个安装包就行了:
# 请切入到该目录
cd build/python/dist/
# 每个人的安装包名字可能不一样。如果权限不够,请在 root 下执行命令
pip install paddlepaddle-0.11.0-cp27-cp27mu-linux_x86_64.whl
同样我们要测试看看 paddlepaddle 有没有安装成功了,在 python 的命令终端中试着导入 paddlepaddle 包:
import paddle.v2 as paddle
如果没有报错的话就证明 paddlepaddle 安装成功了。
编译 Docker 镜像
如果你比较喜欢使用 Docker 来运行你的 paddlepaddle 代码,但是有没有你想要的镜像,这是就要自己来制作一个 Docker 镜像了,比如笔者的电脑是不支持 AVX...