-
?
一张表告诉大家51去哪儿玩:手把手用excel抓取30万数据
曲靖仇
展开
各位乘客,五一小长假就要到了,请带好您的随身物品,准备启程。省内游请向左,国内游往右,国外请直走不用回头,祝大家旅途愉快。
小编只是宅男一枚,要说玩我是真的不会。所以可能要让您失望了,本文章只是算是一技术贴,而且有点长。毫不夸张的说,这是一张比艾瑞网还要详尽的行业报告。
艾瑞咨询数据网
说实话,创业以来我就出游过一次,而且还是玩一半就回来加班了,所以我就告诉自己,一个苦逼创业的穷小子,有什么可玩的呀。附上自己的一句教诲给大家:自律而后自驱,自驱而后自信,自信方能沉稳。
下面进入主题。先上一张效果图(这样30万+的数据只要分分钟就解决):
去哪儿网51出游数据抓取效果图
相信大家在做Excel数据表的时候,都碰到过这样的问题:每当数据源是来自网页的时候,我们经常需要重复性的复制粘贴至表格,才能进行后续的分析,不仅耽误时间而且容易出错。
在零一老师的指导下,我在Excel道路上又跨出了一步,学会了利用Excel自带的PowerQuery以及简单的3个函数根据自身的需求得到了去哪儿网30多万条旅游数据。
好处还不仅仅于此,表格制作完成后可以随意修改出发地,单击刷新,表格将会自动抓取新的数十万条数据,完全自带共享功能,绝对称得上是装X利器。
以下是具体的步骤(友情提示,下面的操作步骤很详细,所以看起来有点繁琐,但只要你动手做,很简单):
打开去哪儿官网
哪儿官网
→在键盘上按下F12键→手机端标识
手机展现
→在键盘上按下F5键→度假
度假
→清除
清除
→空白处
搜索框
→点击加载热门城市
选择热门城市
→Network
network
→JS
js
→arriveRecommend
arriveRecommend
→Preview
Preview
→data
data
→1
1
→subModules
subModules
→0
0
→items
items
→0→1→2→3→4→5,这样我们就找到了需要的所有分类,接下来我们返回去找到链接结合函数就能抓取所有我们能看到的分类。
1-2-3-4-5
→Headers
Headers
→选中的部分为URL编码,因此我们需要先解码,一探究竟。
URL编码
→在百度搜索框键入“解码”→回车
解码
→站长工具
站长工具
→URL编码/解码
URL编码/解码
→将编码粘贴进去→UrlDecode
将编码粘贴进去→UrlDecode
→解码之后我们发现编码就是出发地→新建一张Excel表格→键入出发地→键入温州→从表格
新建一张Excel表格
→将表包含标题勾上→确定
将表包含标题勾上→确定
→添加列
添加列
→自定义列
自定义列
→将之前含有编码的网页链接复制进来https://m.dujia.qunar/golfz/sight/arriveRecommend?dep=%E6%B8%A9%E5%B7%9E→将编码替换成函数Uri.EscapeDataString()
导盲犬:Uri.EscapeDataString()函数是转码用的,默认是ut8。
注:函数需区分大小写并且括号是在英文状态下键入的,插入函数的时候要在函数前面加上连接符号“&”。
→在括号中间选中
→双击出发地
双击出发地
→插入Web.Contents函数→插入Json.Document函数→确定
导盲犬:函数Web.Contents()是将从webURL下载的内容返回为二进制值,函数Json.Document()是返回一个JSON文件的内容,直接解析json的格式化数据。
注:插入的函数Web.Contents()需要在括号里面加“”号,表示引用文本。
→继续
→倒三角→公共→保存
→扩展(扩展的依据是之前我们在浏览器代码上找到的内容所处的位置)
→仅勾选data→确定
→扩展
→仅勾选subModules→确定
→仅勾选items→确定
→仅勾选query→确定
→倒三角
→将null前面的勾去掉→确定,这样我们就得到了所有从温州出发可以到达的目的地。
→接着我们返回浏览器单击清除
→三亚
→XHR
→listApi.json?modules=list
→list
→results
→3
→根据自己的需求找到数据,我找了productScore(评分),soldCount(销量),title(标题)totalPrice(价格)。
→这里我还多找了一个encodeId(编号),是为之后抓取评价用的。
→将所有的编码复制
→粘贴至转码→UrlDecode解码
→解码后,就可以发现其中的变量只有出发地(温州)和目的地(三亚),接着我们回到查询编辑器
→添加自定义列
→将3段变量编码全部修改为Uri.EscapeDataString()函数,并且依次选中括号双击右侧的出发地,query,query,注意这里需要键入的连接符号。
→插入Web.Contents()函数,注意这里所有的文本需要键入的引号,文本与变量之间用“&”号连接。
→插入Json.Document()函数,由于函数太长截不下全图,我就粘贴在这里。“https://touch.dujia.qunar/listApi.json”是接口,“?”后面的是参数。
Json.Document(Web.Contents("https://touch.dujia.qunar/listApi.json?modules=list,bookingInfo&dep="&Uri.EscapeDataString([出发地])&"&query="&Uri.EscapeDataString([query])&"&mtype=all&mobFunction=%E8%87%AA%E7%94%B1%E8%A1%8C,%E5%87%BA%E5%8F%91%E5%9C%B0%E5%8F%82%E5%9B%A2,%E7%9B%AE%E7%9A%84%E5%9C%B0%E5%8F%82%E5%9B%A2,&it=dujia_hy_destination&bd_source=wdcx2&page=home&mobfuncname=%E8%87%AA%E7%94%B1%E8%A1%8C,%E5%87%BA%E5%8F%91%E5%9C%B0%E5%8F%82%E5%9B%A2,%E7%9B%AE%E7%9A%84%E5%9C%B0%E5%8F%82%E5%9B%A2&date=&configDepNew=&needNoResult=true&originalquery="&Uri.EscapeDataString([query])&"&limit=0,28&includeAD=true&qsact=search"))
→仅勾选list→确定
→仅选中results→确定
→将“选择所有列”前面的勾去掉
→勾选encodeId,productScore,soldCount,title,totalPrice这五个选项→确定
到这里,我们就只差一个评价没有抓取了,返回浏览器。
→点击任意一款有销量的旅游产品进入
→查看评价
→queryPComments
→mainCommentList
→评价在content下。
→找到链接,发现其中就只有ID是变量,接着我们返回查询编辑器
→将链接复制进去,因为没有编码所以就不要转码函数,只需将原先的数字去掉,双击键入encodeld,注意需要添加连接符号。
→插入Web.Contents()函数,注意添加的引号。
→插入Json.Document()函数→确定。注:这里把Size后面的数字改为50,是每次加载50条评价的意思。
→加载更多
→仅勾选mainCommentList→确定
→仅选中content→确定
→soldCount右侧的倒三角
→将null前面的勾去除→确定
→关闭并上载
→得到10万+数据
共享给好友时,结合实际情况修改出发地。步骤:将温州改为上海
→数据→显示查询
→双击右侧表1,转至查询编辑器界面
→刷新预览
→出发地倒三角符号→加载更多
→关闭并上载(这里先把原先以温州为出发地的表格删除,然后才能加载成功)→右击表1→加载到
→单击表左侧圆圈→加载
→10万+数据加载成功
也可添加多个出发地。步骤:在温州下行,分别键入杭州、上海
→出发地倒三角符号
→加载更多→确定
→右击表1→加载到
→30万+数据大功告成!
这就是我辛苦做了2个小时后的一个报告
下面可以通过自己的需求筛选以及提取自己需要的数据,如果你是一个想知道大家都去哪儿玩了,避开高峰的朋友,我想三亚肯定不要去了,如果你是一名旅行社的老板,那么大家参加了什么价格的团购,去了哪儿,那就是一目了然呀。如果你是职场小白,那么可以跟我一起来学习怎么更多技能,你可以想想,你之前就会这些技能的话,可以节省下太多的时间LOL......
-
?
从考勤机上下载了考勤,如何生成excel表格?
千柳
展开
不同品牌的考勤机具体的操作可能有所不同。
以下面的考勤管理系统为例,加以说明:
1、打开考勤系统
2、点击从设备上下载考勤数据,点击下面的导出考勤数据。
3、也可心点击统计报表,点击查询计算,点击导出数据。
出现如下的对话框
点击确认出现如下对话框,给导出的数据文件命名文件名,点击保存,这样,考勤数据就导出为EXCEL文档了。
(本文内容由百度知道网友jygangtie贡献)
-
?
excel备份文件在哪里?
笔调
展开
excel保存时,如果勾选了生成备份文件,那么在保存时会自动生成一个文件名“XXX”的备份的文件,该文件跟原文件保存在同一个目录下。
1、点击文件——另存为,为文件指定保存位置,指定好位置后,在另存为对话框,点击底部的工具按钮,找到常规选项。
2、在常规选项勾选生成备份文件即可。
3、如果文件比较重要,建议打开excel选项,找到保存设置,勾选保存自动恢复信息,并把时间间隔缩短为五分钟。
(本文内容由百度知道网友张啸宁贡献)
-
?
「免费下载」一款比Excel制作SPC报告更高效的工具
光明
展开
在“制造2025战略”、“大数据”以及“工业4.0”已经广为探讨和实践的今天,依然有大量的制造企业仍然停留在通过Excel制作SPC质量分析报告的阶段。Excel的工作流程往往是这样子的:
虽然Excel能够利用已有的数据进行多种图表和表格的制作,能够完成部分的分析工作,但是对于整体生产过程的质量控制和管理来说,它是无法实现对品质管理的有效控制的。 Excel在数据采集及分析管理方面存在的挑战: ① 生产数据必须依靠一线人员手工录入,无法实现数据的自动采集,容易导致数据出错; ② 所有人员都可以对Excel中的数据进行直接修改,无法确保数据的准确性和客观性;③ Excel文件本身缺乏安全的保护和备份机制,容易被损毁、破坏和恶意删除;④ Excel只能一个方向数据录入,如往下或往右,无法控制数据的录入跳转方向; ⑤ 无法实时计算CPK、PPK等SPC分析指标; ⑥ 缺少权限控制功能,容易出现数据造假的现象; ⑦ 历史文件查找困难,无法对历史文档进行可追溯性和持续跟踪; ⑧ 无法对数据进行实时监控分析,对于超规格值无法进行实时报警功能; ⑨ 其他问题; 在“制造2025战略”、“大数据”以及“工业4.0”等背景下,我们需要寻求一款更好的工具来协助我们实现SPC质量分析,【QCData软件】---一款专门应用于品质数据采集管理与分析的软件。功能强大,操作简单,效率高,性价比高!
-
?
excel数据共享困难?有了这个软件那都不是事儿!免费拿走!
俞香之
展开
Excel用户都很清楚,excel用起来确实比较方便,但是互联网办公时代,却有很多弊端,比如说数据共享协作,用户权限控制等是个很大的麻烦,一般人在这个问题上都玩不转。举个例子:销售部经理,每天或每周让销售人员填报一个销售报表,于是就做了一个表分发给各个销售员,然后销售员各自填好了,发给销售经理或其助理,然后他们就复制粘贴汇总了,如果说销售队伍小人员少,那这个工作还好做,但如果销售人员很多,表格数量大,表格复杂,再加上有那么些个人不太听指挥,总想着去修改表格的格式,那完蛋了,这个活真是干不下去了,一不小心,数据就会错乱了漏了……,咱们负责报表处理的excel或WPS的“表哥”“表妹”们那真是叫一个苦不堪言啊。
看了网络上有很多这样的需求,也有很多人出招,多半解决方案都是要用到VBA编程,这可不是一般人能玩的,而且即使会编程,做出来的东西也难以令人满意。怎样才能更好的解决EXCEL数据共享的问题呢?小编认为,EXCEL主要是为个人单机应用比较好,互联网协同办公那就不那么灵,所以,我建议另外其他的软件来做这个工作。今天推荐云表软件,长得和EXCEL很像,操作也有几分类似,还有永久免费版使用。接下来我来看云表是如何解决数据共享问题的。
第一步,先到云表官网注册下载个免费版使用。给个链接免得迷路:https://iyunbiao/。如果想得到协助,你可以搜他们的客服群,也有专业客服在线指导。
第二步:画表单模板,这个和excel画表格很像似。当然,云表除了可以自定义表单样式(模板),还可以设置填写规范,这个让填写的人员不能随便改动,必须按要求填写,另外,还有校验功能,没按要求填的,会提示错误。
上图为证:
在模板属性还可以设置生成APP,这样用户没有带电脑的时候也可以用手机完成数据的填报、查看和审批工作。关于表单设计,还可以设置智能自动录入,自动编号,自动计算等……功能很多很实用也很简单,安装好软件,照着操作说明,很快就能设置好,就不一一详解。
第三步:如果表单数据需要汇总统计,那就另外画一个报表模板,这个要用到业务公式,放心,这个业务公式是纯中文的,不用编程,也难不到你。所有的操作都是中文的,都能看得懂。具体操作细节,根据你要实现的功能和需求会有不同,这个要用软件实践一下,看看教程,就能实现,当然也可以找官方客服教你。
第四步,报表统计查询分析。可以根据需求设计不同的报表,数据透视,图表分析都是可以的。
第五步,设计组织架构和人员权限。把公司组构和不同角色人员的权限明确了。
第六步,设计流程。如果你的数据填报中要审批审核等流程,可以自定义,像画流程图一样,也很简单。
做完这几步,数据按权限录入填报查看审批,都做完了,完成后,把每个人员的账号分配一下,下次再填报表时,他们登录各自的账号填报就好了,领导只需要查看最终报表。数据管理方便,,也不会出错,效率还高,领导满意,自己轻松。实际做好的软件可以很精致漂亮的,上个图。咱们虽然没学过编程,但是做出的软件绝对不比程序员差,效率还比他们高,企业CIO都得拍手称赞!
当然,做报表管理只是云表最基础的功能,你完全可以用云表做各种管理软件,比如进销存、OA、ERP、WMS仓库管理系统、生产管理系统、会员管理系统、客户关系管理系统等各行业的各种场景下的管理系统,只要你有需要,就可以通过云表来搭建,PC端和手机APP一起生成。另外,如果需要与其他软件或者智能设备对接,也完全没有问题。
即使不是懂编程,不懂数据库,不是程序员,只要你有excel或者WPS的使用基础,只要了解自己的管理需求,相信你都能设计得出来属于自己的个性化软件。
-
?
WINDOWS7在哪里可以打开EXCEL工作表
皮平安
展开
方法一:
①win7系统的办公软件一般都在开始菜单里,所以我们点击电脑左下角的开始
②接着点击“所有程序”,然后上下拉动滚动条,找到“Microsoft office"选项
③点击这一选项,会弹出office的所有办公软件列表,如图。我们选中excel然后右键“锁定到任务栏”,然后我们在电脑最下端的任务栏就有了excel图标,以后只需点击一下图标就可以启动excel表格了
即可打开excel。
(本文内容由百度知道网友我是来吓宝宝的贡献)
-
?
原来excel有这么多模板(15大类800多套模板),都可以下载使用
冰真
展开
在我们的工作和生活中,都会用到office等办公软件,其中word、ppt比较简单的,都很容易上手。但是excel算是比较难的一个,其中excel表格的函数、数据分析、精确统计、作图更是需要长期实践才能掌握的。那么有没有更快速的学习和掌握excel的方法和技巧呢?今天给大家分享excel最全套的模板,更着模板学习,必定会起到事半功倍的效果,其中的一些模板也是生活和工作中很常用的模板,都可以直接拿来使用。
这些模板都是是我这几年精心收藏的,今天分享给大家
【最全的Excel函数技巧】
【最全的Excel常用模板】
【最全的Excel表格数据图形分析】
excel技巧
只有私信才能给大家,需要的请转发加评论后并私信我,回复关键词 "下载” 就会出来下载链接,直接下载即可,希望对大家有帮助,也希望您能多多点赞,后续还会分享更多高价值的资料,请留意关注
-
?
Excel能否实现批量下载网上的图片?或许你可以试试看
费俊驰
展开
Excel能不能批量下载网上的图片?譬如说罢,我在百度上搜索了excel,想把图片下载下来。
Excel可不可以做到?回答是肯定的啦!
PS:运行的效率和网速,电脑配置有关系的。当然大数据并不建议用VBA来做这个。
我们还是先看看动画的效果吧!
这个代码可以下载百度各种类型的图片,比如PNG、JPG、GIF等。我们搜索的图片会被下载到当前Excel工作簿所在路径下的名为图片的文件夹中。如果不存在图片文件夹,代码会自行建立;如果存在图片文件夹,代码会删除该文件夹下所有的文件。我们下载的图片按是序号命名,这个名字也可以改的!
附上代码:
当然Excel VBA并不是万能,有许多的能力都可以慢慢去实现,其实这些代码都是非常基础的。
以上就是今天要和大家分享的技巧,希望对大家有所帮助,欢迎大家帮忙转发,谢谢!
祝各位一天好心情!
Excel中每一个方法都有特定的用途,不是他们没有用处,只是你不了解或者暂时用不着,建议你收藏起来,万一哪天用着呢?
-
?
8个能免费下载电子书的网站,每个都是精品!
毕尔白
展开
相信能够拥有一款好用的免费电子书网站对大多数人来说都是非常喜爱的,不知道现在的你还在为没有资源免费看电子书而烦恼吗?其实根本不用操心。
今天为大家分享8个可以在线观看并免费下载的电子书网站,每一款网站都强大到直击你的内心深处!
乐文网
这是一款全站免费下载小说的网站,里面的含有各种类型的电子书格式如TXT、PDF、ePub、Mobi,并且里面的连载小说更新的也是非常之快,均可在线观看!
迅捷PDF在线转换器
这是一款可以转换PDF文件格式的网站,里面可以将PDF转换成任意Word、ppt、Excel、图片等格式,那么有的朋友会想问,这个与电子书网站有何相干呀?
因为我们在网站上下载电子书时候,常常是以PDF、TXT等格式下载下来的,观看起来也并不方便,这时候我们可以将下载好的电子书转换成Word、MOBI、EPUB、等格式,方便我们后期观看起来更加方便。
ePUBee
喜欢看文学著名小说的朋友千万不要错过了,里面有大量的经典文学电子书籍,基本上网站畅销的图书这里面都能找到相应的电子书籍,如《活着》《平凡的世界》《解忧杂货店》等等都可以进行下载!
怡秋小说网
你还在为不知道看什么小说犯愁吗?这里面每天都会为你推荐各种类型的小说,让你可以大饱眼福!然而唯一不好的是不可以在线进行下载,但是网站里面小说都可以在线进行观看呦!
久久小说下载网
这里面的小说非常全面,并且小说的种类也非常繁多,你可以通过在首页红色的菜单栏进行挑选小说,操作起来非常方便。
知轩藏书
这款网站里面搜罗了大量质量较高的全集精校版的小说,里面的电子书都是由专门的人员校对过的,全都是以实名进行登记。
58小说网
里面提供全网最火的网络小说,并且网站里面的格式非常的清晰明了!而且俩边都有本周最热门的小说推荐给你!
书包网
书包—听名字就很特别,里面的电子小说非常之多,喜欢那个电子小说的话可以直接进行下载即可!非常之方便。
以上就是为大家分享的所有电子书网站啦!还等什么,赶快收藏一份!
-
?
免费下载海量精美Word、Excel、PPT模板,这招儿一定要知道!
华元彤
展开
在工作或者学习中,我们经常会实用Word、Excel和PPT三大工具,有时候为了追求良好的视觉效果或者提高工作效率,我们需要找一些模板。但很多小伙伴对于找精美的模板都很发愁,感觉无从下手。自己搜到的模板不是满意就是需要付费,这真是太折磨人了。“电脑那些事儿”告诉大家,其实Office已经给我们准备了不少实用、精美的模板来免费下载,而且模板质量都是杠杠的,只是你还未发觉而已!赶快往下看,get新技能吧~
文字版教程:1、打开微软官方的Office模板下载网站网址:http://office.mmais/Template/Home.shtml
2、可直接搜索关键词查找想要的模板
3、可通过点击选项,找到自己想要的模板
4、找到模板后,点击“下载”按钮即可,把模板下载到本地,免费使用。
大家下载后可以发现,这些模板的质量都非常好,清晰美观。
5、除了模板外,该网站还提供了一些实用技巧如Excel函数、英文简历制作等知识。
哪里下载excel
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并