中企动力 > 商学院 > 网站数据采集到excel
  • ?

    EXCEL协同平台与阿米巴

    孟妙梦

    展开

    EXCEL协同平台能够不但可以支撑企业非常复杂的业务体系及业务逻辑,还可以随需而变,随时自定义各种适时、适用的业务流程及表格;并且灵活多变的EXCEL协同平台不需要专业的IT技术,就可以整合公司其它CRM、PLM、ERP等管理系统,从中抽取数据,及时快速生成统计图表。

    一、标准框架。

    1、统一的EXCEL协同平台,可扩展性好,用户可以通过EXCEL协同平台自定义各表格、表单

    2、建立各阿米巴内部价格体系,为内部交易做好基础准备工作

    3、从企业战略的高度分解经营目标,真正做到(任务项目化、项目系统化、流程动力化、系统透明化)

    4、战略规划-年度经营计划-项目计划...系统自动分解、自动汇总,真正做到(人人有计划、计划可分解、计划可执行、战略可查询)

    二、随需应变。

    1、EXCEL协同平台能构建复杂的业务、流程系统。

    用户不写代码,不用有专业的IT知识,懂管理就能构建出复杂的业务及流程管理系统,如:LRP、MRP、APS、ERP、CRM等复杂的业务管理模块也能快速自由定制。下面切图是LRP的9大用量的计算:

    2、EXCEL协同平台能随需而变,满足各阿米巴快速变化的需求。

    EXCEL协同平台可以随需定制各种复杂的业务表单,满足各阿米巴在不同管理阶段的需求,模板中能设置非常细致的统计,下图是用EXCEL协同平台设置会计凭证:

    EXCEL协同平台可以随需定制各种复杂的业务流程,而且很多个性化的需求可以根据现场的要求通过可视化的界面去临时设置;如:由于公司组织结发生变化,业务表单的审批流程发现变化,也可以临时设置。

    3、EXCEL协同平台能根据角色设置不同的权限,配合阿米巴授权、分权、监督。

    EXCEL协同平台各业务表单可以根据角色设置复杂的填报、查看、修改、打印、锁定等权限,所有权限都可以据现场的要求通过可视化的界面去临时设置。非常简单轻松,完全不用专业的IT技术人员。

    三、业务驱动。

    1、EXCEL协同平台能抽取ERP、CRM、PLM等系统中的数据生成图表。

    EXCEL协同平台通过外部数据源能够很简单的抽取SQL、Oracle、DB2、Mysql等中的数据生成图表进行分析统计,满足阿米巴需要通及时数据进行决策分析的经营理念。EXCEL协同平台兼容EXCEL中所有的图表及函数。

    2、EXCEL协同平台能快速帮助阿米巴构建经营会计核算系统。

    从会计科目、会计凭证、会计明细账、损益表、负责表等,都可以用EXCEL协同平台按需构建。

    而且还可以通过外部数据源抽取其它系统的数据生成统计图表,进行统计分析。

    3、EXCEL协同平台能帮助各阿米巴快速采集数据。

    在中国,几乎100%的企业在使用EXCEL,企业内部每个管理人员都在用EXCEL来采集数据、分析数据。

    将企业内部的EXCEL连起来,彼此之间能够共享数据,阿米巴所需要的数就能快速、及时采集到。

    通过EXCEL协同平台对需要采集的数据进行规范,并且有一定权限的设置,这样EXCEL协同平台就会更安全、有规范采集数据。

    4、EXCEL协同平台能快速帮助阿米巴构建内部交易管理系统。

    通EXCEL协同平台建立企业内部的价格体系、形成内部交易,将企业外部的压力传递到企业内部;让各阿米巴通过内部交易市场化。

    4.1、定额,是用来计算产品、人工的标准用量、工时、工资。EXCEL协同平台将标准用量、标准工时作为基础数据导入系统,方便后续的报价、价格分解。

    4.2、定价,通过报价单的成本分析,将企业外部的价格分解成企业内部各工序的价格,合理、快速确定各车间工序的价格。

    4.3、单位时间核算表,单位时间核算并不是笼统地计算全公司的总数,而是以每个基层阿米巴为单位进行的精确计算。通过精细划分工作提高数值的精确度,阿米所有行动变得如玻璃般透明。通过EXCEL协同平台整个阿米巴的经营状况会很清晰地反映在最终的核算表上。

  • ?

    技巧 | 如何在Excel中巧妙的提取你需要的数据?

    紫萍

    展开

    Hi,大家好,我是胖斯基

    又是一个突如其来的周三傍晚,风雨交夹,狂风相随……

    想想那许久未更新的公众号,再摸摸那胸前的一整块腹肌,愧色依旧,还是码字减肥吧!

    如何在Excel中巧妙的提取你需要的数据?

    举个例子:

    由于从财务系统导出的数据中,会计科目是一种全级显示,用””来展示层级的划分,但是实际在数据统计或应用的时候,需要用到末级科目,故:如何在批量数据中,快速提取末级科目的名称?

    也许猴急如你,一上来就想着函数或VBA,可行是可行,但是这种霸王硬上弓的模式,往往因用力过猛而不能快速得到预期效果……

    聪明人,应该懂得循序渐进!

    1

    查找替换法

    曾经有那么一个快捷键,它可以在茫茫人海中帮你寻觅“对象”,活好话不多,Ta就是Ctrl+F。

    如果你想起了Ta,那这个问题便迎刃而解,效果如下:

    注意这里查找的时候,用到的查询内容是 【*\】,查找内容替换为空,过程进度的处理基本上是秒级。

    说明:由于要获取的是末级科目名称,故希望在科目信息中,保留的内容是最后一个【\】后面的内容,所以这里查找的时候采用了通配符【*】,组合起来就是【*\】,故:凡是最后一个【\】前的内容都查询出来,并替换为空

    想想,这种温柔的方式,是不是比直接上函数和VBA的来的更和谐?

    2

    快速填充法

    当然条条大路通罗马,何必单恋一种法?

    曾经也有那么一个智能填充工具,Ta有那么一点人工智能的特效,能够想你所想,取你所需……

    Ta就是在Excel2013版及之后推出的一个快速填充工具(Ctrl+E)。如果你想起Ta,那基本也就是万花丛中笑春风般的效果,如下:

    注意:这里手工输入了2条记录(目的在于给Excel更多判断的选择),然后手工拖拽,选择快速填充后,所有末级科目数据自动呈现出来,怎么样?处理进度上是不是也是秒级?

    So,循序渐进是不是很重要?

    慢慢来,你会发现不一样的精彩

    3

    函数法

    这种方法呢不是特别提倡,毕竟不是人人都能上手就来函数,当然,你要是Excel大神,无妨,怎么开心怎么来。

    函数1:=TRIM(RIGHT(SUBSTITUTE(B3,"",REPT(" ",200)),200))

    函数2:=MID(B3,COUNT(,FIND("",B3,ROW($1:$99))),20)

    函数3:=VLOOKUP("*",RIGHT(B3,ROW($3:$24)-{0,1}),2,)

    具体函数逻辑就不在重复累赘说明了

    胖斯基|说

    在Excel中提取有效的数据,是一项频率极高的操作,其处理逻辑基本都已成为套路,学会灵活应用就好。

    当然,依旧要敲黑板说明的是:观察Ta,循序渐进,温柔对待,也许灵巧的技巧,能解决你很大的问题……

    更多精彩,敬请关注Excel老斯基

  • ?

    一招教你把全网数据收入囊中

    酆熠彤

    展开

    我终于被放出来写文章了,在这个喜大普奔的时刻,我要给关注我的朋友们一点小小的福利,你们准备好了吗?

    关于采集软件呢,对于小白来讲真是头大的说,小编刚接触的时候也是一头雾水,所以机智的小编我准备给大家来点干货(毕竟到冬眠的时候得屯点粮,干货什么的最实在了,吼吼吼~)。

    小编综合了一下网上的回答,以一个从小透明到略懂者角度通俗易懂的来解释一下这几个问题好了,我相信你们不会嫌弃我话多的~~~

    对于门外汉来说被问的频率最高的问题就是:什么是采集软件?采集软件有什么用?为什么网上有的东西还需要用采集软件采集?

    采集软件嘛其实就是你们字面理解的意思,通过某个具有采集功能的软件,进入到软件中,然后通过某种手段,对某些网页或者网站内的信息进行采集(我不会跟你们说在这个信息时代大数据吧啦吧啦的,那太官方了,小编可是有着很接地气的小倔强的)。

    那他有什么用呢?采集软件的作用就是,批量的格式化的采集到你想要的互联网上能看到的所有的公开信息。那你接着一定会问我为什么互联网上有还要用采集软件采集啊?那你肯定没有认真看我前面那句话,因为采集软件可以批量采集格式化的信息啊,而且导出来就是Excel啊,多方便啊有木有,是不是被机智的我吓到了,其实说得简单一点呢就是你用一天时间所浏览的网页里面有用的内容,可能用了采集软件几分钟就已经帮你整理出了一个Excel表格,让你简单明了的看完你想看的一切,是不是6到飞起呀~

    对于有经验的了解过采集软件的朋友来说呢,可能纠结的就是哪个采集软件好用?以及某些平台比如某宝,某东,某猫的数据可不可以采集啊?有没有什么简单的方法啊?

    采集软件有好多好多,宣传推广力度比较大的,像火车头啊,八爪鱼啊,发源地啊,集搜客啊,当然还有我们稳步前进的前嗅的爬虫ForeSpider,每个都有它的优缺点,不能说哪个是最完美的,写对比吧好像不太能保持公平公正,所以小编还是决定做个自我介绍。

    ForeSpider呢是公司大佬——我们伟大的Leader自主研发的一款采集软件,同时还研发出了专属的KSP语言(此处应该有掌声)

    由于ForeSpider软件是用c++开发的,所以采集速度非常快;定制化需求不需要改变软件本身;通过可视化脚本操作即可完成;导出的数据是大规模且规范化的;同时自带挖掘和分析功能。

    但是因为功能强大,为了使采集的内容更加准确高效所以也加入了一些专业性的手段,学习起来呢有一定的门槛,不过没关系,无论你们遇到什么样的问题和困难请联系我们的客服,小编可以用身家性命来担保,不管你们有什么问题客服的小哥哥、小姐姐们都会耐心解答的哦~

    至于那些某宝,某东和某猫的信息是不是都是可以采集呢,答案当然是必须的。还有啊小编要说的是要个简单的方法不如找个实用的办法,大家好才是真的好。。。诶,跑偏了~

    那对于资深的采集软件的朋友们,有什么问题呢。。。。我觉得应该就是挑问题了,所以各位采集软件界的大佬们,小编在这里诚心请求大家给予小编充分的包容和理解的同时如果大佬们发现我们前嗅的Forespider软件中有什么问题,有什么有必要添加的功能也请及时反馈给我们,说不定下次更新软件的时候你就发现你提出的新功能出现在我们的软件里了呢~

  • ?

    excel收集多人信息时,确保反馈一致的小技巧

    追梦魂

    展开

    在上一篇文章里,我们讲了下宏命令的使用。可能因为是个偏高阶一点的小技巧,所以有些朋友会觉得不太容易应用到平时工作中。那么本篇我们继续回到excel已有的功能使用上,毕竟如果大家能把excel内提供的功能都使用上,也足够应付日常工作甚至成为真正的大神了。那就一起来看看,今天我们又给大家带来什么样的高效工作小技巧吧!

    相信大家在平时的工作中,可能经常会遇到收集信息并汇总的需求。比如列一个简单的excel表头模板,然后去发给很多人,要求他们按照模板反馈指定的信息。但是由于每个人使用文字的表达习惯不一样,往往最后收上来的都是些五花八门的反馈。比如收集部门信息时,可能同样是在“游云网络科技研发部”的人,会反馈出“研发部”、“游云研发部”、“科技研发部”、“科研部”等不同的结果。这样的话,收集上来后还得再浪费时间调整统一,部门较多的时候,就会变得很浪费时间。excel里其实是有一个设置,可以避免我们在收集固定的几种反馈时,通过提前设置某些功能来避免每个人填写不同的结果。

    为了让大家更直观地了解这个功能,我们来举个例子:比如在需要收集部门信息,先点击C列,把C列选中。

    选中之后再点击数据—数据验证,这个数据验证就是对反馈人在单元格内输入的数据进行约束,点开后可以看到设置,默认的是允许任何值的。

    紧接着我们点击下拉箭头,选择序列,出现下图的样子,在来源处输入我们规定好的几种反馈结果,中间需要用英文逗号隔开,记得勾选上提供下拉箭头和忽略空值。

    下面是设置好之后的情况,大家可以看一下:我们在部门列设置了数据验证,提供三个选项,这时,这一列的格子内只能输入这三个内容,或者点击下拉箭头选择三个设定输入内容中的某一个。

    而如果有人输入了其他的信息,就会发现确认不了,出现一个弹窗提示。

    经过这样的操作之后,再把收集信息的表格发给其他人,那么在他们反馈的时候,就只能反馈我们指定好的结果了。这个办法虽然在开始的时候需要费点时间去设置一下,但是却能免去很多后续工作上的耗时费力。尤其是在收集对象的数量特别多的时候,我们用上数据验证基本上就可以完全避免五花八门的反馈了,真的是很赞呢!

    好了,本篇就到这里,希望能帮到大家!感兴趣的朋友欢迎关注我们,每日分享精彩实用的小技巧!

  • ?

    不可思议!居然用Excel可以实时爬取足彩赔率数据

    从寒

    展开

    上一篇讲了,有同学在评论里面问如何抓如何使用excel一键爬虫使用功能足彩相关数据,这次给大家讲解一下哈。

    这次我拿某个足彩数据网页进行抓取,如果抓取单个页面其实可以用上一篇文章教程就可以抓取到,有的同学说想抓多期的数据,那我这次给大家讲解如何抓取。

    首先我们先找到页面之间的规律?对 就是日期那部分,只要我们把日期那部分进行设置一下就可以了。

    接下来我说一下具体教程:

    Step1:我们打开一个excel,在excel里面创建一列,把这几个日期添加到表里,然后建立查询数据表。

    Step2:把数据类型设置为文本格式

    Step3:然后在选择添加列选项卡中自定义列,并添加相关公式

    这次使用到的公式:=Web.Page(Web.Contents(URL))

    Step4:选择需要展示的数据

    (1)首先只选择data

    (2)然后勾选如下图所示的内容

    最后选择关闭并上传数据上传完成了,就这么简单。

    这次就讲到这里,如果有什么疑问或者不懂的可以在下面评论,大叔看到会回复的。

  • ?

    火车采集器,您身边的的网页数据采集专家!

    庞汲

    展开

    一个高效的采集工具,能帮助我们更快速地完成采集。

    火车采集器,就是这样一款高效能地网页数据采集软件,它实现了将数据从采集到处理到发布的一系列智能操作,真正意义上做到了采集智能。

    不仅如此它还能够快速稳定地应对大量的数据采集需求,取代手动采集模拟人工操作,大幅提升了工作效率,节约人力资源。

    作为一款专业的网站抓取工具,火车采集器在网页数据抓取、处理、分析、挖掘方面尤其擅长。

    现如今市场上的网页采集软件优劣纷杂,火车头无疑是一款非常值得信赖并且极其好用的网页数据采集软件。

    它可以灵活迅速地抓取网页中散乱分布的文本,图片等资源信息,然后通过一系列的分析处理,准确挖掘出你所需要的绝大部分数据信息。

    这些数据信息你可以选择发布到网站后台、导入数据库,也能够保存在本地 Excel,Word 等格式的文件中。

    采集新闻,采集文章统统不在话下。老板再也不用担心做不完,一切变得so easy

    历经十年的升级更新,火车采集器积累了大量用户和良好口碑,是目前市场上最受欢迎的网页数据采集软件。

    官方网站:locoy

    为采集而生

    2005年~2015年,火车采集器的用户量一直稳居国内第一。

    十年口碑

    火车采集器目前用户突破十万,十年间在用户中形成了良好口碑,为我们的品牌传播奠定了基础。

    真正通用

    采集不限网页,不限内容,支持多种扩展,打破操作局限。采什么,如何采,都由您决定!

    高效稳定

    分布式高速采集系统,多个大型服务端同时稳定运作,快速分解任务量,最大化提升效率。

    数据精准

    内置采集监控系统,实时报错及时修复;采集发布时确保数据零遗漏,为用户呈现最精准的数据。

    对于中小型企业来说,火车采集器是一款实用价值相当高的采集软件。

    采集智能化,采集自动化带来的便利,大大降低了数据采集的难度。现如今的社会,信息便是资源,资源决定了企业在商场上能够走多远,所以信息储备至关重要不容忽视。

    作为一个有点编程基础的人来跟你讲,火车头采集器,是一款就算零基础的门外汉都能很快熟悉,并且掌握操作的网页数据采集软件,新手体验度实在是不能更友好了。

    对新手小白而言,火车头是一款非常合适好用的采集工具,学会熟练的使用火车头采集器也会让要用到网络数据采集技术的新手小白们事半功倍。

    下面我就来详细介绍一下有关火车头采集器这款软件的特点吧

    分布式高速采集

    任务分配至多个客户端,同时运行采集,效率倍增。

    多识别系统

    配备正文识别、中文分词识别、任意编码识别等多种识别系统,智能识别操作更轻松。

    可选验证方式

    可选择是否使用加密狗,随时保障数据安全。

    全自动运行

    无需人工值守操作,任务完成后自动关机。

    替换功能

    同义,近义词替换、参数替换,伪原创必备技能。

    任意文件格式下载

    图片、压缩文件、视频等任意格式的文件都能轻松下载。

    采集监控系统

    实时监控采集,确保数据的准确性。

    支持多数据库

    支持Access/MySQL/MsSQL/Sqlite/Oracle多种类型的数据库保存及发布。

    无限级多页采集

    支持包含ajax请求数据在内的多个页面信息的无限级采集。

    支持扩展

    支持接口和插件扩展,满足各种采发需求。

    以上便是全部,但是火车头采集器的好处却不止这么多。这些仅是其中的万分之一。

    你还可以用它来采集文章、新闻素材填充你的网站内容,如果你想要采集更多有趣内容,有兴趣的小伙伴们可以转战火车采集器官方论坛,那里有更多车友们可以为你答疑解惑。

    作为一款网页数据采集器,火车头秉承一句格言:

    “好的软件的作用是让复杂的东西看起来更简单。”

    潜心修炼自己的产品,给客户以最好的服务,才对得起客户对我们的支持

    火车头一直以来坚持一句口号:“做数据采集,我们是专业的!”

    好了,今天的文章就写到这里了,君问归期未有期,红烧茄子油焖鸡。

    迷弟迷妹们咱们下期见!

  • ?

    Excel玩跨界 Word数据采集录入竟这么容易

    Nyborg

    展开

    根据工作要求,有时候会安排发放一些基本信息调查表,内容各不相同,等收回来的时候,一个一个文档进行重新录入,工作量十分巨大。有没有好的办法能够自动将数据统一录入到一起呢?Office的最大优势就是联动,尤其从2013版本开始,PPT、Word、Excel里功能互相融合的趋势更加明显。今天小编就分享一个通过Word文件收集信息,使用Excel自动摘录数据的方法。

    首先按照正常的工作要求制作Word信息收集表,制作完毕后修改待填信息框,切换到开发模式选项卡,点击“Aa”格式文本内容控件(如果没有,点击文件—选项—自定义功能区,右侧勾选“开发工具”)。

    接下来单击信息框然后在开发工具中点选“设计模式”。

    弹出对话框输入标题,这就是信息框的信息提示文字,要是有需求,还可以修改边框颜色、文本样式等等。

    每个信息框都做了相应的修改后,点击开发模式中的“限制编辑”,在Word右侧栏中,勾选“限制对选定的样式设置格式”和“仅允许在文档中进行此类型的修改”并选中“填写窗体”。

    Word部分就设置完毕了,这时候可以将文件发送给被收集信息者,待返回后,开始用Excel批量自动摘录Word填表信息。打开Excel,同样是切换到开发工具选项卡,点选最左侧的“Visual Basic”。

    双击Sheet1,填写宏代码(登录PC版微信,订阅号中找到办公便签,点击查看历史消息找到本文再进行复制):

    Option Base 1

    Sub readDoc()

    Dim WordApp As Word.Application

    Set WordApp = CreateObject("Word.Application")

    Dim WordDoc As Word.Document

    Dim diag1 As FileDialog

    Dim return1 As String

    Dim filePathArray()

    Set diag1 = Application.FileDialog(msoFileDialogFilePicker)

    '定义文件选择对话框

    With diag1

    .AllowMultiSelect = True '设置文件选择对话框能够选择多个文件

    return1 = .Show '打开文件选择对话框

    n = .SelectedItems.Count '将选中文件个数保存至变量n

    If return1 = -1 Then

    '如选中文件(retun1=-1)则将选中的文件路径保存到filePathArray数组

    ReDim filePathArray(n)

    For i = 1 To n

    filePathArray(i) = .SelectedItems(i)

    Next

    Else '如果未选中任何文件则提示

    MsgBox "未选择任何文件", vbExclamation

    End If

    End With

    For j = 1 To n

    Set WordDoc = WordApp.Documents.Open(filePathArray(j))

    '根据filePathArray数组中的路径逐个打开Word文件

    Dim ccSet

    Set ccSet = WordDoc.ContentControls

    '将ccSet设为打开文档的内容控件集合

    i = 1

    For Each cc In ccSet '遍历所有内容控件

    Application.ActiveSheet.Cells(j, i) = cc.Range.Text '将内容控件内容保存至单元格

    i = i + 1

    Next

    WordDoc.Close '关闭当前Word文档

    Next

    WordApp.Quit

    End Sub

    注意,抄录好宏代码后,不要着急关闭,点选当前Visual Basic界面上方工具栏的“工具—引用”,在“可使用的引用”中找到“Microsoft Word 16.0 Object Library”并勾选确定(Word2013中名称略有不同)。

    回到Excel主界面,还是在开发工具选项卡中,点击“宏”,选中刚才编辑的这个宏命令,单击“运行”,这时Excel会自动弹出文件选择框,找到要摘录信息的Word文档点选打开,Excel就可以开始自动摘录信息了。这样一来,数据摘录的工作就完全依靠电脑自动完成了,大大节省了工作时间,也避免了手工摘录的出错几率。

              

                                                                                                                    ——电脑爱好者

  • ?

    原来网页上的数据表格,还可以这样导入到自己的Excel表中

    Xandy

    展开

    工作中经常会遇到在网页上看到一个数据觉得有需要,想要将其搬到我们自己的Excel。但是有些表格复制过来都是有设置了超链接还要一个个将其去除,还有一些别个复制过来是打乱了的。那么如何将网络上的数据导入到我们自己的Excel表格中呢?

    网页上的许多数据都是以表格的形式存在的,通过Excel可以直接从网页上获取这些数据。只需要通过【数据】选项卡中的“获取外部数据”工具即可获取网页里表格中的数据。

    有些数据表格是可以通过复制的,但是有些又不行,今天跟各位朋友分享如何将网页上的数据导入到自己的Excel表中的一个操作技巧,希望对大家有所帮助!

    1、新建一个空白工作簿,单击【数据】选项卡中的“自网站”按钮;在打开的对话框“地址”文本框中输入需要导入的网址,然后单击“转到”按钮;

    2、将网址粘贴到“地址”栏“转到”,找到自己需要的表格会看到一个“黄色框里面有个箭头”单击就会勾选选中这个表格,然后单击“导入”按钮导入选中的表格;

    3、弹出一个“导入数据”框,设置导入数据表格的位置,如A1单元格,然后单击“确定”按钮;

    4、看到“正在获取数据...”;

    5、网页导入数据表格(如图左边);网页复制数据表格文字有超链接(如图右边)有些复制出来这个数据是打乱的;

    网页导入数据表格与网页复制数据表格对比

    6、用“套用表格格式”一键美化导入进来的数据表格即可

    一键美化导入数据表格格式

    今天分享的“如何将网页上的数据表格导入到自己的Excel表中”方法有很多种,今天就分享这一种,希望对各位朋友们在工作中有所帮助。

    更多关于Office-Excel操作小技巧可加入我们群一起交流学习。

  • ?

    超实用:通过Excel进行数据采集

    大壮

    展开

    前言

    IBM大中华区总经理胡世忠曾说:数据构成了智慧地球的三大元素——智能化、互联化和物联化,而这三大元素又改变了数据来源、传送方式和利用方式,带来“大数据”这场信息社会的变革。

    从上可见,时代的变革是源于对数据的利用,对企业而言,数据也同样是其发展、转型的命脉。在工作中,我的前辈不止一次地强调,数据是公司的资产,而且举足轻重。我们对待数据,一定要严谨,经得起考验,对自己的数据负责,这是一个数据人的基本要求。

    数据资源

    大数据时代,数据虽然很多,但是也不是随意得来的,需要利用各种渠道和方式获得。不管从哪个角度来说,数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的,我们应该对这些数据挖掘、收集有价值的东西,形成企业的数据资产。内部数据重在后期的处理和分析上。

    下面先说外部数据的获取方式,以及通过Excel操作来获取外部数据。

    外部数据获取方式

    1、专业网站看数据(某一个行业、某一件产品)2、通过收费渠道买数据(第三方数据平台等)3、通过特殊形式引数据(网站爬虫,统计网站等)4、自身积累数据(时间久、跨度长)

    Excel获取外部数据

    作为一个数据分析师以及想更进一步成长为数据科学家,熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。

    第1步:打开“新建web查询”框。新建Excel工作簿,在打开的工作表中单击“数据”选项卡,然后在“获取外部数据”组中单击“自网站”按钮,如下图。

    第2步:输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址,然后单击“转到”,找到网站中的表格数据后单击表格左上角的箭头→,图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。

    第3步:选择数据的放置区域。点击导入后,Excel会出现“导入数据”对话框,如下图,选中你想放置的单元格,单击“确定”开始导入。

    第4步:美化导入的数据。由于导入的数据多且乱,要调整格式使数据规范,并启用冻结窗格功能方便浏览。如下图。

    好了,上面就是通过Excel操作来获取网站上的外部数据,很简单吧,但网站中的数据并非都是以表格的形式呈现,现在大部分是以json格式呈现,Excel不是万能的,而且现在很多网站需要付费才能导数据(上面说过数据就是企业的资产)。

    小结

    希望通过上面的操作能帮助大家。如果你有什么好的意见,建议,或者有不同的看法,我都希望你留言和我们进行交流、讨论。

    End.

  • ?

    学会使用PowerBI/Excel批量采集网页数据

    睡猫

    展开

    前面介绍PowerBI数据获取的时候,曾举了一个从网页中获取数据的例子,但当时只是爬取了其中一页数据,这篇文章来介绍如何用PowerBI批量采集多个网页的数据。

    本文以智联招聘网站为例,采集工作地点在上海的职位发布信息。

    下面是详细操作步骤:

    (一)分析网址结构

    打开智联招聘网站,搜索工作地点在上海的数据,

    下拉页面到最下面,找到显示页码的地方,点击前三页,网址分别如下,

    http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=1http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=2http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=3

    可以看出最后一个数字就是页码的ID,是控制分页数据的变量。

    (二)使用PowerBI采集第一页的数据

    打开PowerBI Desktop,从网页获取数据,从弹出的窗口中选择【高级】,根据上面分析的网址结构,把除了最后一个页码ID的网址输入第一行,页码输入第二行,

    从URL预览中可以看出,已经自动把上面两行的网址合并到一起;这里分开输入只是为了后面更清晰的区分页码变量,其实直接输入全网址也是一样可以操作的。

    (如果页码变量不是最后一位,而是在中间,应该分三行输入网址)

    点击确定后,发现出来很多表,

    从这里可以看出,智联招聘网站上每一条招聘信息都是一个表格,不用管它,任意选择一个表格,比如勾选Table0,点击编辑进入Power Query编辑器。

    在PQ编辑器中直接删除掉【源】之后的所有步骤,然后展开数据,并把前面没有的几列数据删除。

    这样第一页的数据就采集过来了。然后对这一页的数据进行整理,删除掉无用信息,添加字段名,可以看出一页包含60条招聘信息。

    这里整理好第一页数据以后,下面进行采集其他页面时,数据结构都会和第一页整理后的数据结构一致,采集的数据可以直接拿来用;这里不整理也没关系,可以等到采集所有网页数据后一起整理。

    如果要大批量的抓取网页数据,为了节省时间,对第一页的数据可以先不整理,直接进入下一步。

    (三)根据页码参数设置自定义函数

    这是最重要的一步。

    还是刚才第一页数据的PQ编辑器窗口,打开【高级编辑器】,在let前输入:

    (p as number) as table =>

    并把let后面第一行的网址中,&后面的"1"改为(这就是第二步使用高级选项分两行输入网址的好处):

    (Number.ToText(p))

    更改后【源】的网址变为:

    "http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p="&(Number.ToText(p)))),

    确定以后,刚才第一页数据的查询窗口直接变成了自定义函数的输入参数窗口,Table0表格也变成了函数的样式。为了更直观,把这个函数重命名为Data_Zhaopin.

    到这里自定义函数完成,p是该函数的变量,用来控制页码,随便输入一个数字,比如7,将抓取第7页的数据,

    输入参数只能一次抓取一个网页,要想批量抓取,还需要下面这一步。

    (四)批量调用自定义函数

    首先使用空查询建立一个数字序列,如果想抓取前100页的数据,就建立从1到100的序列,在空查询中输入

    ={1..100}

    回车就生成了从1到100的序列,然后转为表格。gif操作图如下:

    然后调用自定义函数,

    在弹出的窗口中点击【功能查询】下拉框,选择刚才建立的自定义函数Data_Zhaopin,其他都按默认就行,

    点击确定,就开始批量抓取网页了,因为100页数据比较多,耗时5分钟左右,这也是我第二步提前数据整理造成的后果,导致抓取比较慢。展开这一个表格,就是这100页的数据,

    至此,批量抓取智联招聘100页的信息完成,上面的步骤看起来很多,实际上熟练掌握以后,10分钟左右就可以搞定,最大块的时间还是最后一步进行抓取数据的过程比较耗时。

    网页的数据是不断更新的,在操作完以上的步骤之后,在PQ中点击刷新,可以随时一键提取网站实时的数据,一次做好,终生受益!

    以上主要使用的是PowerBI中的Power Query功能,在可以使用PQ功能的Excel中也是可以同样操作的。

    当然PowerBI并不是专业的爬取工具,如果网页比较复杂或者有防爬机制,还是得用专业的工具,比如R或者Python。在用PowerBI批量抓取某网站数据之前,先尝试着采集一页试试,如果可以采集到,再使用以上的步骤,如果采集不到,就不用再耽误工夫了。

    现在就打开PowerBI/,尝试着抓取你感兴趣的网站数据吧。

网站数据采集到excel

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP