“手机APP在给人们带来便利的同时，由于过度收集个人信息，也给不少消费者带来困扰。北京市消费者协会3月7日上午发布了手机APP个人信息安全调查报告。近8成的被调查者被手机APP采集过联系方式。近9成被访者担心个人信息被贩卖。

最担心被采集的个人信息种类调查问卷：近8成被访者被采集过联系方式北京市消费者协会委托北京阳光消费大数据技术研究院开展本次手机APP个人信息安全调查活动。本次调查包括问卷调查、大数据分析两个部分。本次问卷调查通过北京市消费者协会网、消费者网和“北京消协”微信等渠道，共收到有效调查问卷3380份。调查结果显示，有89.62%的人认为手机APP存在过度采集个人信息，79.23%的人认为手机APP上的个人信息不安全，41.16%的人在安装或使用手机APP之前从来不看授权须知。安装手机APP类型排在前三位的分别是购物、餐饮和音乐。而被手机APP采集最多的个人信息依次是联系方式，占比79.62%；其次是姓名，占比78.46%；头像，占比75.38%。

被调查者对手机APP过度采集个人信息目的认知近9成被访者担心个人信息被贩卖调查数据说明，手机APP采集的个人信息大多都涉及个人隐私，大多被调查者认为手机APP收集个人信息是为了推销广告、贩卖和交换个人信息，但同时也有较多被调查者认为手机APP采集个人信息，是为了挖掘用户使用习惯，以提供更好的服务。甚至有不少被调查者抱着授权手机APP采集一次个人信息，不会被永远保存的侥幸心理。问卷数据显示，有76.54%的被调查者认为APP过度收集个人信息的目的是为了推销广告，有48.08%的被调查者认为APP过度收集个人信息的目的是为了贩卖和交换个人信息，同时有66.92%的被调查者认为手机APP过度采集个人信息的目的是挖掘用户使用习惯，提供更好服务；有42.31%的被调查者不知道授权APP采集的个人信息，可能一直被APP软件留存。数据显示，被调查者最担心被采集的个人信息是身份证号（占比88.08%），其次是银行账号（占比82.69%）。87.31%的被访者担心个人信息被贩卖或交换给第三方，86.15%的被访者担心信息被利用从事诈骗窃取活动。

被调查者担心手机APP个人信息出现问题分布图调查结果显示，个人信息被泄露后，选择向消协或通信管理局等部门投诉的仅占35.00%，选择自认倒霉的占26.54%。对于造成手机APP个人信息安全问题的原因，71.54%的人认为是相关法律不健全，69.62%的人认为是相关监管不到位，67.31%的人认为是行业缺乏自律。个人信息遭泄露维权成功少本次调查还利用技术大数据和信息化手段，对2017年手机APP个人信息安全舆情信息进行全面监测和汇总分析。舆情数据显示，去年舆论关注的手机APP个人信息安全热点问题，主要集中在过度采集个人信息、信息被泄露或窃取、推送商业广告、遭受钱财损失及耗费手机资源等五个方面。其中遭受钱财损失的舆情关注度最高，其次是个人信息被泄露或窃取、过度采集个人信息等。监测数据认为，手机APP软件过度采集个人信息已经成为网络诈骗的主要源头之一。目前有关法律法规缺乏体系化，保护范围模糊，重原则轻细则，自律规范多而监管规制少。消费者个人信息保护职责分散且呈现边缘化，侵害后救济渠道不畅通。加上消费者维权意识不强，遭遇个人信息泄露并面临侵害时，大多人抱有侥幸心态，很少有人依法维护自身的合法权益。

被调查者手机APP采集个人信息情况。市消协建议，保护消费者的手机APP个人信息安全，减少手机APP个人信息安全隐患，不仅需要依靠国家制定和完善相关法律法规，还需要有关部门加强监管，严格执法。严厉打击个人信息安全相关的违法犯罪活动，加强监管部门和行业组织的协作共治，引导企业主动承担责任，强化内部管理机制，提高技术防范水平。与此同时，也要提醒消费者不断提升个人信息安全防范意识，一旦个人信息受到侵害，要依法保护自身的合法权益，不让不法分子抱有任何侥幸心理。

法制晚报·看法新闻 张鑫

新媒体编辑 李杰

【转载需获得授权并注明 法制晚报·看法新闻】

一个月前，一个有关非法数据采集的案子告终，想必大家都已经知晓了：号称形成了超过400亿好友关系和两亿个人名片数据库的脉脉（被称中国版LinkedIn），因非法抓取新浪微博的用户数据而被判赔200万。

历时一年半的维权案终于告一段落，这也是国内首起大数据不正当竞争纠纷案。小采提醒大神们，数据有价值，采集要合法。大数据时代尤其需要注意保护隐私信息哦~所以不要再问小采能不能抓取别人的后台，能不能采个人隐私，一切非法的数据采集我们都是拒~绝~的~

说到这里，小采也非常好奇大家借助采集都做了哪些事？通过交流，我们了解了大神们的应用，不得不说你们的脑洞真的太开，请接受小采的膜拜。

1

年后准备换工作，过年那几天在家闲来无事，就把一些热门公司招聘中我感兴趣的职位、职位数及月薪分布采了下来，以了解行情，哪个档位薪酬合理又比较容易应聘成功一眼就能看出来了吧~

小采：可是，真的不从月薪最高的开始试吗？

2

夫人是网络公司的销售，需要收集一些匹配的企业信息然后打电话联系他们是否需要合作。于是乎利用采集脚本抓了大把的资料给她用，而她的同事据说每天上网搜资料到半夜，大概就是这样。

小采：哈哈，男人总要会一门手艺才能体现重要性呀~

3

我就是传说中的采集小王子。基本上做到了想采哪里采哪里。

之前给公司做了一个监控十几个网站的内容更新，我们自己没有就直接扒过来推给编辑优化一下然后发布了，流量稳压他们一头。但技术方面比较杂，N多IP是必须的，各种伪装技能也是必须的。自动判断采集时间间隔阈值、自动换IP等都是必须的。内容全靠火车头虽然很low，但是很好用，迅速形成生产力。

（来自知乎一位大神）

小采：不low不low，好用才是硬道理不是嘛~~

4

我抓取了男朋友关注的微博中，留下的所有评论。

但后来男朋友不再关注别人微博了，改为python爬取想关注的人的微博。

求问我该怎么办？

小采：这……难道就是传说中程序猿与程序媛的相爱相杀？

5

去年计划在北京买房，谁想房价开始疯长，链家的房价等数据分析只给了一小部分，远远不能满足自己的需求。于是爬下了北京所有的小区信息及北京所有小区的所有历史成交记录。

小采：额，所以采到房价数据之后就没有然后……了吗？

6

抓取猫眼，大众点评，淘宝，糯米四个平台的电影院排片以及电影票票价数据，现已集成到微信公众号中，进入微信公众号中获取当前位置，选中某一部电影根据当前位置获取附近影院以及每个影院各个票价的对比，然后根据数据去最便宜的平台买票！

小采：坐标同为合肥的这位小哥，为何不亮出你的公众号。

7

后端使用火车采集器抓取商业情报（事件、内容、时间、标签、分类）到数据库；前端使用Wordpress+Timeline主题呈现。我是营销人，IT只是玩玩……最终效果如图：只为打造属于自己的商业情报网~

小采：哎哟大神，不错哦~

8

女神准备卖套房，刚挂上网就有无数中介电话打来。每接一个电话都加黑名单，但还是有新的骚扰者。于是我决定献殷勤，把本市各大房产网站的经纪人号码全部采了下来存为CSV，再导入女神的Android 手机，拦截根本不是问题，机智如我。

小采：都像你这般努力哪会有追不到的女神！(～o￣▽￣)～o

除了这些，有的大神们还分享了一些小采表示从来没听过也没访问过的网站……这里就不一一列举了……

Niantic首席执行官约翰汉克透露，该公司正在通过收集用户的智能手机摄像头采集的数据，致力于创建“AR地图”。

“我们希望玩家建立他们想玩的游戏地图。”汉克说。根据汉克的说法，预计地图工作将开始于公园和广场等公共场所，以便创造和丰富“新型社交活动”，CEO对Niantic的电子游戏如何使用AR地图充满开发激情。

专家们根据Niantic使用的现有技术推测，玩家可以打开摄像头查看环境中的动画角色，因为软件将该场景中的轮廓，曲面和物体识别为用户玩家，这很可能依赖于AR工具包，如ARCore或ARKit。

收集到的数据可以编译成一个新的游戏地图，然后可以与附近的用户共享，这些用户还可以提供额外的数据，从而随着更多玩家加入应用程序而进一步扩展游戏地图。

AR Map的开发或许会成为公司今后的重点研发方向，Niantic保留了如何将其整合到其核心产品中的保密性。汉克提到，第三方开发商可以获得使用其AR图的许可证，这可能成为公司的主要收入来源。

我们正在研究怎样让游戏体验变得更有沉浸性，怎样支持更多人在公共场合分享体验。”汉克说，“所以我们对AR云的概念进行大力投资，目标是让人们能够在公共场合分享高精度、高保真度的增强现实视图。我对在未来实现这种玩法体验感到非常兴奋。”

AR地图功能正在成为一个值得关注的领域，Google透露它打算在不久的将来通过利用智能手机摄像头进行位置测绘的视觉定位系统，将AR导航添加到其Google地图应用中。

本报讯 （记者谢菁菁 郑国瑞彭红霞）为积极深入“大学习、深调研、真落实”活动开展，进一步推动惠城区“两强一提”工程实施，日前，惠城区残联工作人员深入到汝湖镇、水口街道，现场督导检查该区残疾人基本服务状况和需求信息数据动态更新工作进展情况。记者了解到，为确保残疾人动态更新工作的顺利开展，全区所有村（社区）将采取手机APP数据采集和录入，各级及时筹划、增加投入、主动作为，为动态更新工作的常态化开展打下坚实的基础。

据悉，残疾人基本服务状况和需求信息数据动态更新工作，是评估现行社会保障和基本公共服务的政策效果，也是制订国家和残疾人事业发展规划中完善残疾人兜底保障制度和残疾人基本公共服务的相关决策依据，更是为健全残疾人信息平台和实现残疾人工作智能化管理服务机制奠定了基础。

为扎实推进动态更新工作，区残联严格落实挂钩联系基层制度，成立了动态更新工作办公室，对相关工作进行具体分工，区、镇（街道）残联所有人员，对全区的调查工作进行了责任区分，包干到村（社区）。按照“统一领导、分级负责、层层落实责任制”的组织原则，统一思想、统一筹划、全面部署，确保调查员培训工作组织健全、责任清晰。

同时，充分发挥各级专职委员在各级残联和服务对象之间的桥梁纽带作用，发挥他们作为残疾人工作的宣传员、信息员、联络员的作用。在业务培训、入户调查等工作中让专职委员充分参与，切实提高残疾人专职委员的整体能力和业务素质，让他们在工作中得到锻炼，提高水平，增长能力。

版权声明：图片来源于网络，图文无关。如涉及版权问题，请作者持权属证明与本网联系

来源：惠州日报

作为全球最著名的网络广告巨头，Facebook和谷歌占据了三分之二的广告市场。它们通过不断收集用户数据，从而让广告客户实现精准传播，借此提高广告点击量和收入。

近日，谷歌遭遇一桩诉讼：来自圣地亚哥的拿破仑·帕塔希尔(Napoleon Patacsil)向旧金山联邦法庭提起诉讼，称“谷歌表示用户‘可在任何时候关闭位置历史功能，当该功能关闭时，用户去的地方就不会被存储下来’，但这并非事实。”

帕塔希尔指称，谷歌先是在他使用Android手机时对其进行非法追踪，但是当他改用iPhone并下载了一些谷歌应用后，谷歌又对他进行追踪。

根据谷歌网站帮助页面的说法，关闭“位置历史”功能“不会影响到其他位置服务”，并表示有些位置数据可能通过搜索和地图等其他服务被存储下来。

事情并未结束，美国学者周二发布的一份研究报告，揭露了谷歌采集用户隐私信息的真相。报告称，谷歌无时不刻在监控用户的上网活动，每部安卓手机每天向谷歌上传11.6MB的数据。

报告称，谷歌采用各种手段，采集那些使用网页搜索、网络浏览器、手机操作系统以及各种谷歌产品和服务用户的信息，比如Youtube、Gmail和Nest智能家居硬件等。

报告指出，谷歌采集的数据远远超过Facebook。作为全球最大的网络广告公司，谷歌旗下拥有各种产品，这些产品都能够产生海量的用户隐私。

研究人员指出，用户在网络上进行的任何一项活动，基本上都被谷歌进行采集和分析整理，这些活动和信息包括音乐品味、上班路线、新闻阅读倾向、日程安排和购物消费等。

经过大量的采集活动，谷歌能够以相当高的精度了解用户偏好。就是用户不使用安卓手机时，谷歌也会采集信息。

研究人员发现，在一个24小时的时间段内，一部处于休眠状态的安卓手机(后来运行着谷歌浏览器Chrome)340次向谷歌提交了位置信息。在常规互联网访问活动条件下，一部安卓手机和谷歌服务器之间的数据传输规模高达11.6MB。

虽然谷歌曾经宣传将大量的用户数据用来改进产品，但是最主要的还是用于网络广告业务。

根据谷歌母公司谷Alphabet公布的第二季度财报，在326亿美元的营收中，86%来自谷歌的广告业务，谷歌广告业务营收为280.87亿美元，较上年同期增加23.9%。

在笔者看来，这些超大规模互联网科技公司，正在成为用户隐私的“嗜血者”。作为一家以网络广告为主要营收的公司，谷歌最大的动力，就是不断收集用户数据，让广告商能够投放更精准的广告。

最近半年，我们八爪鱼陆续接到好几个APP数据采集的项目需求，我在群里面，偶尔也看到有些用户在问，有没有APP数据采集的工具。鉴于我们做过的几个APP数据采集项目的经验，我可以告诉大家，现在APP数据采集，市面上还没有通用的工具。我们八爪鱼内部是有一套工具，但由于使用的难度较高，需要编写脚本，所以不对普通用户公开，我们仅接受项目定制。

虽然不对外公开，但并不妨碍我们将技术分享出来，APP数据采集，一般走以下两种方式：

1.两种思路

1. 抓包

2. HOOK

2.抓包

有代码经验或APP开发的同学都很容易理解，其实很多APP，走的都是webservice通讯协议的方式，并且由于是公开数据，而且大部分是无加密的。所以只要对网络端口进行监测，对APP进行模拟操作，即可知道APP里面的数据是如何获取的。

我们只需要写代码模拟请求，无论POST还是GET，即可得到该请求所返回的信息。再通过对返回的信息结构化解析，即可得到我们想要的数据。

public static void main(String[] args) {

Spider.create(new GithubRepoPageProcessor())

//从https://github/****开始抓

.addUrl("https://github/****")

//设置Scheduler，使用Redis来管理URL队列

.setScheduler(new RedisScheduler("localhost"))

//设置Pipeline，将结果以json方式保存到文件

.addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))

//开启5个线程同时执行

.thread(5)

//启动爬虫

.run();

}

以模拟采集“meizu”应用市场为例

3.HOOK技术

HOOK技术是一种走操作系统内核的技术，由于安卓系统是开源的，所以可以借助一些框架修改内核，从而实现你要的功能。HOOK的形式，我们走的是Xposed框架。Xposed是一款可以在不修改任何其他开发者开发的应用（包括系统服务）的情况下，改变程序运行的一个开源框架服务。基于它可以制作出许多功能强大的模块，以此来达到应用程序按照你的意愿运行的目的。

如果把安卓手机看做一座城堡，那Xposed可以让你拥有一个上帝视角，城里的运作细节尽收你眼底，还能让你插一手改变城堡的运作规律。

什么意思呢？简单的说就是你可以通过他，自动化的控制你的APP。如果将我们的APP开在模拟器上，我们可以通过编码，通过他告诉APP这一步干什么，下一步干什么。你把它理解成类似游戏打怪外挂就可以了。

而他每走一步，APP与服务端交互的数据，均可获取下来。这种方式广泛用于一些成熟的APP。比如某信采集。

public class HookActivity implements IXposedHookLoadPackage {

@Override

public void handleLoadPackage(LoadPackageParam lpparam) throws Throwable {

final String packageName = lpparam.packageName;

XposedBridge.log("--------------------: " + packageName);

try {

XposedBridge.hookAllMethods

(Activity.class, "onCreate", new XC_MethodHook() {

@Override

protected void afterHookedMethod(MethodHookParam param)

throws Throwable {

XposedBridge.log("=== Activity onCreate: " + param.thisObject);

}

});

} catch (Throwable error) {

XposedBridge.log("xxxxxxxxxxxx: " + error);

}

}

}

其实我们八爪鱼曾经也想开发一款通用的APP数据采集工具，并且两年前在这块投入研究了小半年，我们做出了一款APP采集脚本编辑工具，可以让一款APP的数据采集项目缩减到3-5天即可开发完成。但我们认为，这个工具需要编写脚本一般用户是比较难上手的，所以仅作为内部项目使用。

以HOOK某APP为例:

4.这些年走过的坑

聊完APP采集的思路，我们跟大家分享一些遇过的坑吧，让大家乐一乐

坑一：签名算法

以某信的文章列表页及某信息页为例，对其http访问进行抓包，会发现其url的一个核心参数是我们无法知道如何生成的，这就导致，我们不可能直接用该url进行信息爬取；签名算法如果无法破解，HTTP这条路就是死路了。

坑二：http爬取回来的信息和页面显示不一致

以某信的某信息页为例，对比直接访问某信页面及http爬取的信息，可明显发现http爬取到的信息较少。造成得两种方式都用，才能既照顾速度又照顾完整性。

坑三：模拟器中的坑

APP自动识别你的运行环境进行屏蔽，最厉害的还是某信，连你是用模拟器打开还是真机打开，是什么内核的，全部进行限制。曾经见过牛人，找某手机厂商专门定做真机来配合。

坑四：帐号的坑

这个坑就有点大了，要找号、养号，都不是件容易的事情，更惨的是封号，真真让你一夜回到解放前。

世界上公认的第一部智能手机IBM Simon（西蒙个人通讯设备）诞生于1993年，它由IBM与BellSouth合作制造。从诞生到至今，短短的二十几年，智能手机的普及率成倍的增长，据外媒最新消息，根据一家国外权威机构的调查报告，韩国智能手机普及率在全世界排名第一，中国以68%的普及率，位居中游水平。

68%的覆盖率！中国近14亿人口大约有9亿人口都在使用使用智能手机，因此，在现阶段的电子取证过程中，手机取证占比非常大，业务量非常多。但是因为手机品牌、型号繁多，部分公检法电子取证人员知识储备有限，很难快速找准适合每部手机最佳的数据提取方式，难以快速完成对手机的有效取证，降低取证工作效率，甚至影响电子取证效果。

针对这一痛点，不少电子取证厂商，在产品上也做出了相应的解决方案，下面选取几款在手机取证方面有亮点功能的国内手机取证产品，通过实际操作来一一给大家展示这些产品是如何引导公检法办案取证人员快速有效的进行手机取证操作。

1、DC-4501—美亚柏科

DC-4501是美亚百科的手机取证产品，也是业内使用率比较高的手机取证产品，在对手机进行取证时DC-4501是如何引导取证人员操作的呢？下面我们一起来看看。

在进入取证界面之后，DC-4501首先会提示连接手机，然后在右侧下拉列表中选择手机点，击开始后就会直接进入到应用选择界面。

在选择应用后，正确填写检材信息，点击开始取证，进行取证，进入取证进度查看；

在提取的过程中，如果遇到一些高版本的系统无法提取应用，就会在提取过程中弹出提示，要求按照说明或者指引，进行一些备份之类的操作，来完成提取。

通过以上测试发现：DC-4501是将不同的手机设备和数据源列出来让用户去选择，但是只有一种方案和取证流程，仅针对常规情况进行提取，无法通过其他的提取方式获取数据，一旦失败，就只能通过工具箱中的小工具辅助提取。

但是手机数据提取失败后，部分取证人员可能并不知道该手机应该用什么工具进行辅助取证，只能依次尝试或者深入学习，可能影响手机数据提取效果。

2、RH-5801—大连睿海

RH-5801是大连睿海的产品，也是国内普遍使用率较高的手机取证产品，RH-5801在数据提取上又是如何引导电子取证人员操作的呢？通过实际操作来看看：

进入提取界面后，RH-5801会将所有的取证手段展示出来，具体采用哪种方式进行数据提取，需要取证人员手动选择；

和美亚类似，其基本的提取方式是“逻辑提取”，根据提示正确连接手机之后，选择提取范围就可以开始进行数据提取。与DC-4501类似，其也在其流程中集成了一些提取手段。

但是和DC-4501不同的是，其将部分的提权手段也在第一层界面（左侧）展示了出来，集成在流程中，如MTK芯片镜像功能等。

通过以上测试发现：RH-5801基本是将所有的提取手段放在了提取界面中，但是并未关联到手机，还是需要取证人员去判断和辨别，对取证人员来说，只能通过不断的尝试，来找到正确的取证方式。

3、SPF9139智能手机取证系统—效率源

效率源科技SPF9139智能手机取证系统（以下简称SPF9139）全新版本重磅发布，彻底解决：手机数量越来越多、手机中的数据量越来越大、手机的安全性也越来越高、增加手机取证难度；四大难点！

其中，SPF9139新版本的亮点功能：提取方式智能推荐、敏感数据智能预警、8部设备并行操作、大数据精确去重、三星华为苹果等高版本全支持、多线程跨屏操作等值得推荐！

通过实际操作来说明：连接设备进入提取界面后，系统会根据设备的型号、系统版本、权限状态等条件向用户推荐针对该设备可能有效的各个取证方案和手段，根据设备的不同，推荐的方案内容也不相同。

针对各种设备不同的提取手段，是通过不同的操作完成提取的。

通过测试发现：与前面两款产品不同的是，效率源SPF9139会根据设备的不同，直接向用户推荐最佳可行性的提取方案，公检法取证人员不会因为手机品牌和型号不同而去研究和思考最适合该设备的提取方式，减少取证人员的思考时间和学习时间，提高取证效率和成功率，降低失败风险。如果遇到目标手机不能识别的情况，需要借助工具箱中的插件来实现数据提取。

通过以上三款产品的测试对比我们能发现：3款手机取证产品各有优劣势，都是非常不错的手机取证产品。

DC-4501和RH-5801在数据提取操作时，需要取证人员具备一定的专业知识和技能，才能自如的应对各类手机出现的不同状况，而效率源SPF9139根据手机的情况，智能匹配相应的提取方式，面对不同技术背景的取证人员来说，更容易理解，更具有可操作性，提高了取证效率，无疑是一种更好的选择。公检法取证人员在手机取证产品选择时，还需根据自己的使用习惯和产品的易用性等来综合考量，选择最适合的取证产品工具。

香港《南华早报》12月1日文章，原题：内地消费者机构称，中国的智能手机App正收集过多个人信息

中国许多智能手机都在过度收集有关用户的个人信息，其中包括用户位置、通讯录和手机号码等。

中国消费者协会近期对100款App进行测评后发布报告称，其中91款涉嫌过度收集个人信息，但该报告并未将(所有)这些App的名称公之于众。该报告分别列出相关App在数据隐私及保护声明中存在的常见问题。

“从本次测评情况看，大多数App仅达到及格水平甚至低于及格水平，而且各类App差距明显，尤其是中小企业App问题较为突出，存在过度收集信息、无隐私条款、条款不完整以及不合理格式条款等问题。以上问题凸显我国保护消费者信息形势的严峻性，应当引起相关部门的高度重视。”该报告称。

报告显示，导航、旅游、酒店预订、云存储和健康管理等服务提供商收集用户信息最多。例如，美图秀秀涉嫌过度收集有关用户的可识别生物信息、财务信息等。小黄车向关联公司及第三方分享相关信息时，未单独征得用户同意。支付宝未在收集的信息种类中注明个人敏感信息，且未对核心和附加功能进行区分。

在中国，数字经济崛起意味着如今人们越来越多的活动都在线上进行，对用户隐私、数据安全以及全世界科技企业如何处理个人信息的担忧正与日俱增。▲(作者莎拉-戴,会聪译)

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！

来源:人民日报

不久前发生的一系列事件让个人信息安全再成舆论热点：华住旗下多家酒店品牌疑似发生大规模信息泄露事件，数据涉及约1.23亿条官网注册资料、1.3亿条入住登记身份信息；有“暗网”用户声称手握3亿条顺丰快递客户数据，包括寄收件人姓名、地址、电话等个人信息，并积极叫卖……

网络时代，我们的个人信息安全状况如何？谁是个人信息泄露的幕后“黑手”？护航个人信息安全，政府和企业需要再做些什么？

个人身份信息最容易被侵犯

全国消协组织受理的消费者投诉数据显示，今年上半年，电商平台、社交平台软件等非法采集消费者个人信息现象成消费投诉新热点，位居十大投诉榜榜首。不久前，中消协发布的《APP个人信息泄露情况调查报告》（以下简称《报告》）也反映，遇到过个人信息泄露情况的人数占比为85.2%。

“网络具有即时性与虚拟性，加上个人信息被广泛采集却未受到良好保护，公民个人信息一旦泄露，普遍存在举证难、损失认定难的情况，因此，个人信息泄露问题没得到有效治理。”中国法学会消费者权益保护法研究会副秘书长陈音江说。

“个人信息主要有三种形式：第一种叫个人隐私信息，这是隐私权保护的范围；第二种叫个人身份信息，如身份证号码、电话号码、个人账户信息等，用个人信息权予以保护；第三种是衍生数据，是对网络上留存的海量的个人数据进行加工处理形成的新数据，已经与个人的身份信息脱敏。”中国人民大学法学院教授杨立新认为，个人隐私信息和个人身份信息都要依照法律的规定进行支配，只有衍生数据才可以在大数据时代中进行商业处理。

杨立新认为，最容易被侵犯的个人信息是身份信息，各类商业推销、电信诈骗等大多是基于个人身份信息泄露而出现的。《报告》显示，约86.5%的受访者曾收到推销电话或短信的骚扰，约75.0%的受访者接到诈骗电话，约63.4%的受访者收到垃圾邮件，这是最常见的三大问题。此外，消费者还面临着收到非法链接、个人账户密码被盗等风险。

据介绍，去年3月，公安部开展了打击整治黑客攻击破坏和网络侵犯公民个人信息犯罪专项行动，仅4个月就侦破相关案件1800余起，查获各类被非法倒卖公民个人信息500余亿条。

手机应用软件过度采集个人信息

《报告》发现，个人信息泄露的两条最主要途径，一是经营者未经本人同意暗自收集个人信息，二是经营者或不法分子故意泄露、出售或者非法向他人提供个人信息，这两者均超过调查总样本的60%。

据了解，部分APP会“私自窃密”。例如，部分记账理财APP会通过留存消费者的个人网银登录账号、密码等信息，并模仿消费者网银登录的方式，获取账户交易明细等信息。有的APP在提供服务时，采取特殊方式来获得用户授权，这本质上仍属“未经同意”。例如，在用户协议中，将“同意”之选项设置为较小字体，且已经预先勾选，导致部分消费者在未知情况下进行授权。

另外，手机APP过度采集个人信息呈现普遍趋势。“最突出的是在非必要的情况下获取位置信息和访问联系人权限。”中消协秘书长朱剑雄说，“比如，像天气预报、手电筒这类功能单一的手机APP，在安装协议中也提出要读取通讯录，这与《全国人民代表大会常务委员会关于加强网络信息保护的决定》明确规定的手机软件在获取用户信息时要坚持‘必要’原则相悖。”

《报告》还发现，在安装和使用手机APP时，很少有用户仔细阅读应用权限和用户协议或隐私政策。“不授权就没法用，只能被迫接受。”不少消费者在接受采访时表示。

“双方当事人无法进行面对面协商，这决定了消费者只能先接受平台提出的交易规则，否则就无法进行交易。”杨立新说，问题的关键在于，网络交易平台提供的交易规则是否合法，“对此，商务、市场监管等有关部门在实体和程序上都做了规定。若交易规则内容违法，消费者可以主张废除该规则，也可以行使撤销权撤销该交易，造成损害的还可以请求损害赔偿。”

与此同时，个人信息买卖已形成一条规模大、链条长、利益大的产业链。“这条产业链结构完整、分工细化，个人信息被明码标价，流通变现环节主要包含三个方面。”据中国人民大学法学院博士后刘笑岑介绍，上游环节负责“源头供货”，非法获取或向他人提供个人信息，主要来自于黑客攻击和“内鬼”外泄；中游环节负责对从上游处获取的个人信息进行处理与再加工，通过买卖、交换等形式形成规模化市场；下游环节负责“应用变现”，将所获个人信息应用于电信诈骗、恶意营销等不法渠道以牟取高额利润。

在公安部今年的“净网2018”专项行动中，公安机关对侵犯公民个人信息犯罪、黑客攻击破坏犯罪和非法销售“黑卡”犯罪进行严厉打击，半年内抓获犯罪嫌疑人8000余名，其中涉电信服务商、互联网企业、银行等行业内部人员300余名，黑客1200余名，缴获“黑卡”270余万张。

引导行业建立个人信息分级分类保护体系

据统计，目前有近40部法律、30余部法规涉及个人信息保护，包括民法总则、刑法、消费者权益保护法、网络安全法以及新近通过的电子商务法。

杨立新认为，现有的法律法规已经足以保护个人信息，问题在于，侵害个人信息构成犯罪的，能够追究其刑事责任，但对于侵权行为，仍然制裁不力。“重点是加强司法上的民法保护，在惩戒手段、赔偿问题上落实落细，加强对侵害个人信息权行为的打击力度，承担赔偿责任。”“个人信息保护的主管机关还未确定，目前公安、工信、网信、司法等多家部门都在管，需拧成监管合力。”刘笑岑认为，还处于立法计划当中的个人信息保护法，将来应致力于解决这些问题。

个人信息泄露的源头是什么？“问题出在过度采集上。”陈音江说，“合法、正当、必要”六字是目前相关法律对个人信息采集和使用的规定，必须贯彻落实，同时要尽快明确，哪些事项必须通过实名制注册或办理，哪些事项无需实名，避免信息采集主体过多、实名登记事项过度。

“如何引导行业对于个人信息进行分类，构建分级分类保护体系，这是当前个人信息防泄露问题要着重考虑的一项。”腾讯守护者计划安全专家马瑞凯说。

受访专家表示，个人信息获取、存储和利用的环节众多，许多信息的传播又具有隐蔽性和复杂性，做到切实保障公民个人信息安全，需要公民、信息采集机构、技术人员和有关部门协同共治。就企业管理层面而言，要推动数据防窃密、防篡改、防泄露等安全技术的研发和部署，有效降低不法分子窃密风险；就监管部门而言，要进一步加大对电信诈骗、网络诈骗等违法犯罪活动的打击力度，持续形成高压态势，保护消费者的合法权益。