在移动互联网上，手机厂商对用户了解之深入，是PC互联网完全不能比的。原来在PC互联网时代，所谓用户信息，就用户存下来的那点艳照，而且很可能是还存在本地目录里。但有了智能手机以后，手机变成了你的钱包、你的移动电脑，你的朋友圈，用户个人几乎所有的上网行为和轨迹等隐私数据都可能被手机记录，并且，这些大数据都可能会存在云端，都可能会存在各个厂商的服务器上。随着厂商的数据采集能力越来越强大，采集范围越来越广，这些用户数据能不能保证足够的安全，这将是这个大数据时代的一个奇点，决定这个拐点何去何从，到底是向上走到一个新高度，还是向下走到一个坏局面

最近，智能手机行业出现了很多安全事故。例如，一加海外爆出搜集用户隐私数据，此事件一出，迅速在国内外获得高度关注。

事件原因在于一加手机的软件，在没有征得用户同意的情况下，从手机中获取数据并将其发送到中国第三方公司的服务器上，而这并非是手机厂商自己的服务器。该事件是法国一位叫Elliot Alderson安全研究员在推特上爆出的，其称一加氢 OS 被曝上传用户剪贴板的内容，并且将内容上传到 http://teddymobile/ 的服务器。对于该安全员的质疑，一加官方的回应是：仅在氢 OS 上传，氧 OS 没有影响。回应中提及在中国公测版中存在过滤部分数据不上传的问题。结果，一加的回应，相当于官方承认了问题的存在，更间接承认了在国内搜集用户数据，因此迅速引爆了舆论，并引发众多互联网大V和用户的质疑。

这位安全员从一加的剪切板应用里发现了名叫 badword.txt 的文件，其中包含了大量中文短语，如“领袖”、“纪念日”，“博士”、“将军”、“内地”、“外地”等等。除此之外，安全员还发现用户的电话和短信，甚至银行卡信息也都被传到泰迪熊移动的服务器上了。所有这些文件被用在泰迪熊移动安卓库的一个obfuscated package（混淆包）里。在这个包里，除了getipaddress和getscreenpixels，诸如用户ID、用户IMEI号码、用户phone number、用户短信息等，都会被使用和抓取。

面对以上用户提出的种种疑问，一加官方并没有再作出明确的回应。

随后安全员调查了这家叫TeddyMobile的公司，通过这家公司的官方网站发现，他们不仅为一加提供技术支撑，同时还向几家以中国市场为主的手机厂商提供了技术合作，包括：OPPO、VIVO、小米、魅族、联想、金立等。且这些厂商还对其进行了投资，并已通过大数据实现了商业变现并盈利。

这也许可以解释为何终端厂商对TeddyMobile收集用户数据相关的行为采取默认甚至是支持的态度。

此事件将手机厂商在用户数据安全的隐患赤裸裸暴露在公众面前，但同时让我们感到诧异的是，为何手机厂商敢于官方承认在国内收集用户数据？

首先，中国手机用户对保护自己隐私意识普遍较之欧美发达国家薄弱。手机用户对“隐私”的要求还停留在你别把我的信息拿去卖就算不错了，而欧美发达国家公众都有明确的私人信息意识和物权意识。

其次，国内有关部门对用户隐私的保障也不够重视，现有法律法规对于用户隐私获取和应用规定又尚未完善，加之民众维权之路举步维艰，导致很多情况下用户即使受到侵犯也只能无奈放弃。而欧美国家在用户面临泄密事件时有专门的集体诉讼，企业如果拿用户隐私数据去卖或变现，即使不坐牢也可能要被告到破产。

再次，终端厂商通过各种在线的服务及内容提供，获取用户数据，基本上用户是无法避免的，因此，用户对于手机厂商采集用户数据，基本采取默认的态度。

由于上述原因，使得相关手机厂商对于用户隐私基本处于一种无视态度，对于消费者的知情权、选择权和隐私安全也并不太尊重。

随着中国手机用户对隐私数据越来越看重，如果安全持续不能得到保障，那么有一天或者用户不再信任你，不敢选择你。就像这次爆出一加手机与TeddyMobile收集用户数据事件，有的用户就会选择抵制这家公司。中国的手机品牌，理应同样尊重国人的数据隐私诉求，而不是只保护和重视海外用户的隐私，视立足之本为无物。

用户的信息和手机厂商之间，应该遵循平等交换的原则。用户享受服务，厂商获取信息，但在这个过程中，用户要有知情权，厂商要得到用户授权才能使用用户信息。并且，平等交换还要符合《消费者权益保护法》的基本原则，就是消费者要有知情权、选择权，以及有拒绝权。

手机厂商必须要去正视和解决这个问题，确保收集到的用户数据不会被有心之人或公司用于不正当的变现和牟利。只有用户觉得自己的信息是安全的，用户放心，他们才会更大胆地去尝试各种新的互联网服务。

作为全球最著名的网络广告巨头，Facebook和谷歌占据了三分之二的广告市场。它们通过不断收集用户数据，从而让广告客户实现精准传播，借此提高广告点击量和收入。

近日，谷歌遭遇一桩诉讼：来自圣地亚哥的拿破仑·帕塔希尔(Napoleon Patacsil)向旧金山联邦法庭提起诉讼，称“谷歌表示用户‘可在任何时候关闭位置历史功能，当该功能关闭时，用户去的地方就不会被存储下来’，但这并非事实。”

帕塔希尔指称，谷歌先是在他使用Android手机时对其进行非法追踪，但是当他改用iPhone并下载了一些谷歌应用后，谷歌又对他进行追踪。

根据谷歌网站帮助页面的说法，关闭“位置历史”功能“不会影响到其他位置服务”，并表示有些位置数据可能通过搜索和地图等其他服务被存储下来。

事情并未结束，美国学者周二发布的一份研究报告，揭露了谷歌采集用户隐私信息的真相。报告称，谷歌无时不刻在监控用户的上网活动，每部安卓手机每天向谷歌上传11.6MB的数据。

报告称，谷歌采用各种手段，采集那些使用网页搜索、网络浏览器、手机操作系统以及各种谷歌产品和服务用户的信息，比如Youtube、Gmail和Nest智能家居硬件等。

报告指出，谷歌采集的数据远远超过Facebook。作为全球最大的网络广告公司，谷歌旗下拥有各种产品，这些产品都能够产生海量的用户隐私。

研究人员指出，用户在网络上进行的任何一项活动，基本上都被谷歌进行采集和分析整理，这些活动和信息包括音乐品味、上班路线、新闻阅读倾向、日程安排和购物消费等。

经过大量的采集活动，谷歌能够以相当高的精度了解用户偏好。就是用户不使用安卓手机时，谷歌也会采集信息。

研究人员发现，在一个24小时的时间段内，一部处于休眠状态的安卓手机(后来运行着谷歌浏览器Chrome)340次向谷歌提交了位置信息。在常规互联网访问活动条件下，一部安卓手机和谷歌服务器之间的数据传输规模高达11.6MB。

虽然谷歌曾经宣传将大量的用户数据用来改进产品，但是最主要的还是用于网络广告业务。

根据谷歌母公司谷Alphabet公布的第二季度财报，在326亿美元的营收中，86%来自谷歌的广告业务，谷歌广告业务营收为280.87亿美元，较上年同期增加23.9%。

在笔者看来，这些超大规模互联网科技公司，正在成为用户隐私的“嗜血者”。作为一家以网络广告为主要营收的公司，谷歌最大的动力，就是不断收集用户数据，让广告商能够投放更精准的广告。

随着智能手机承载的功能越来越多，用户的各项隐私数据全部都汇集在一台小小的手机上，给用户带来便利的同时，也给个人隐私安全带来了挑战。今天带大家解密手机数据这个与我们个人生活密切相关的话题。

1、使用手机过程中会产生哪些信息？

A：用户使用手机和应用时，会产生两部分数据：第一部分是手机本身的信息，如手机的品牌机型、国际移动设备识别码IMEI，它就等同于手机的身份证号码。其他还包括网络状态、信号质量，信号强度、所采用信令等信息。第二部分是APP应用的业务使用信息，比如APP帐号、手机号码、商品浏览/搜索记录、订单还有用户当前位置、收货地址等，主要是涉及到与使用的应用的相关数据。

2、这些信息都暴露给了谁？

A：第一部分数据主要是电信运营商通过网络侧获取，主要用来进行网络优化与故障排查，保障用户有更好的网络使用感知。第二部分数据由APP厂商掌握，包括我们经常使用的购物、出行、社交、视频等APP。这些APP服务商可以通过手机软件和业务系统采集、分析我们的个人数据，可以提供商品推荐、引导以及其他便利的服务。比如用户在读资讯的时候会发现，阅读的APP会给推荐经常浏览的那一类内容。网购时看过的一些商品也会出现在推荐页。这都是APP服务商们根据我们的用户习惯进行分析的结果。

3、是谁泄露了我们的信息？

A：从性质来看，可以分成过失泄露和主观泄露这两种。过失泄露就是由于系统安全存在漏洞、敏感数据保存不完善等客观原因，使用户原本应该加密保存的数据泄露出去。主观泄露指的是掌握用户个人信息的企业或者员工，在工作过程中获取了相关的数据，出于自身利益贩卖或违反保密要求使用了这部分数据。比如某些商铺或厂商搜集了用户的姓名、手机号码、亲属信息等，将这些信息打包销售给了诈骗公司，诈骗公司利用这些信息对用户进行诈骗，造成了大家的财产损失。

4、国家及行业监管有何隐私保护政策？

A：工信部在今年5月1日发布并生效了《信息安全技术个人信息安全规范》，在所有需要采集用户信息的地方都给予了明确的提示与数据使用说明，保障用户清楚知道自己的哪些数据、以何种目被搜集。运营商作为肩负社会责任的央企，贯彻和执行国家的相关安全规范是责无旁贷的，另外，为了保障用户个人数据安全，运营商在用户个人信息相关的系统特别设置了专职人员负责信息安全，必要的个人数据采集后会立即进行匿名化与去标识化，使其无法还原。最后，运营商也在逐步增强系统检查力度，所有数据系统都要定期进行安全审计与漏洞扫描检查，以保障用户的安全。

5、如何保护手机隐私数据？

A：针对常见的信息泄露方式，建议用户在使用APP的时候，仔细查看个人信息授权/同意协议，了解APP服务商会采集自己的哪些数据、会应用在那种服务上。如果明显超出日常经验，比如天气类的APP要读取自己的通讯录、短信等敏感信息，或者普通的应用要获取ROOT权限，就需要小心它是不是存在不良目的。ROOT权限是安卓手机操作系统中唯一的超级管理员，手里掌握着系统中的所有权限，获取ROOT权限之后就基本上掌握了系统的“生杀大权”，如果被不良的企业或个人掌握，会面临个人信息严重泄露的问题。另外在使用APP或网页时，也要注意不要随意填报自己的个人信息，如姓名、身份证、手机号码等。同时还要随时关注网络和应用服务商的个人信息泄露告警，如果发生了大规模用户泄露情况，需要注意和通知相关人员不要随意相信相关的电话或短信。

智能硬件结合大数据优势，全方位挖掘用户线下、线上行为，精准定义目标客群特征、消费偏好、地域分布，为零售客户提供选址招商、运营管理、客群洞察、推广营销、实现 营销的“点对点”高效精准的传播，是新一代人工智能思维下的营销新武器。

店内优化

客流实时监测

顾客质量和转化率

顾客运动轨迹热点动图

店内商品试用、转化率

新客招募

厘米级精准定位新客，信息采集分析

对接各个广告平台，精准投放

广告效果评估

提高活动效果

展示真实人流，轨迹动图，客观评估活动效果

场景式营销，广告实时送达

用户画像

了解品牌受众，帮助品牌定位

进店顾客人群画像采集

人员、物品管理

优化员工管理系统，监测到岗及工作时间

贵重物品定位，防盗防损

优化库存管理

探针

集探针，iBeacon，商品触碰探测为一体

wifi与gprs两种上报信息方式

搭载gps模块，采集地理位置信息

出色的定位技术

手机号与mac地址绑定方案

平台化运作，提供丰富的上层接口给集成商

解决方案

购买地址：https://detail.1688/offer/551150997804.html?spm=b26110380.sw1688.mof001.1.b4WnET

或阿里巴巴搜索：58数云、潜客宝

几天前，我参加完活动乘出租车回家。刚下四环，司机方向盘一转，四周变成了我完全不熟悉的道路。后来，司机不得不打开导航，才在高架桥下面找到正确的路。他指着手机跟我说，“干我们这行的，出门全靠导航。没有它，基本不知道哪是哪儿。”

2011年中国的手机地图用户只有7000万，这个数字在2013年涨到了3亿，手机地图随着智能机的普及在每一辆车里安营扎寨。

最早地图的数据从哪儿来？

最早的地图从哪儿来？难道每一个POI（Point of Interest：信息点）都需要地图商亲自采集？

曾在某地图数据供应商工作过四年的工作人员PH告诉雷锋网，最早的基础数据来自“国家测绘局”，像该公司这种拥有雄厚政府背景，由国家测绘局于92年创建的唯一专业从事测绘的国家级公司，是直接共享数据，其余厂商或需要购买。

但是从国家测绘局拿到的数据并不是完整数据，像偏远的西南地区、环境恶劣的山区等地，地图数据几近空白，这些就需要地图生产商进行补充。PH表示，早在07、08年左右，中国的地图采集覆盖工作已经基本完成，剩下的就是对现有地图的维护和变更地区的更正。

中国的道路变更速度非常快，保持在每年20%到30%的速度，仅2014年，我国新增93800公里公路、7000公里铁路、551公里地铁。因此对地图的维护也需要耗费大量的人力。

有哪几种数据采集方式？

数据采集可以分为车辆采集、步行采集、航拍、众包等模式。

车采

某地图服务商的工作人员Rolleima告诉我们，车采有严格的规范，行驶速度大致在30-60公里/小时。车采工程师和街景车司机配合采集道路街景，随时监控采集成果和设备运作。车采对于天气和能见度的评估要求非常高，像北京PM2.5超过200的天气，就无法采集，更不用提阴天下雨的了。

在采集车顶上配有全景摄像头，数据采集系统可以获取包含“道路红绿灯”、“指示牌”“测速探测器”等信息的图像视频，激光扫描仪和测距传感器可以测量出街道的宽度、长度、车道线、隔离带等，高精度惯导系统则可以生成街景及三维地图。

步采

街景车无法采集的区域，则需要使用繁重的设备进行人工采集，目前多数城市的街景都是人工采集的成果。工作人员手持PDA和相机前往商厦、学校、商场、银行等场所拍摄照片，再录入到数据采集系统。

Rolleima透露，基于采拍工作的特殊性，地图服务商对采拍人员有一定的要求：

首先形象健康，不可光头、长须；其次，要有良好的行为习惯，与人和善不易与人冲突，耐性好，具有较好的个人修养；而且，执行力强，对自己工作质量要求严格；当然，身体素质也必过硬，起码能背负足够重的采拍机爬山过河。

步采的POI信息处理主要分为四种：新增、修改、删除、不变。当步行到某地，发现原来的餐厅被变更成了银行，直接选择餐厅的POI信息，点击删除后，在原位置新增一个银行POI信息，变更就完成了。

航拍

租借飞机进行航空摄影测量是采集中最高端的做法，目前市场上提供商用的三维地图主要是卫片（卫星拍摄），其分辨率近50公分。不过基于国家安全的考虑，航拍在很多地区都是被限制的。

航拍主要是强化地图的精细度。比如东莞的很多地级市，它的楼密集到人侧身才能通过，即使是人工的数据采集也很难做到。这种时候只有通过航拍才能获得准确信息。

众包模式

PH向我们介绍，地图生产商除了自己进行地理信息采集，还会进行外包，比如一个城市外包，由当地的人员进行采集，或者外包给物流公司。

物流公司的运输车辆上装有GPS导航仪，只传回GPS信息，没有视频和图片，这一部分主要是辅助矫正作用。据某地图服务商称，目前有30多万辆物流车在回传数据，北京6万辆出租车也是使用该公司导航服务，他们也能传回大量数据。

另一部分众包则来自UGC，主要是用户的报错反馈。巨大的用户保有量使得地图服务商每天收到大量用户反馈，每位员工每月可以处理约2300条报错。

数据可以直接使用吗？

某地图服务商向我们介绍，“外业实地采集人员获取准确数据后，先将数据提交给内业人员进行数据加工处理，再对原始数据经过编辑、赋值等处理，最后得到可以用来导航的地图数据，目前仅仅地图绘制人员就超过500人。之后，地图要经过向国家测绘部门审图、导航电子地图加密、申请获批出版号、自检自查、测试等等环节，最后才能进入市场流通。”

至于街景方面，目前街景地图并不能保证完全的准确率。主要因为有些地方涉及国家安全问题，如保密建筑，油厂等。通过与国家相关安全部门协议，对于这些地方进行纹理移植操作：不能直接表现的地区，用周围的类似景物覆盖。据悉，有些城市，这种需要处理的地方达万次。

同时，街景地图对车牌、人脸等也负有保护隐私的责任，若照片中存在，将进行马赛克处理。

拥堵信息从何而来？

那实时路段的拥堵信息从何而来？当然不是有人在不同的路口蹲守。

首先是磁浮圈。在道路的下端都有埋有“传感器”，用来感知不同路段的车辆；其次是通过交管局的视频，可以监控不同路段的流量，如果有异常直接在地图上进行标记；最后是浮动车，主要指城市装有GPS的出租车，通过监控车辆的异常行驶速度判断路况。

最后分享一个有趣的问题，在街景方面，有人提出，有没有可能，国内几家比较大的地图公司相互合作，你采A城市，我拍B城市，然后互相提供数据，这样还可以节省成本。Rolleima告诉我们：“很遗憾，不仅仅是国内，在国外也没有看到过共享街景数据的成功合作。Google、Nokia、Bing等等外国街景地图都是各自在采集各自的数据。基于每家公司原始底层的匹配技术不同，数据的共享难度很大，其次，很多公司都在探索街景的盈利模式，所以占有数据的独享权非常必要。”

（作者：三金金金）

一个月前，一个有关非法数据采集的案子告终，想必大家都已经知晓了：号称形成了超过400亿好友关系和两亿个人名片数据库的脉脉（被称中国版LinkedIn），因非法抓取新浪微博的用户数据而被判赔200万。

历时一年半的维权案终于告一段落，这也是国内首起大数据不正当竞争纠纷案。小采提醒大神们，数据有价值，采集要合法。大数据时代尤其需要注意保护隐私信息哦~所以不要再问小采能不能抓取别人的后台，能不能采个人隐私，一切非法的数据采集我们都是拒~绝~的~

说到这里，小采也非常好奇大家借助采集都做了哪些事？通过交流，我们了解了大神们的应用，不得不说你们的脑洞真的太开，请接受小采的膜拜。

1

年后准备换工作，过年那几天在家闲来无事，就把一些热门公司招聘中我感兴趣的职位、职位数及月薪分布采了下来，以了解行情，哪个档位薪酬合理又比较容易应聘成功一眼就能看出来了吧~

小采：可是，真的不从月薪最高的开始试吗？

2

夫人是网络公司的销售，需要收集一些匹配的企业信息然后打电话联系他们是否需要合作。于是乎利用采集脚本抓了大把的资料给她用，而她的同事据说每天上网搜资料到半夜，大概就是这样。

小采：哈哈，男人总要会一门手艺才能体现重要性呀~

3

我就是传说中的采集小王子。基本上做到了想采哪里采哪里。

之前给公司做了一个监控十几个网站的内容更新，我们自己没有就直接扒过来推给编辑优化一下然后发布了，流量稳压他们一头。但技术方面比较杂，N多IP是必须的，各种伪装技能也是必须的。自动判断采集时间间隔阈值、自动换IP等都是必须的。内容全靠火车头虽然很low，但是很好用，迅速形成生产力。

（来自知乎一位大神）

小采：不low不low，好用才是硬道理不是嘛~~

4

我抓取了男朋友关注的微博中，留下的所有评论。

但后来男朋友不再关注别人微博了，改为python爬取想关注的人的微博。

求问我该怎么办？

小采：这……难道就是传说中程序猿与程序媛的相爱相杀？

5

去年计划在北京买房，谁想房价开始疯长，链家的房价等数据分析只给了一小部分，远远不能满足自己的需求。于是爬下了北京所有的小区信息及北京所有小区的所有历史成交记录。

小采：额，所以采到房价数据之后就没有然后……了吗？

6

抓取猫眼，大众点评，淘宝，糯米四个平台的电影院排片以及电影票票价数据，现已集成到微信公众号中，进入微信公众号中获取当前位置，选中某一部电影根据当前位置获取附近影院以及每个影院各个票价的对比，然后根据数据去最便宜的平台买票！

小采：坐标同为合肥的这位小哥，为何不亮出你的公众号。

7

后端使用火车采集器抓取商业情报（事件、内容、时间、标签、分类）到数据库；前端使用Wordpress+Timeline主题呈现。我是营销人，IT只是玩玩……最终效果如图：只为打造属于自己的商业情报网~

小采：哎哟大神，不错哦~

8

女神准备卖套房，刚挂上网就有无数中介电话打来。每接一个电话都加黑名单，但还是有新的骚扰者。于是我决定献殷勤，把本市各大房产网站的经纪人号码全部采了下来存为CSV，再导入女神的Android 手机，拦截根本不是问题，机智如我。

小采：都像你这般努力哪会有追不到的女神！(～o￣▽￣)～o

除了这些，有的大神们还分享了一些小采表示从来没听过也没访问过的网站……这里就不一一列举了……

本报讯 （记者谢菁菁 郑国瑞彭红霞）为积极深入“大学习、深调研、真落实”活动开展，进一步推动惠城区“两强一提”工程实施，日前，惠城区残联工作人员深入到汝湖镇、水口街道，现场督导检查该区残疾人基本服务状况和需求信息数据动态更新工作进展情况。记者了解到，为确保残疾人动态更新工作的顺利开展，全区所有村（社区）将采取手机APP数据采集和录入，各级及时筹划、增加投入、主动作为，为动态更新工作的常态化开展打下坚实的基础。

据悉，残疾人基本服务状况和需求信息数据动态更新工作，是评估现行社会保障和基本公共服务的政策效果，也是制订国家和残疾人事业发展规划中完善残疾人兜底保障制度和残疾人基本公共服务的相关决策依据，更是为健全残疾人信息平台和实现残疾人工作智能化管理服务机制奠定了基础。

为扎实推进动态更新工作，区残联严格落实挂钩联系基层制度，成立了动态更新工作办公室，对相关工作进行具体分工，区、镇（街道）残联所有人员，对全区的调查工作进行了责任区分，包干到村（社区）。按照“统一领导、分级负责、层层落实责任制”的组织原则，统一思想、统一筹划、全面部署，确保调查员培训工作组织健全、责任清晰。

同时，充分发挥各级专职委员在各级残联和服务对象之间的桥梁纽带作用，发挥他们作为残疾人工作的宣传员、信息员、联络员的作用。在业务培训、入户调查等工作中让专职委员充分参与，切实提高残疾人专职委员的整体能力和业务素质，让他们在工作中得到锻炼，提高水平，增长能力。

版权声明：图片来源于网络，图文无关。如涉及版权问题，请作者持权属证明与本网联系

来源：惠州日报

香港《南华早报》12月1日文章，原题：内地消费者机构称，中国的智能手机App正收集过多个人信息

中国许多智能手机都在过度收集有关用户的个人信息，其中包括用户位置、通讯录和手机号码等。

中国消费者协会近期对100款App进行测评后发布报告称，其中91款涉嫌过度收集个人信息，但该报告并未将(所有)这些App的名称公之于众。该报告分别列出相关App在数据隐私及保护声明中存在的常见问题。

“从本次测评情况看，大多数App仅达到及格水平甚至低于及格水平，而且各类App差距明显，尤其是中小企业App问题较为突出，存在过度收集信息、无隐私条款、条款不完整以及不合理格式条款等问题。以上问题凸显我国保护消费者信息形势的严峻性，应当引起相关部门的高度重视。”该报告称。

报告显示，导航、旅游、酒店预订、云存储和健康管理等服务提供商收集用户信息最多。例如，美图秀秀涉嫌过度收集有关用户的可识别生物信息、财务信息等。小黄车向关联公司及第三方分享相关信息时，未单独征得用户同意。支付宝未在收集的信息种类中注明个人敏感信息，且未对核心和附加功能进行区分。

在中国，数字经济崛起意味着如今人们越来越多的活动都在线上进行，对用户隐私、数据安全以及全世界科技企业如何处理个人信息的担忧正与日俱增。▲(作者莎拉-戴,会聪译)

最近半年，我们八爪鱼陆续接到好几个APP数据采集的项目需求，我在群里面，偶尔也看到有些用户在问，有没有APP数据采集的工具。鉴于我们做过的几个APP数据采集项目的经验，我可以告诉大家，现在APP数据采集，市面上还没有通用的工具。我们八爪鱼内部是有一套工具，但由于使用的难度较高，需要编写脚本，所以不对普通用户公开，我们仅接受项目定制。

虽然不对外公开，但并不妨碍我们将技术分享出来，APP数据采集，一般走以下两种方式：

1.两种思路

1. 抓包

2. HOOK

2.抓包

有代码经验或APP开发的同学都很容易理解，其实很多APP，走的都是webservice通讯协议的方式，并且由于是公开数据，而且大部分是无加密的。所以只要对网络端口进行监测，对APP进行模拟操作，即可知道APP里面的数据是如何获取的。

我们只需要写代码模拟请求，无论POST还是GET，即可得到该请求所返回的信息。再通过对返回的信息结构化解析，即可得到我们想要的数据。

public static void main(String[] args) {

Spider.create(new GithubRepoPageProcessor())

//从https://github/****开始抓

.addUrl("https://github/****")

//设置Scheduler，使用Redis来管理URL队列

.setScheduler(new RedisScheduler("localhost"))

//设置Pipeline，将结果以json方式保存到文件

.addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))

//开启5个线程同时执行

.thread(5)

//启动爬虫

.run();

}

以模拟采集“meizu”应用市场为例

3.HOOK技术

HOOK技术是一种走操作系统内核的技术，由于安卓系统是开源的，所以可以借助一些框架修改内核，从而实现你要的功能。HOOK的形式，我们走的是Xposed框架。Xposed是一款可以在不修改任何其他开发者开发的应用（包括系统服务）的情况下，改变程序运行的一个开源框架服务。基于它可以制作出许多功能强大的模块，以此来达到应用程序按照你的意愿运行的目的。

如果把安卓手机看做一座城堡，那Xposed可以让你拥有一个上帝视角，城里的运作细节尽收你眼底，还能让你插一手改变城堡的运作规律。

什么意思呢？简单的说就是你可以通过他，自动化的控制你的APP。如果将我们的APP开在模拟器上，我们可以通过编码，通过他告诉APP这一步干什么，下一步干什么。你把它理解成类似游戏打怪外挂就可以了。

而他每走一步，APP与服务端交互的数据，均可获取下来。这种方式广泛用于一些成熟的APP。比如某信采集。

public class HookActivity implements IXposedHookLoadPackage {

@Override

public void handleLoadPackage(LoadPackageParam lpparam) throws Throwable {

final String packageName = lpparam.packageName;

XposedBridge.log("--------------------: " + packageName);

try {

XposedBridge.hookAllMethods

(Activity.class, "onCreate", new XC_MethodHook() {

@Override

protected void afterHookedMethod(MethodHookParam param)

throws Throwable {

XposedBridge.log("=== Activity onCreate: " + param.thisObject);

}

});

} catch (Throwable error) {

XposedBridge.log("xxxxxxxxxxxx: " + error);

}

}

}

其实我们八爪鱼曾经也想开发一款通用的APP数据采集工具，并且两年前在这块投入研究了小半年，我们做出了一款APP采集脚本编辑工具，可以让一款APP的数据采集项目缩减到3-5天即可开发完成。但我们认为，这个工具需要编写脚本一般用户是比较难上手的，所以仅作为内部项目使用。

以HOOK某APP为例:

4.这些年走过的坑

聊完APP采集的思路，我们跟大家分享一些遇过的坑吧，让大家乐一乐

坑一：签名算法

以某信的文章列表页及某信息页为例，对其http访问进行抓包，会发现其url的一个核心参数是我们无法知道如何生成的，这就导致，我们不可能直接用该url进行信息爬取；签名算法如果无法破解，HTTP这条路就是死路了。

坑二：http爬取回来的信息和页面显示不一致

以某信的某信息页为例，对比直接访问某信页面及http爬取的信息，可明显发现http爬取到的信息较少。造成得两种方式都用，才能既照顾速度又照顾完整性。

坑三：模拟器中的坑

APP自动识别你的运行环境进行屏蔽，最厉害的还是某信，连你是用模拟器打开还是真机打开，是什么内核的，全部进行限制。曾经见过牛人，找某手机厂商专门定做真机来配合。

坑四：帐号的坑

这个坑就有点大了，要找号、养号，都不是件容易的事情，更惨的是封号，真真让你一夜回到解放前。

来源:人民日报

不久前发生的一系列事件让个人信息安全再成舆论热点：华住旗下多家酒店品牌疑似发生大规模信息泄露事件，数据涉及约1.23亿条官网注册资料、1.3亿条入住登记身份信息；有“暗网”用户声称手握3亿条顺丰快递客户数据，包括寄收件人姓名、地址、电话等个人信息，并积极叫卖……

网络时代，我们的个人信息安全状况如何？谁是个人信息泄露的幕后“黑手”？护航个人信息安全，政府和企业需要再做些什么？

个人身份信息最容易被侵犯

全国消协组织受理的消费者投诉数据显示，今年上半年，电商平台、社交平台软件等非法采集消费者个人信息现象成消费投诉新热点，位居十大投诉榜榜首。不久前，中消协发布的《APP个人信息泄露情况调查报告》（以下简称《报告》）也反映，遇到过个人信息泄露情况的人数占比为85.2%。

“网络具有即时性与虚拟性，加上个人信息被广泛采集却未受到良好保护，公民个人信息一旦泄露，普遍存在举证难、损失认定难的情况，因此，个人信息泄露问题没得到有效治理。”中国法学会消费者权益保护法研究会副秘书长陈音江说。

“个人信息主要有三种形式：第一种叫个人隐私信息，这是隐私权保护的范围；第二种叫个人身份信息，如身份证号码、电话号码、个人账户信息等，用个人信息权予以保护；第三种是衍生数据，是对网络上留存的海量的个人数据进行加工处理形成的新数据，已经与个人的身份信息脱敏。”中国人民大学法学院教授杨立新认为，个人隐私信息和个人身份信息都要依照法律的规定进行支配，只有衍生数据才可以在大数据时代中进行商业处理。

杨立新认为，最容易被侵犯的个人信息是身份信息，各类商业推销、电信诈骗等大多是基于个人身份信息泄露而出现的。《报告》显示，约86.5%的受访者曾收到推销电话或短信的骚扰，约75.0%的受访者接到诈骗电话，约63.4%的受访者收到垃圾邮件，这是最常见的三大问题。此外，消费者还面临着收到非法链接、个人账户密码被盗等风险。

据介绍，去年3月，公安部开展了打击整治黑客攻击破坏和网络侵犯公民个人信息犯罪专项行动，仅4个月就侦破相关案件1800余起，查获各类被非法倒卖公民个人信息500余亿条。

手机应用软件过度采集个人信息

《报告》发现，个人信息泄露的两条最主要途径，一是经营者未经本人同意暗自收集个人信息，二是经营者或不法分子故意泄露、出售或者非法向他人提供个人信息，这两者均超过调查总样本的60%。

据了解，部分APP会“私自窃密”。例如，部分记账理财APP会通过留存消费者的个人网银登录账号、密码等信息，并模仿消费者网银登录的方式，获取账户交易明细等信息。有的APP在提供服务时，采取特殊方式来获得用户授权，这本质上仍属“未经同意”。例如，在用户协议中，将“同意”之选项设置为较小字体，且已经预先勾选，导致部分消费者在未知情况下进行授权。

另外，手机APP过度采集个人信息呈现普遍趋势。“最突出的是在非必要的情况下获取位置信息和访问联系人权限。”中消协秘书长朱剑雄说，“比如，像天气预报、手电筒这类功能单一的手机APP，在安装协议中也提出要读取通讯录，这与《全国人民代表大会常务委员会关于加强网络信息保护的决定》明确规定的手机软件在获取用户信息时要坚持‘必要’原则相悖。”

《报告》还发现，在安装和使用手机APP时，很少有用户仔细阅读应用权限和用户协议或隐私政策。“不授权就没法用，只能被迫接受。”不少消费者在接受采访时表示。

“双方当事人无法进行面对面协商，这决定了消费者只能先接受平台提出的交易规则，否则就无法进行交易。”杨立新说，问题的关键在于，网络交易平台提供的交易规则是否合法，“对此，商务、市场监管等有关部门在实体和程序上都做了规定。若交易规则内容违法，消费者可以主张废除该规则，也可以行使撤销权撤销该交易，造成损害的还可以请求损害赔偿。”

与此同时，个人信息买卖已形成一条规模大、链条长、利益大的产业链。“这条产业链结构完整、分工细化，个人信息被明码标价，流通变现环节主要包含三个方面。”据中国人民大学法学院博士后刘笑岑介绍，上游环节负责“源头供货”，非法获取或向他人提供个人信息，主要来自于黑客攻击和“内鬼”外泄；中游环节负责对从上游处获取的个人信息进行处理与再加工，通过买卖、交换等形式形成规模化市场；下游环节负责“应用变现”，将所获个人信息应用于电信诈骗、恶意营销等不法渠道以牟取高额利润。

在公安部今年的“净网2018”专项行动中，公安机关对侵犯公民个人信息犯罪、黑客攻击破坏犯罪和非法销售“黑卡”犯罪进行严厉打击，半年内抓获犯罪嫌疑人8000余名，其中涉电信服务商、互联网企业、银行等行业内部人员300余名，黑客1200余名，缴获“黑卡”270余万张。

引导行业建立个人信息分级分类保护体系

据统计，目前有近40部法律、30余部法规涉及个人信息保护，包括民法总则、刑法、消费者权益保护法、网络安全法以及新近通过的电子商务法。

杨立新认为，现有的法律法规已经足以保护个人信息，问题在于，侵害个人信息构成犯罪的，能够追究其刑事责任，但对于侵权行为，仍然制裁不力。“重点是加强司法上的民法保护，在惩戒手段、赔偿问题上落实落细，加强对侵害个人信息权行为的打击力度，承担赔偿责任。”“个人信息保护的主管机关还未确定，目前公安、工信、网信、司法等多家部门都在管，需拧成监管合力。”刘笑岑认为，还处于立法计划当中的个人信息保护法，将来应致力于解决这些问题。

个人信息泄露的源头是什么？“问题出在过度采集上。”陈音江说，“合法、正当、必要”六字是目前相关法律对个人信息采集和使用的规定，必须贯彻落实，同时要尽快明确，哪些事项必须通过实名制注册或办理，哪些事项无需实名，避免信息采集主体过多、实名登记事项过度。

“如何引导行业对于个人信息进行分类，构建分级分类保护体系，这是当前个人信息防泄露问题要着重考虑的一项。”腾讯守护者计划安全专家马瑞凯说。

受访专家表示，个人信息获取、存储和利用的环节众多，许多信息的传播又具有隐蔽性和复杂性，做到切实保障公民个人信息安全，需要公民、信息采集机构、技术人员和有关部门协同共治。就企业管理层面而言，要推动数据防窃密、防篡改、防泄露等安全技术的研发和部署，有效降低不法分子窃密风险；就监管部门而言，要进一步加大对电信诈骗、网络诈骗等违法犯罪活动的打击力度，持续形成高压态势，保护消费者的合法权益。