最近半年，我们八爪鱼陆续接到好几个APP数据采集的项目需求，我在群里面，偶尔也看到有些用户在问，有没有APP数据采集的工具。鉴于我们做过的几个APP数据采集项目的经验，我可以告诉大家，现在APP数据采集，市面上还没有通用的工具。我们八爪鱼内部是有一套工具，但由于使用的难度较高，需要编写脚本，所以不对普通用户公开，我们仅接受项目定制。

虽然不对外公开，但并不妨碍我们将技术分享出来，APP数据采集，一般走以下两种方式：

1.两种思路

1. 抓包

2. HOOK

2.抓包

有代码经验或APP开发的同学都很容易理解，其实很多APP，走的都是webservice通讯协议的方式，并且由于是公开数据，而且大部分是无加密的。所以只要对网络端口进行监测，对APP进行模拟操作，即可知道APP里面的数据是如何获取的。

我们只需要写代码模拟请求，无论POST还是GET，即可得到该请求所返回的信息。再通过对返回的信息结构化解析，即可得到我们想要的数据。

public static void main(String[] args) {

Spider.create(new GithubRepoPageProcessor())

//从https://github/****开始抓

.addUrl("https://github/****")

//设置Scheduler，使用Redis来管理URL队列

.setScheduler(new RedisScheduler("localhost"))

//设置Pipeline，将结果以json方式保存到文件

.addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))

//开启5个线程同时执行

.thread(5)

//启动爬虫

.run();

}

以模拟采集“meizu”应用市场为例

3.HOOK技术

HOOK技术是一种走操作系统内核的技术，由于安卓系统是开源的，所以可以借助一些框架修改内核，从而实现你要的功能。HOOK的形式，我们走的是Xposed框架。Xposed是一款可以在不修改任何其他开发者开发的应用（包括系统服务）的情况下，改变程序运行的一个开源框架服务。基于它可以制作出许多功能强大的模块，以此来达到应用程序按照你的意愿运行的目的。

如果把安卓手机看做一座城堡，那Xposed可以让你拥有一个上帝视角，城里的运作细节尽收你眼底，还能让你插一手改变城堡的运作规律。

什么意思呢？简单的说就是你可以通过他，自动化的控制你的APP。如果将我们的APP开在模拟器上，我们可以通过编码，通过他告诉APP这一步干什么，下一步干什么。你把它理解成类似游戏打怪外挂就可以了。

而他每走一步，APP与服务端交互的数据，均可获取下来。这种方式广泛用于一些成熟的APP。比如某信采集。

public class HookActivity implements IXposedHookLoadPackage {

@Override

public void handleLoadPackage(LoadPackageParam lpparam) throws Throwable {

final String packageName = lpparam.packageName;

XposedBridge.log("--------------------: " + packageName);

try {

XposedBridge.hookAllMethods

(Activity.class, "onCreate", new XC_MethodHook() {

@Override

protected void afterHookedMethod(MethodHookParam param)

throws Throwable {

XposedBridge.log("=== Activity onCreate: " + param.thisObject);

}

});

} catch (Throwable error) {

XposedBridge.log("xxxxxxxxxxxx: " + error);

}

}

}

其实我们八爪鱼曾经也想开发一款通用的APP数据采集工具，并且两年前在这块投入研究了小半年，我们做出了一款APP采集脚本编辑工具，可以让一款APP的数据采集项目缩减到3-5天即可开发完成。但我们认为，这个工具需要编写脚本一般用户是比较难上手的，所以仅作为内部项目使用。

以HOOK某APP为例:

4.这些年走过的坑

聊完APP采集的思路，我们跟大家分享一些遇过的坑吧，让大家乐一乐

坑一：签名算法

以某信的文章列表页及某信息页为例，对其http访问进行抓包，会发现其url的一个核心参数是我们无法知道如何生成的，这就导致，我们不可能直接用该url进行信息爬取；签名算法如果无法破解，HTTP这条路就是死路了。

坑二：http爬取回来的信息和页面显示不一致

以某信的某信息页为例，对比直接访问某信页面及http爬取的信息，可明显发现http爬取到的信息较少。造成得两种方式都用，才能既照顾速度又照顾完整性。

坑三：模拟器中的坑

APP自动识别你的运行环境进行屏蔽，最厉害的还是某信，连你是用模拟器打开还是真机打开，是什么内核的，全部进行限制。曾经见过牛人，找某手机厂商专门定做真机来配合。

坑四：帐号的坑

这个坑就有点大了，要找号、养号，都不是件容易的事情，更惨的是封号，真真让你一夜回到解放前。

匹配算法实现，通过将用户属性、用户学习状态属性、用户操作行为统计属性与资源属性进行匹配，数据容量大，遥测距离远，人机界面友好，可靠性高的优点，可广泛用于学校和社区小区域范围环境服务。

也适合于气象、海洋、环境、机场、港口、工及等领域使用．实时数据采集与上传该模块主要功能是通过无线方式获取环境观测站采集的实时数据并显示．数据采集的基本算法如下：首先判断是否到发送数据时间，若到了执行数据发送命令。

为了方便学习者查找资源以及系统推送资源，须对学习者和资源的属性进行标记，即创建属性元数据．本研究采用标签技术分别建立学习者和资源的属性元数据．学习者的属性标签主要来自于用户注册时的信息（用户属性）、学习者的学习状态属性以及学习者系统操作行为统计属性（对上传、下载、浏览、评论等操作的统计）。

资源的属性标签主要来自于资源提供者根据学科和关键字分类的标签以及资源使用者对资源的评价、标记等．根据研究性学习的主题、用户学习进度，系统可以将用户可能感兴趣，其他用户感兴趣或评分高、浏览次数多，相同领域的最优资源或相似领域的最佳资源推送给用户，系统根据学习者的学习主题，将平台中评价最高的相关资源、教师指定的资源和拓展的相关资源进行匹配，

QQ数据采集器-QQ营销必备工具

导语

现在是大数据时代，无论做什么营销都需要用到数据。数据是根本，数据能引导你的营销思维。做QQ营销同样需要大量的精准数据，今天小编为大家介绍一款QQ数据采集软件，这款软件既可以采集精准客户QQ，同时也可以采集精准客户QQ群以及QQ群成员。

软件功能特点

⊙支持按关键词采集精准客户qq

⊙支持自动检测所采集好友是否为单双向好友

⊙支持自动检测所采集qq是否开通临时会话功能

⊙支持自动识别qq所在城市、性别。年龄

⊙支持按关键词采集精准客户qq群

⊙支持自动筛选出群主qq

⊙支持自动检测是否可以直接添加qq群

⊙支持以文本文档格式导出qq群

⊙支持采集qq附近的人（全国定位）

⊙支持采集本地好友和群

⊙支持采集空间qq

⊙支持采集微博听众

⊙支持采集企业qq

⊙支持论坛qq采集

软件功能效果展示

易推客营销软件

ForeSpider数据采集软件之链接抽取脚本

前嗅ForeSpider数据采集软件是一款通用性互联网数据采集软件，软件几乎可以采集互联网上所有公开的数据，通过可视化的操作流程，从建表、过滤、采集到入库一步到位。同时软件内置了强大的爬虫脚本语言。如果有通过可视化采集不到的内容，都可以通过简单几行代码，实现强大的脚本采集。

很多用户说可视化的操作太简单，一定要看软件脚本的教程，所以今天给大家出一个爬虫脚本的链接抽取教程，满足用户更多的需求。

案例使用的是大众点评网，要抽取下面的翻页链接。

第一步先看每一页的链接地址有没有规律。

可以看到每一页的链接地址只有最后一个数字是不一样的，分别是对应的页码数，我们可以通过拼接的方式得到所有翻页的链接地址。下面写了拼接第二页链接地址的脚本：

第一行代码：定义一个url类的变量u

第二行代码：u.urlname是网页的链接地址，为其赋值

第三行代码：u.tmplid是这个链接抽取所要关联的模板id，这里是翻页，所以关联自身模板

第四行代码：这个链接抽取所对应的频道id

第五行代码：u.title是链接标题，为其赋值

第六行代码：将所拼接的链接添加到最后的结果中

上面只是解释每一行代码的作用，取到的只是第二页的链接，下面给大家放完整的内容：

通过FindClass的方式，从源码中得到总页数，然后使用for循环拼接每一页的链接。一共才用了12行（其中还包含了两行注释）就得到了自己想要的链接，是不是非常的简单呢，希望大家多看帮助文档，很多问题在帮助文档里就有了答案（我也经常遇到不会的然后去看文档）。

前嗅ForeSpider是一款非常简单好用的通用型数据采集软件，操作简单功能强大的同时还保证了采集速度，完全可以满足企业级用户需求。

智能硬件结合大数据优势，全方位挖掘用户线下、线上行为，精准定义目标客群特征、消费偏好、地域分布，为零售客户提供选址招商、运营管理、客群洞察、推广营销、实现 营销的“点对点”高效精准的传播，是新一代人工智能思维下的营销新武器。

店内优化

客流实时监测

顾客质量和转化率

顾客运动轨迹热点动图

店内商品试用、转化率

新客招募

厘米级精准定位新客，信息采集分析

对接各个广告平台，精准投放

广告效果评估

提高活动效果

展示真实人流，轨迹动图，客观评估活动效果

场景式营销，广告实时送达

用户画像

了解品牌受众，帮助品牌定位

进店顾客人群画像采集

人员、物品管理

优化员工管理系统，监测到岗及工作时间

贵重物品定位，防盗防损

优化库存管理

探针

集探针，iBeacon，商品触碰探测为一体

wifi与gprs两种上报信息方式

搭载gps模块，采集地理位置信息

出色的定位技术

手机号与mac地址绑定方案

平台化运作，提供丰富的上层接口给集成商

解决方案

购买地址：https://detail.1688/offer/551150997804.html?spm=b26110380.sw1688.mof001.1.b4WnET

或阿里巴巴搜索：58数云、潜客宝

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder

大数据平台与数据采集

任何完整的大数据平台，一般包括以下的几个过程：

数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)

其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：

我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展。

1、Apache Flume

Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。

Flume最初是由Cloudera的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。

Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。

每一个agent都由Source，Channel和Sink组成。

Source

Source负责接收输入数据，并将数据写入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持监视一个目录或者文件，解析其中新生成的事件。

Channel

Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。

Sink

Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。

Flume在source和sink端都使用了transaction机制保证在数据传输中没有数据丢失。

Source上的数据可以复制到不同的通道上。每一个Channel也可以连接不同数量的Sink。这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。

配置如上图所示的agent结构，Flume支持设置sink的Failover和Load Balance，这样就可以保证即使有一个agent失效的情况下，整个系统仍能正常收集数据。

Flume中传输的内容定义为事件(Event)，事件由Headers(包含元数据，Meta Data)和Payload组成。

Flume提供SDK，可以支持用户定制开发：

Flume客户端负责在事件产生的源头把事件发送给Flume的Agent。客户端通常和产生数据源的应用在同一个进程空间。常见的Flume 客户端有Avro，log4J，syslog和HTTP Post。另外ExecSource支持指定一个本地进程的输出作为Flume的输入。当然很有可能，以上的这些客户端都不能满足需求，用户可以定制的客户端，和已有的FLume的Source进行通信，或者定制实现一种新的Source类型。

同时，用户可以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

2、Fluentd

Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维护。

Fluentd的部署和Flume非常相似：

Fluentd的架构设计和Flume如出一辙：

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。

Input

Input负责接收数据或者主动抓取数据。支持syslog，http，file tail等。

Buffer

Buffer负责数据获取的性能和可靠性，也有文件或内存等不同类型的Buffer可以配置。

Output

Output负责输出数据到目的地例如文件，AWS S3或者其它的Fluentd。

Fluentd的配置非常方便，如下图：

Fluentd的技术栈如下图：

FLuentd和其插件都是由Ruby开发，MessgaePack提供了JSON的序列化和异步的并行通信RPC机制。

Cool.io是基于libev的事件驱动框架。

FLuentd的扩展性非常好，客户可以自己定制(Ruby)Input/Buffer/Output。

Fluentd从各方面看都很像Flume，区别是使用Ruby开发，Footprint会小一些，但是也带来了跨平台的问题，并不能支持Windows平台。另外采用JSON统一数据/日志格式是它的另一个特点。相对去Flumed，配置也相对简单一些。

3、Logstash

Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。

Logstash用JRuby开发，所有运行时依赖JVM。

Logstash的部署架构如下图，当然这只是一种部署的选项。

一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。

几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的数据系统使用ElasticSearch的情况下，logstash是首选。

4、Chukwa

官网：https://chukwa.apache.org/

Apache Chukwa是apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，他用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 github的更新事7年前。可见该项目应该已经不活跃了。

Chukwa的部署架构如下：

Chukwa的主要单元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相当复杂。由于该项目已经不活跃，我们就不细看了。

5、Scribe

代码托管：https://github/facebookarchive/scribe

Scribe是Facebook开发的数据(日志)收集系统。已经多年不维护，同样的，就不多说了。

6、Splunk Forwarder

以上的所有系统都是开源的。在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。

Splunk是一个分布式的机器数据平台，主要有三个角色：

Search Head负责数据的搜索和处理，提供搜索时的信息抽取。

Indexer负责数据的存储和索引 Forwarder，负责数据的收集，清洗，变形，并发送给Indexer

Splunk内置了对Syslog，TCP/UDP，Spooling的支持，同时，用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。

这里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。

总结

我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

其中Flume，Fluentd是两个被使用较多的产品。如果你用ElasticSearch，Logstash也许是首选，因为ELK栈提供了很好的集成。Chukwa和Scribe由于项目的不活跃，不推荐使用。

Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。

中间为彩虹无线创始人兼CEO黄亮

如果说数据来自电子化记录，那么一台智能网联汽车无疑是最为典型的数据生产单元。

从动力系统、车内空间、人机交互模块，再到支持智能驾驶的外部传感器，汽车全身高度集成了各种电子器件，其在移动在线时代，无时无刻不在记录和生产数据。IDC发布的《数字宇宙》(Digital Universe)研究报告表明，2020 年全球新建和复制的信息量将超过 40ZB（1ZB=10万亿亿字节），而来自车联网的数据占比为5%。

面对如此庞大的数据体量，几乎每家车企都开始思考，该如何探索其中的价值？然而车企的擅长之处在于生产制造，如何利用和处理数据，显然需要一个专业玩家。彩虹无线正是这一背景下诞生的一家数据服务公司，其基于车内的T-BOX采集大量行车数据，然后通过通讯模块传到服务端，再对这些数据进行价值挖掘延伸出服务。

20117年12月28日，彩虹无线宣布与上汽乘用车、东风技术中心、东风保险经纪公司、观致汽车、云度新能源、众泰汽车、猎豹汽车等8家车企签署合作，统揽了这8家主机厂的数据服务业务，同时，彩虹无线还获得了来自东风资产管理公司及远毅资本的B轮资金支持。

那么彩虹无线能够为车企提供什么？这家公司的创始人兼CEO黄亮告诉钛媒体，彩虹无线的业务线有两条：

第一是数据智能服务。针对车联网动态、实时的数据进行挖掘，为主机厂的研发、生产、销售以及售后提供价值，说白了就是为主机厂提供一套数据运营的SaaS服务，用数据告诉车企，从生产制造到售后服务，有哪些地方可以改进和优化，从而将成本控制体现在最终的利润报表上；第二是金融科技服务。除了常见的UBI保险，彩虹无线还会利用自身掌握的车联网数据，为车企提供车贷方面的金融风控、外部金融产品的引入等服务。

黄亮表示，通过数据，彩虹无线对车会更加了解，包括车的能耗、质量、性能、故障以及将来出现的问题等；而通过车联网数据，彩虹无线将驾驶者也会更了解，包括人的风险情况、驾驶安全情况、人的画像等。

“在对车和人深入了解之后，我们建立了很多模型，比如说驾驶安全评估模型，车辆的故障预警模型、车辆的能耗模型等等，基于场景我们做了很多服务。”

锁定前装UBI保险

成立于2011年的彩虹无线并不是一家创业新秀，谈到创业经历，黄亮表示自己是一个典型的连续创业者。

2010年，黄亮的第一次创业项目是打车软件，但是时机窗口并没有打开，“我们找出租车司机推广，发现10个司机只有一个是智能手机”，智能终端尚未普及导致打车项目搁置。

黄亮的第二个创业项目，也就是彩虹无线成立之初做的是后装OBD（On-Board Diagnostic，车载诊断系统）产品。在这一领域，不少巨头都曾涉猎过，腾讯也推出了自己的OBD产品路宝盒子：通过一个外接硬件，与CAN总线实现数据交互，读取车辆的时速、温度、轮速、发动机扭矩、油门、制动踏板、排档杆位置、空调等各种设备是否工作和故障信息。

“当时销量十分可观，一年之内在全国卖了至少上万个。”黄亮说。但是一次用户投诉，让他改变了想法。

“那是一个雷克萨斯车主，投诉说在高速公路上突然之间没有了动力，所有的灯都正常亮，但拔下OBD盒子就好了。”黄亮回忆，同样的问题还出在一个荣威350车上。

这些投诉让黄亮感到后脊发凉，“盒子如果频繁地去和车内交互，去读取数据的话，车就受影响。如果因为这个事儿出了车祸，公司是承受不起的。”自此，黄亮放弃后装路线，转而主攻前装市场。

调整战略航向后的2012年，彩虹无线获得了观致汽车的车联网项目业务。

“观致汽车的TSP平台项目60%是我们做的，然后通过和微软合作，我们承担了整个观致汽车数据平台的规划咨询到建设。”黄亮说，“观致汽车虽然车卖的不好，却是车联网的黄埔军校。”

与当前大部分车载系统相比，观致的逸云车联网可以说在多年前就确定了目前主流的功能框架。观致的订单不仅让彩虹无线获得了转型期的必要资源支撑，观致汽车车联网项目白玲的UBI车险提议，也让黄亮看到了新的方向。

2013年，彩虹无线基于前装车联网数据开始做UBI保险。当时这一市场已经涌入了人寿保险保、太平洋保险等大量专业的机构玩家。不过，与彩虹无线的策略不同，这些专业的金融机构寄希望于发放大量的OBD盒子作为数据采集终端，也就是借助后装数据作为保险定价的决策依据，最终都反响平平。

远毅资本合伙人陈强指出，“只有前装数据是全面、稳定的，数据采集频率可以达到一秒钟一次，后装设备由于不确定性，大家有的时候会关闭，采集到的数据质量跟前装相比就差很多。”

而为了获得更为精准的车载数据，彩虹无线在2016年年底，联合上汽、广汽、江铃、奇瑞、众泰、博世、德赛西威等22家汽车厂商及车联网软硬件服务商，推出了前装车联网数据采集标准。“这个标准归纳总结了135个数据项，并进行了统一的编码，目前已经为20家车企采用。”黄亮告诉媒体。

基于用户画像、驾驶习惯、保养记录等更为精准的前装数据，彩虹无线对UBI进行了个性化设计。“以里程险为例，你原来的保费是5000块钱，你还是要交5000块钱买车险，但是我们会把其中60%-80%的费用充到你的账户里去，如果你这一年都没有开车，就可以拿这个钱（账户里的钱）来续保或者提现。如果你开了，就会根据驾驶行为重新定价，如果你很规范地驾驶，可能是一公里1毛钱，如果是夜间超速驾驶，那可能就是1公里1块钱。”

不过，黄亮强调，彩虹无线并没有打算自己推出保险产品，而是将自身定位成一家连接保险公司和车主的桥梁。“我能够把保险公司的产品经过加工推给用户，成为触达用户的渠道，也能够把保险公司需要的定价数据传递给保险公司。”黄亮告诉钛媒体，目前彩虹无线在合作车企达到30家主机厂。

据钛媒体了解，每销售一个保险产品，彩虹无线就可以获得来自保险公司的佣金，这已经是目前彩虹无线收入的最大来源。但是黄亮认为，基于数据价值还有更大的挖掘空间。除了在金融方面，向新车车贷领域进行拓展，彩虹无线还在与主机厂合作，通过为后者提供数据SaaS服务收取费用。

“我建一套系统，帮你运营好，能为你的汽车产品降低了百分之几的能耗，你给我付多少钱”黄亮说。目前来看，与上汽乘用车的合作是这一模式的代表。

以数据驱动整车开发服务

一般情况下，一辆汽车的开发流程要经过五个步骤：立项，概念可行性评审，软模（以确保工程设计完全符合要求），硬模，小批量试产，正式投产。

这五个阶段过程消耗的时间是多长？42个月，以上汽的开发流程为例：工程设计8个月，采购定点两个月，软模6个月，台架4个月，整车路试4个月，硬模6个月，台架再做一遍4个月，整车路试4个月，小批量3个月，量产1个月。

“如果加上发动机和变速箱整个周期还要延长6个月，就是48个月，整整4年时间。”上汽乘用车总监康飞表示。

而这个流程将会面临物理性失效、电器类故障、质量问题、制造问题等等开发工程问题。以上汽现最新的ECU 17810系为例，车辆运行过程当中同时要采集15900个信号，采样频率从10毫秒到100毫秒不等。“这样多的信号数据量中，任何一个信号都足以让这辆车瞬时熄火，这也导致目前电器类问题明显增加。”康飞说。

因此，显然需要一个完备的数据收集和处理系统，找到工程开发过程中出现的问题。上汽此前的方法是用SD卡来记录数据，然后录入到服务器中。“这一传统方法导致的直接结果是，问题发现不能够及时，发布同样不能够及时。”康飞告诉媒体。

因此，上汽在与彩虹无线合作打造了一个整体的数据采集方案。首先由彩虹无线提供一整套硬件软件，以及从流量到服务的解决方案，在工程上安装高频的采集设备，通过WIFI和4G方式把数据传到云端，再从云端传到研发基地的服务器，由服务器进行数据初步筛选和判断，再传给每个工程师。

“这样我们工程师能够随时在移动端看到车辆运行情况。”康飞表示。这样一套系统解决以下问题：

1、数据采集和传输的实时性，工程师能在第一时间看到这样的数据；2、问题发现和分配及时性，基于获取的工程数据，可以实现整个平台导入，对于故障分类、等级划分和责任部门认定，可以做到随时发现随时执行；3、对于软件更新和升级的便捷性，可以在研发基地进行远程的操控和更新，不需要工程师跑到基地进行人工的手动操作。另外可以通过系统车辆运行和测试监控，确保车辆的安全。

据钛媒体了解，上汽与彩虹无线的数据采集方案合作将在2018年6月份开始搭建。“到2018年年底，会在这一基础上做扩展，实现以数据驱动整车开发服务。”康飞向媒体表示。

彩虹无线CEO黄亮告诉钛媒体，与彩虹无线进行前装合作的车企已经达到30多家。这无疑是一个巨大的市场，不过对于主机厂来说，如何强调自身的数据控制权，也是彩虹无线作为数据服务商，所需要谨慎考虑的立场问题。

谁的数据？

BAT等互联网公司都已经在车联网领域展开部署，阿里推出了自身的斑马系统、百度有DuerOS，腾讯也联合广汽、比亚迪、长安等6大车企推出了AI in car系统。随着BAT向汽车领域进行渗透，关于未来汽车厂商和IT企业之间话语主导权的归属问题，也引发不少讨论。

“未来，主机厂在互联网、车联网方面一定要要涉足到平台和数据的结构搭建，而且在平台的掌控方面，主机厂一定要有自己的主动和控制力。”黄亮认为，追求数据平台的主导权是主机厂的战略之一，但是数据的掌控和管理、与挖掘是不同层面的事情。

“你可能把数据采集到了，但如果不经过发掘，是没有价值的，所以需要很多的数据价值发掘的公司来和主机厂一起工作。”黄亮强调，彩虹无线正是这样一个数据服务的角色和定位，“数据是从C端采集到主机厂自己的云端，经过加工筛选后，我们把我们需要的拿过来，数据不会直接传到我们平台。”

在黄亮看来，随着智能驾驶成为趋势，汽车上的传感器越来越多，数据体量越来越多，汽车厂商对数据掌控权的重视会逐渐加深，而作为车企的合作伙伴，必然要定位好自己的角色。

“你把一个黑匣子都给我，主机厂是不会愿意的，你说要拿一个数据去发掘价值，要用起来，主机厂是愿意的。”黄亮说。

王坚在《在线》一书中写道，数据是世界的新财富。关于这座车联网“富矿”的开采，彩虹无线已经率先上路。（本文首发钛媒体，记者／李勤）

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App

车联网数据贯穿了整个汽车产业核心链条。通过各环节间相关数据的有机整合，各大车企也借此抢夺着出行价值高地。整条产业链覆盖了从数据采集到分析模型建立到最终的数据价值转化的全过程，在打造这样一个应用闭环的过程中，车联网数据采集务必要发挥其最大价值。

落到参数采集终端数据服务项目上，从业者需要通过构建数据分析建模及基于车辆采集的数据参数的智能应用，借助人工智能、采集设备等工具的加持，解决车辆在实际应用场景中的需求及核心问题。

然而，针对当下汽车行业数据采集现状，中国车载信息服务产业应用联盟秘书长庞春霖曾公开表示：“中国的车联网还刚刚处于起步阶段，数据标准的不统一，令这个行业发展举步维艰，我们急需要一套完善的、统一的数据标准来支撑这个行业，为这个行业的发展开疆铺路。”

显然，现阶段由于车联网数据采集规范各不相同，同时缺少对于数据项的统一定义，当前市场中主流的三种方式之间数据信息无法完成识别兼容。这将会导致数据最终无法满足应用需求，造成后期改造周期长、维护成本高等一系列问题。举例来说，在前期车联网建设过程中，如果T-BOX数据采集缺少严格定义、精度不足，就会使得数据对于保险产品的定价缺乏指导性。

数据采集过程标准化势在必行。为了给数据智能服务的构建打造坚实基础，由中国智能网联汽车产业创新联盟提出，彩虹无线（北京）新技术有限公司牵头编制的《车联网数据采集要求》CSAE标准，目前已按照中国汽车工程学会标准制修订管理办法完成公示，并于2018年5月2日首次批准发布。

可以说，此次标准发布后，车联网数据流按周期性数据和事件触发性数据两类有了明确规定，以此实现对数据流进行统一管理，并确保各方对数据流的定义保持一致。具体来说，该标准主要包含应用领域、数据采集周期、数据包结构和定义、数据流编码规则、数据采集项等几部分。应用单位可据此，定义数据采集设备、相关解析协议的设计。实现数据包结构规范、意义明确，同时保证数据传递的安全性。

制定一份标准并不容易，彩虹无线CEO黄亮坦言，为了解决行业问题，公司利用大量行业实践与研究，不断探索不同采集频率下的数据采集项在数据应用上的适用性，在不断深化数据采集标准的适用范围的同时，充分考虑了汽车的产品形态与数据特点，才得以制定新的数据采集建议标准。

同时，为了给汽车行业的数据治理和赋能提供有益的指导，这份标准将数据采集与应用场景进行紧密结合，明确了数据应用方向的具体场景：保险创新与数据智能应用。这两大方向恰恰是彩虹无线自身的业务重点。

谈及彩虹无线，这家前装车联网大数据服务运营商这样定义自己：在主机厂和第三方服务商及产品服务商之间扮演一个桥梁的角色。简单来说，彩虹无线的主要工作就是把原始驾驶行为和车况等数据，结合使用者自身需求进行加工处理再建模，提供给第三方服务商使用，辅助保险公司进行产品创新和服务创新，最终在产品成型后再推给C端用户。

在车厂端，彩虹无线为其提供数据智能服务主要是利用车联网动态实时数据，并结合传统的CRM、DMS、URP等系统，以此帮助主机厂在研发、生产、销售以及售后环节创造新的数据价值，最大程度提高研发效率、优化流程及服务品质，譬如提升汽车零配件质量管理水平、加强对新型商品车的质量监控、远程诊断以及呼叫预警救援等等。

可以看出，彩虹无线不仅仅是一家技术公司，而是聚焦对主机厂内部数据进行增值和赋能。与传统的软件服务商或数据服务商仅仅交付了一个软件或是一个平台相比，彩虹无线交付的是一个满足需求的执行结果。事实上，这并非彩虹无线首次发布数据标准。2016年底，该公司发布了业内第一个企业标准，被汽车工业协会及十几家主机厂认可并使用。

率先推动行业标准制定，让彩虹无线在行业中具备了一定话语权。更重要的是，在数据处理过程中，从数据清洗乃至数据标准，均由彩虹无线自己完成。或许正是因为这种强大的能力，让其拥有了27家主机厂合作伙伴。

其中，上汽、广汽、东风均对彩虹无线进行了投资。要知道，在这样一个相当细分的领域，企业护城河就在于主机厂的资源。一旦主机厂对你的服务能力足够满意，这种合作关系基本上是排他的。

在主机厂与IT企业之间，彩虹无线成功抓住机会扮演了多部门间配合的有机催化剂。随着前装车联网大数据价值日益凸显，彩虹无线在为行业确立标准的同时，也在为企业解决最大限度挖掘数据价值，提供准确有效信息的难题，走出一条更加多元化的车联网服务之路。

版权声明：如涉及版权问题，请作者持权属证明与本网联系

来源：中国网

树立全新的物业形象离不开现代化的高科技产品的使用，使企业的物业管理形象和知名度得到很大提高。 采用汽车黑匣子A2，无论从产品的造型方面，还是自动管理所带来的先进性和科学性,都将会给物业管理树立起良好的形象，使企业成为科学管理的楷模。A2智慧车行芯真的能进行车辆数据采集？对于广大网友关心的数据采集问题，深圳智慧车联小编跟大家一起来看看:

　　汽车黑匣子A2是一款覆盖数千款车型的行车数据和车身姿态数据采集器。内置CAN总线模块秒级采集车辆刹车、油门、档位及车速、转速、喷油、负荷、压力、水温、电压等实时数据，内置的陀螺仪毫秒级感知车身姿态变化，行驶过程中实时侦测危险驾驶行为，行程结束输出行驶里程、耗油量、平均车速、平均油耗、行驶时间等行车信息。

　　在企业或者社会团体中只要成功实施，汽车黑匣子A2将改变车辆在行驶过程中松散不易管理的状况。过去一旦车辆出勤，与单位将处于脱离的状态，单位或其他个人很难了解到车辆当前的确定位置和行驶数据，也无法将调度信息实时的下达给车辆。例如在第三方物流公司中，货主无法知道自己的货物当前处于何处，也无法准确预测货物什么时候能够到达。而司机也容易在一个陌生的地区迷失方向，遇到意外情况无法及时通知单位而获得援助。汽车黑匣子A2将成为车辆和所属集团单位联系的纽带，客户能够在Internet的电子地图上清晰的观察到所有车辆的位置、速度、行驶状态是否正常，这些信息可以通过电话、短信直接告诉客户，让所有关心该车辆的用户都能够及时获取信息。车辆陷入困境时，能够主动或者手动向监控中心发送求助信息，司机、车辆以及车载人员、物品的安全具有了充分的保障。同时，无论车辆分布何处，都能够及时接收到来自监控中心的调度命令。

　　降低运营成本，提高企业效益的途径

　　汽车黑匣子A2强大的监控调度功能和管理功能将极大的降低企业的运营成本，提高企业的效益。企业需要对需求快速做出反应，才能够适应市场经济的需要，在物流行业，一旦某个地区产生货运单据，通过A2智慧车行芯能够在单据派发到该地区附近的配送中心，同时获得该地区内本公司车辆分布的情况，任务立即就可以下达到这些车辆。在出租车行业，乘客能够通过拨打服务电话叫车，监控中心可以在很短的时间内将乘客信息下发到乘客附近的本公司车辆上，为乘客提供服务。这样提高了本单位(集团)车辆使用率，降低空载情况，从而达到降低运营成本提高企业效益的目的。

　　实时获取决策支持数据的手段

　　企业的决策者经常为无法获得准确的决策支持数据而烦恼。拥有汽车黑匣子A2能够为决策者提供丰富的企业运营数据，并且数据的准确性有保证。汽车黑匣子A2将通过可视化的方式将数据呈现给企业的管理者和决策者，为客户做出正确的决策提供有力支持。