犹记 10 年前，接到第一份 offer，岗位 Title 就是 BI 工程师

从此也就和 BI 行业有了这份不解之缘

往前推 10 年，还是 08 北京奥运的时候，听起来似乎已经是很久远的样子，尤其是现在 BI 行业的生力军 90 后会问：那时候就有 BI 了？那时候 90 后才十几岁

是，不仅有，而且那时候的 BI 也早已是提出来十多年的概念了

日新月异的时代里，一个技术概念基本 5 年内就会消亡被取代，BI 这个概念却一直存在了 20 几年，而且估计还会存在挺久

原先的 BI 什么样子？

为了装这份老成持重，笔者故意说出了自己的工作年限，那时的 BI 到底是啥样，当时也一直萦绕在笔者的脑中，因为笔者要去面试，只能求助于度娘，然而得到的只是商业智能 4 个字

后来工作了，才慢慢理解，当然也可能理解的不对

Sap 的 BO 是 BI

IBM 的 Cognos 是 BI

Olap 多维分析是 BI

报表也是 BI

DW 是 BI

ETL 说自己也是 BI

那时的BI，更像是我们春秋战国时期的百家争鸣，或者欧洲近代的文艺复兴，包容，宽泛，你是BI，我亦是BI，能从数据中提炼价值，供决策者决策的，能让商业更智能的都是BI

那时的 BI, 因为刚刚从概念落地到生产应用不久，价格都比较的昂贵，用户群基本都是大企业或者政府部门

小企业的BI之旅，还在磕磕绊绊中迷茫前行

现在的 BI 是什么样子的

时间一晃几年，BI 的概念还在，但形态已经和以前不大或者大不相同了，到 2015 年左右，BI 已经从宽泛的概念，被狭义化到了一说 BI, 就是在页面上拖拽进行自助分析了

当然，这个狭义化，无关技术与理念的前进还是倒退，狭义化另一种层面也可以说成是更精细化，每个 it 人心中都各有自己的见解

新时代的 BI, 也形态各异，敏捷 BI，内存 BI，移动 BI，云 BI

新时代的 BI 技术，也确实更敏捷，不仅能快速交付，也更懂行业，企业，更懂业务，能协助企业真正产出更多价值

新时代的 BI 市场，在广大的 IT 咨询专家传授布道多年后，也更为广阔

新时代的 BI 竞争格局，传统的小巨头还在，新的大巨头也杀了进来，代表们有网易 阿里的云 saas BI，传统厂商们机遇变多了，但挑战也更大了

新时代的 BI，有了很多很多很多的变化，但唯一更应该变却始终没变的是：价格

大部分的价格还是很昂贵，该用不起的，还是用不起，不禁想问，小企业的BI出路在哪里？

小企业需要什么样的 BI

先说说一个企业到底需要什么样的 BI 系统

光有现在狭义的拖拉拽自助 BI 够用吗？

相信大部分的企业经过思考后给出的答案肯定都是，不够用！！！！！！

润乾大部分时候是面对的软件开发商 ISV，也接触过很多的终端客户，从开发商合作伙伴以及各类终端客户对 BI 的需求描述中，我们为 BI 做出了如下画像

一个很多企业真正需要的 BI 解决方案画像

1.要有当前 BI 的页面自助分析功能

这是必须的，否则也不能叫 BI 系统了

2.要有传统复杂报表制作功能

毕竟一个系统中，固定报表的比重一直还是最大的，尤其有些报表属于中国式复杂报表，需要能轻松画出这样的报表才行

3.要能做数据采集填报

一半以上的系统需要能在展现的同时做采集

4.需要有一个系统来做管理

系统要包含人员，权限，资源的管理，以及对资源的推送、调度等功能

5.5 要能做 DashBaord，能做大屏

管理看板，也叫领导驾驶舱，一屏掌握公司的重要数据，下钻挖掘更深层次，更细粒度的一线生产数据，在推动商业更智能的进程中，在辅助决策者决策的角色中，其实笔者感觉 DBD 远比自助报表要更切实有效

上线一套这样的 BI 到底需要多少钱？

IT 人，很多人都读过《乔布斯传》，当年第一代苹果 pc 机，Macintosh 128K 在推出时的售价为 2495 美元，如果算上通货膨胀，那么相当于现在的 6000 美元左右 当时的配置是 128k 内存

现在的 mac 一体机，配置是原先的成千倍的提升了，但是价格却平均只需要 1000 美元左右了

是的，技术与工艺的提升，大的概率范围内都是应该给用户带来更好的体验，更大的价值，和更普惠的价格的

但是 BI 软件虽然价值更高了，体验更好了，价格却貌似反而高了

这个年代，上线一套BI系统，真的还需要傻傻的花好几十万吗？

答案肯定是，不需要了

当年如果没有 360，我们也不会有现在的免费好用的杀毒软件可用，并不是 360 颠覆了传统杀毒软件行业的格局，而是 360 看到了互联网形势下，免费个人基础软件是趋势，所以他们快人一步感知并顺应了这个趋势，才成就了今天的 360

BI 行业，过去的十多年，二十年，都一直算是传统的企业软件行业，市场份额有限，互联网巨头们又在他们各自的优势领域努力构建自己的护城河，无暇顾及这个细分市场

而今，巨头们各自的格局已经形成并且暂时稳固了，他们已经开始有空来慢慢琢磨 BI,OA,ERP 这些当年的传统软件市场了，阿里通过钉钉，整合了一大批数据信息化公司到他的平台，而且自己也推出了“数加”智能分析系统，网易更是直接做了网易有数 BI，腾讯也在投资一些敏捷 BI 厂商，并把 BI 慢慢揉合到自己的生态中

巨头们的杀入，势必引起这个行业的变革，可能不是现在，但是不远的未来呢

润乾也感知到了这个趋势，而且我们觉得这么多年了，中小企业仍然需要花很多钱才能上 BI, 中小软件开发商，给客户做实施时，还需要支付很高的软件成本，这个是不合理的

所以，润乾要给合作伙伴更大的利润空间，给小企业节省更多的成本

回到开篇的问题，BI 需要多少钱？

我们给出的答案是，5000元就可以满足一个企业上面提到的各种需求

50000元就可以买断20个项目，让集成商合作伙伴剩下一大笔软件成本

说了这么多，最后，我们看看实实在在的功能吧

润乾的 BI 解决方案

一：BI 页面多维分析

交互式多维分析控件，提供源代码（开源的哦，用户可以根据自己的需求定制自己的页面了）

轻松拖拽制作较复杂的多层交叉报表

同期比也能拖拽出来

Olap 中最典型的动作，切片，旋转，下钻，上卷

还可以针对来自文本的数据直接进行分析

二：固定复杂报表制作能力

润乾固定报表，中国式复杂报表的制作能力是毋容置疑的，我们从 2000 年开始就独创了中国式复杂报表的模型，成为了行业的标准

三：数据采集填报

各种采集风格，提升数据录入的效率和准确性

上面的是固定格式填报，下面是自助填报，比如上级单位临时想看下级单位的某些数据情况，但是这些数据历史数据库中并没有，也没有现成的固定报表可用，就可以临时做一张表，分发给下级单位，下级单位来填报

四：系统管理功能

开源的系统管理功能！！！！！！开源的（该模块也是开源的）

客户可以根据自己的需要随时增加新的管理功能和模块

移动端的效果

五：DashBaord 大屏

具体的大屏介绍，可以看历史文章

大屏解决方案

结语

有了这么便宜的软件工具，中小企业如果有自己的 it 技术人员，那直接买来就可以搭建起自己的 BI 系统，如果没有 it 人员，找一个小的软件公司帮忙实施，也不需要多少实施费用

大的软件开发商伙伴，也不用再为第三方软件成本担心，项目少的时候按套买，一套 5000，项目多的时候按项目买断，50000 就可以买断 20 个项目，部署多少节点都可以了

用开源的程序猿同学们，也其实没必要再用功能不全，陈旧，学起来费劲的开源软件了，5000 一套，或者 50000 买断，都远比使用学习维护开源的成本要低很多了

（文中说的价格，仅指 2018 年的价格，之后价格是否有变请关注官方信息）

xPro_Therm32

32通道同步采样，热电偶转CAN系统

extending CAN-Logging Systems with 32 Thermocouple Inputs

CAN记录系统32通道热电偶扩展模块

xPro_Analog32 is a signal conditioning unit which extends any CAN logger with additional 32 Thermoelemente Typ K inputs.

xPro_Analog32是一款信号调理单元，可以接入任何CAN记录设备，32个K型热电偶输入。

Input Range Thermocouples热电偶输入范围

The input range for Type-K thermocouples is a wide -200 C to 1350 c. Each channel is sampled in paralle with 7 Hz enough even for dynamically changing temperatures.

K型热电偶的输入范围是 -200℃to 1350 ℃，通道在7Hz的采样率下同步采集温度的变化。

By the use of 24-Bits-Technology xPro_Therm32 does not need any pre-amplifiers which usually introduce a lot of drift and noise. Therfore xPro_Therm32 outputs a very stable signal with a high resolution, which provides information down to 0.01 degrees.

xPro_Therm32使用24位技术，无需预放大器，避免带来大的漂移和噪声。因此xPro_Therm32输出高分辨率的稳定的信号，可以带来0.01度的高分辨率。

xPro_Therm32 has been designed with using the latest technology. Each channel does have its own power supply and also channels are galvanically separeted.

xPro_Therm32设计时采用最新的技术，每个通道单独供电，通道间光隔离。

Each inpidual channel is equipped with a local cold junction compensation, which results in an excellent overall precision.

每个通道配有本地冷端补偿，带来完美的精度。

Power Supply供电

xPro_Therm32 comes with a wide range power supply of 10 … 30 VDC.

xPro_Therm32供电范围为： 10 … 30 VDC。

Vehicle Ground and instrument ground are consequently galvanically isolated, thus reliably avoiding ground loops.

汽车地和仪器地是光隔离的，避免地线回路。

xPro_Therm32 does have an electronic protection against wrong polarity of the supply.

xPro_Therm32 带有供电极性保护，防止极性反接损坏设备。

Status-LEDs and internal CAN-Hub

内置状态LED灯显示和CAN路由

Each input channel of xPro_Therm32 is equipped with a separate multi-colour status LED. These LEDs signal if a channel has been activated for acquisition and if the signal is within the predefined range.

xPro_Therm32每个通道配有不同的多个颜色的LED灯，假如通道激活，信号在其设置范围内，LED可以指示其状态。

By using the internal CAN-Hub ofxPro_Therm32 several units can be chained without the need to attach an external router.

xPro_Therm32的CAN路由功能可以将多个设备串联在一起食用，无需额外的路由设备。

一台电脑控制50个微信，自动加好友，发朋友圈去做营销，让你的效率及业绩无限倍增。

一键掌控，批量管理维护；自动化营销，营销效率更快：一台电脑，控制50个微信，大范围营销，维护现有用户，开发更多客户：省人力资源，省人工成本：一台电脑控制50个微信，相当于上百个业务员在自动工作，降低人工成本，提高管理效率。

量变，产生质变，假设，一个微信号五千个好友，一百个微信，就是五十万个客户群体，一个人，一天让你获得一元的利润，一天就是五十万，如果成交率在1%，就有五万的成交量，如果成交率在千分之一，每天就有五千的成交量，如果你的营销方案实在烂透了，成交率只有万分之一，每天也有五百的订单，说到这里你明白了吗？

铁拐李精控：

主要应用行业：

金融行业应用，

电话管控日益严格，客户拒接率越来越高，成本上升！

铁拐李金控提供精准客户数据解决方案，提供高效营销工具，为您提供完美的营销解决方案。

百度竞价行不通，传单杂志效率低，报纸受众少，铁拐李精控系统是您完美的替代解决方案！

位于爱丁堡的英国公司NCTech正在采用VR/AR并进行扩展，并提供360度真实成像系统来简化图像文档的工作流程，甚至可以将其用于远程设置。他们在这一领域的最新成果是推出全新的虚拟数据采集系统iSTAR Pulsar，以便在移动中捕获数据。

iSTAR Pulsar设计用于车辆，无人机或步行时捕获360度数据。该系统设计简单易用，不需要任何摄影经验甚至电脑操作。iSTAR Pulsar应用程序提供了规划路线，以及在线查看和分享内容的能力。

iSTAR Pulsar专门为捕捉360度移动数据而设计，并与索尼和英特尔联合开发。该系统可用于各种工业和智能城市应用。

产品详情如下：

无与伦比的11K球形分辨率将iSTAR Pulsar定义为几乎是标准8K球形系统像素分辨率的两倍，可提供6050万像素的全景图像。

预先校准到亚像素级别与先进的深度分析算法相结合，确保在移动平台上实现最精确的全景拼接。

iSTAR Pulsar针对移动平台进行了优化，可在处理过程中调整捕获速率，以提供一致的距离间隔，从而最大限度地减少数据存储和处理要求。

全自动后处理流水线包括一个可选的自动水平仪稳定功能，以纠正步行捕捉时产生的任何俯仰和滚动。

坚固的设计，耐候性和防震性，内置高精度GPS和IMU传感器，确保与GIS系统直接集成。

先进的对称和非对称加密技术确保从采集到交付的端到端数据安全。

NCTech在本周早些时候在伦敦Geo商业展上展示了iSTAR Pulsar ，并将在下个月初在加利福尼亚州阿纳海姆会议中心举行SPAR 3D Expo上展示他们的产品 。

“只需轻敲一下，iSTAR Pulsar就可以提供全自动的360°全景图像拍摄功能。它不是传统意义上的摄像头，它捕获大量高分辨率数据，并连接到我们庞大的云处理管道，从捕获到交付提供全自动工作流程。”

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！

在当今社会竞争极大的情况下，想要开发一个电商网站前端数据的优化是必不可少的，加之处于移动互联网时代，面对风云莫测的市场环境，企业对于业务快速落地、产品灵活迭代的需求势必更加迫切。而慢慢买拥有业内领先的购物搜索引擎技术，如果您的网站想集成商品比价功能，并且想要充分利用各自的资源优势形成互补，拓展市场提高流量转换。那您必须了解下慢慢买的比价API功能：

在当今社会竞争极大的情况下，想要开发一个电商网站前端数据的优化是必不可少的，加之处于移动互联网时代，面对风云莫测的市场环境，企业对于业务快速落地、产品灵活迭代的需求势必更加迫切。而慢慢买拥有业内领先的购物搜索引擎技术，如果您的网站想集成商品比价功能，并且想要充分利用各自的资源优势形成互补，拓展市场提高流量转换。那您必须了解下慢慢买的比价API功能：

能满足以下2种使用场景：

场景1：有自已的产品库，希望通过API获取该产品在各电商上的最新报价。

先通过搜索API匹配产品报价，将报价与自有的产品库进行绑定入库，在前台用报价读取API读取最新的价格。

场景2：仅仅想做一个比一比价这样的购物搜索系统该API有高效成熟的分词搜索技术，精准匹配搜索结果，并对结果排序，价格、品牌筛选等功能。

这是个辅助API，配合搜索API的场景1使用，前端显示产品时，通过这个API获取最新的价格。

这是一个独立的解决方案，推荐使用，主要有以下优势：

1）集成了前面2个API接口的功能，减少合作方的开发成本；

2）价格巡检系统，超出设定的价格范围就提醒（或价格波动提醒）；

3）数据可通过Excel灵活导出；

4）合作方的商品数据可通过API导入，也可以灵活添加，以商品编号为唯一标识；

5）设定需要哪些商城、商家的报价。可定制采集，做到商品价格全面准确；

6）商城有商品上下架时自动识别绑定以及下架提示；

7）通过API对接输出数据（主要是已绑定的价格信息），合作方将数据应用在自身平台。

展示图：

这也是一个API接口，可通过url获取商品各类信息。如果你想在文章内容里插入商品，并在用户浏览时自动显示最新报价（优惠信息）和历史价格走势，那就对了！用这个接口吧。

1、商品编号API（id匹配标题与价格）

2、商品地址返回信息（url获取商品名称及价格）

3、商品地址返回优惠信息

为什么选择慢慢买比价API

1.获取数据成本低：开发一套合适成熟的比价软件，需要用到大量人工+配置，更重要的是时间耗不起；

2.实时的数据采集，精准的数据来源；

3.拥有独立的数据监控系统，随时可以获取调用信息；

4.数据源覆盖国内多个电商平台商品信息。

我们的客户

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder

大数据平台与数据采集

任何完整的大数据平台，一般包括以下的几个过程：

数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)

其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：

我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展。

1、Apache Flume

Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。

Flume最初是由Cloudera的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。

Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。

每一个agent都由Source，Channel和Sink组成。

Source

Source负责接收输入数据，并将数据写入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持监视一个目录或者文件，解析其中新生成的事件。

Channel

Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。

Sink

Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。

Flume在source和sink端都使用了transaction机制保证在数据传输中没有数据丢失。

Source上的数据可以复制到不同的通道上。每一个Channel也可以连接不同数量的Sink。这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。

配置如上图所示的agent结构，Flume支持设置sink的Failover和Load Balance，这样就可以保证即使有一个agent失效的情况下，整个系统仍能正常收集数据。

Flume中传输的内容定义为事件(Event)，事件由Headers(包含元数据，Meta Data)和Payload组成。

Flume提供SDK，可以支持用户定制开发：

Flume客户端负责在事件产生的源头把事件发送给Flume的Agent。客户端通常和产生数据源的应用在同一个进程空间。常见的Flume 客户端有Avro，log4J，syslog和HTTP Post。另外ExecSource支持指定一个本地进程的输出作为Flume的输入。当然很有可能，以上的这些客户端都不能满足需求，用户可以定制的客户端，和已有的FLume的Source进行通信，或者定制实现一种新的Source类型。

同时，用户可以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

2、Fluentd

Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维护。

Fluentd的部署和Flume非常相似：

Fluentd的架构设计和Flume如出一辙：

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。

Input

Input负责接收数据或者主动抓取数据。支持syslog，http，file tail等。

Buffer

Buffer负责数据获取的性能和可靠性，也有文件或内存等不同类型的Buffer可以配置。

Output

Output负责输出数据到目的地例如文件，AWS S3或者其它的Fluentd。

Fluentd的配置非常方便，如下图：

Fluentd的技术栈如下图：

FLuentd和其插件都是由Ruby开发，MessgaePack提供了JSON的序列化和异步的并行通信RPC机制。

Cool.io是基于libev的事件驱动框架。

FLuentd的扩展性非常好，客户可以自己定制(Ruby)Input/Buffer/Output。

Fluentd从各方面看都很像Flume，区别是使用Ruby开发，Footprint会小一些，但是也带来了跨平台的问题，并不能支持Windows平台。另外采用JSON统一数据/日志格式是它的另一个特点。相对去Flumed，配置也相对简单一些。

3、Logstash

Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。

Logstash用JRuby开发，所有运行时依赖JVM。

Logstash的部署架构如下图，当然这只是一种部署的选项。

一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。

几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的数据系统使用ElasticSearch的情况下，logstash是首选。

4、Chukwa

官网：https://chukwa.apache.org/

Apache Chukwa是apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，他用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 github的更新事7年前。可见该项目应该已经不活跃了。

Chukwa的部署架构如下：

Chukwa的主要单元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相当复杂。由于该项目已经不活跃，我们就不细看了。

5、Scribe

代码托管：https://github/facebookarchive/scribe

Scribe是Facebook开发的数据(日志)收集系统。已经多年不维护，同样的，就不多说了。

6、Splunk Forwarder

以上的所有系统都是开源的。在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。

Splunk是一个分布式的机器数据平台，主要有三个角色：

Search Head负责数据的搜索和处理，提供搜索时的信息抽取。

Indexer负责数据的存储和索引 Forwarder，负责数据的收集，清洗，变形，并发送给Indexer

Splunk内置了对Syslog，TCP/UDP，Spooling的支持，同时，用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。

这里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。

总结

我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

其中Flume，Fluentd是两个被使用较多的产品。如果你用ElasticSearch，Logstash也许是首选，因为ELK栈提供了很好的集成。Chukwa和Scribe由于项目的不活跃，不推荐使用。

Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。

现在更多的人们去尝试使用与购买了无人机，这也代表着无人机的发展越来越先进，愈发的走进人们的生活当中。但现在市场中的无人机公司部队仍旧没有过多的扩张，于是就有更多的人们想要进入到无人机的市场中。胡心怡便是其中一个。但无人机，并没有想象中那么好做。

胡心怡曾是上海交通大学机械自动化专业的学生，身为浙江人，他总觉得体内流淌着浙商的血液，计划着在年满30岁时创业圆梦。他决定从旧公司离职，做一家为B端客户制造工业级无人机并提供完整解决方案的公司——伯镭智能科技。

2015年7月，胡心怡找好了办公场地，同团队研发第一款工业无人机。

就在同月，一家位于上海的央企航天机电联系到了胡心怡，决定来他的办公室看一看。航空机电的需求，是做一套可以搭载热成像镜头的无人四旋翼飞行器，用来完成光伏板巡检等工作。而航空机电最后选择了伯镭科技，并给了他们30余万元的合同。

在创业初期，资源匮乏的情况下，每一步都需要走得小心谨慎。在2016年3月，伯镭科技成为了大疆授权的行业应用系统方案提供商，在大疆飞行平台上进行二次开发。

以屋顶光伏电站前期勘测为例，传统人工探测需要至少2天时间，由工人爬上屋顶后测量具体数值。测量后，人员会将数据带回公司，用CAD做出简图后，再完成光伏电站设计。而使用伯镭科技开发的屋顶勘测套装只需要20分钟就可以完成上述全部工作。

据胡心怡介绍，目前在浙江省已有超过10家B端客户在使用伯镭科技的产品及服务，客单价在数万元不等，而客户使用伯镭的工具勘测一个屋顶的成本价格在100余元/次。

下一步，胡心怡计划将伯镭科技发展为智能化的大数据企业。他希望通过利用机器学习等技术，在云平台上教会计算机如何识别工程后期巡检过程出现的问题。例如可用无人机完成桥梁巡检，并将桥体出现的裂缝、坑槽、锈蚀等问题通过提取特征后使用机器学习算法将其归类，并自动生成报告送交客户。

现阶段，伯镭科技在全国范围内已拥有近50家客户。其主要获取客户的手段为通过行业渠道进行推广。2016年，公司共完成400余万元销售额，总计服务客户超50家，仅在浙江省就有超过10家采购单位。

据了解，该公司已在2016年6月完成天使轮融资，现正开启Pre-A轮融资，计划融资金额为500万元，拟出让10%股份。

未来，胡心怡计划进行新一轮融资，资金将用于团队建设、产品研发、市场推广等方面。

本文来自生意我最行，创业家系授权发布，略经编辑修改，版权归作者所有，内容仅代表作者独立观点。