扬尘在线监测系统感知层，污染源在线监测仪，包括颗粒物浓度监测仪、气象五参数监测仪、噪声监测仪和视频监控摄像机，对颗粒物浓度、气象参数、噪声和现场视频进行连续自动在线监测;OSEN-YZ颗粒物监测仪就可以实现扬尘的实时监测，数据无线上报。传输层：采用有线、无线、3G/4G等方式传输各种监测数据。平台层：数据服务云平台，依托在建工地扬尘与噪声监测平台的数据，进行系统分析、提供跨区域、全时间、多层次的数据挖掘和对比，为科学治理雾霾提供数据支撑，应用层：面向不同环保局、建筑工地的客户端系统，实现基于Web的污染源实时数据在线监测、现场图像和视频的监控、污染源超标报警、以及面向不同管理层的各种管理与统计分析。

扬尘在线监测系统由颗粒物在线监测仪、数据采集和传输系统、视频监控系统、后台数据处理系统及信息监控管理平台共四部分组成。系统集成了物联网、大数据和云计算技术，通过光散射在线监测仪、云台摄像头、气象五参数采集设备和采集传输等设备，实现了实时、远程、自动监控颗粒物浓度;数据通过采用3G/4G网络传输，可以在智能移动平台、桌面PC机等多终端访问;监控平台还具有多种统计和高浓度报警功能，可广泛应用在散货堆场和码头、混凝土搅拌站以及工厂企业无组织排放的实时监控。

扬尘在线监测系统的功能与系统特点，人机交换界面，采样频率自主设定，高低上限报警，8路常开继电器，标准RS485 RS232数据提取 RJ45以太网接口，标准MODBUS RTU通讯协议。符合国家标准：GB3096-2008《声环境质量标准》和GB3095-2012《环境空气质量标准》采用在线式粉尘监测仪，性能稳定，数据准确。具有数据观察窗功能，以方便用户就地查看测量数据。具有扬尘预警、超标提醒、图像抓拍功能。全天候全自动24小时365天持续不间断工作，故障提示报警功能。气象参数扩展：可选配温湿度、风速风向、气压、降雨量、一体化摄像头等。工作环境：温度-20～80℃，相对温度不高于90%.

网上有很多公布招投标信息的网站，招标公告中的信息是有很大的价值的。比如你想了解一个公司的资质，你想了解一个项目的投资资金，你想知道招投标公司之间的关系，这些都能从招投标信息中分析出来，数据是分析的基础，只有获得大量数据，分析才更准确更有说服力。今天教大家如何采集招投标类网站的数据。

示例网站：http://tjconstruct/zbxx.aspx?type=sjzb

一.首先打开ForeSpider数据采集软件，点击“采集频道列表”的“+”符号，创建新的频道。然后在采集地址处把准备采集网站的网址粘贴进去。

频道配置

二.频道入口地址配置好以后，点击“模板配置”，在右侧模板一处新建一个链接抽取，两个链接抽取，分别起名为“翻页”和“工程抽取”。这两个链接抽取分别抽取页面内的工程项目和翻页链接。

添加链接抽取

三.点击采集预览，发现采集预览中没有我想要的项目工程的链接，但是有翻页的链接，那就需要写脚本来抽取工程链接。翻页链接抽取可以通过可视化的操作完成。以前说过链接抽取的脚本如何写，这里就不多介绍了。

链接抽取教程：http://toutiao/i6454813216395493902/

链接抽取脚本

四.通过预览发现每一个翻页链接地址中都包含“page=”这个词，那我将这个词放在“翻页”的地址过滤中，将过滤规则选择为“包含”。

翻页地址过滤

链接抽取配置好，可以点击采集预览看一下效果，如果配置的有问题可以及时改正。

预览效果

五．可以看到预览效果没有问题，那继续配置下一层模板。下一层为招标公告页，也就是数据页。先建好表单字段，在表单名称处选择建好的表单。

选择表单

六.数据页中有一部分字段使用可视化的操作就能完成，有一部分需要脚本，所以我就把需要写脚本的部分分别写在了字段下。字段处理选择“脚本处理”。

字段下脚本处理

八.全部字段配置好以后，可以先点击采集预览，看一下效果，如果效果不好可以改正。

招投标类网站都是实时更新的，ForeSpider数据采集软件有增量采集的功能，可以采集新增数据，长时间时时监控网站新增数据。

虽然教程看起来简单，最重要的还是多亲自上手实践。多多实践才能更熟练的使用软件采集自己想要的数据。

树立全新的物业形象离不开现代化的高科技产品的使用，使企业的物业管理形象和知名度得到很大提高。 采用A2智慧车行芯，无论从产品的造型方面，还是自动管理所带来的先进性和科学性,都将会给物业管理树立起良好的形象，使企业成为科学管理的楷模。A2智慧车行芯真的能进行车辆数据采集？对于广大网友关心的数据采集问题，深圳智慧车联小编跟大家一起来看看:

A2智慧车行芯是一款覆盖数千款车型的行车数据和车身姿态数据采集器。内置CAN总线模块秒级采集车辆刹车、油门、档位及车速、转速、喷油、负荷、压力、水温、电压等实时数据，内置的陀螺仪毫秒级感知车身姿态变化，行驶过程中实时侦测危险驾驶行为，行程结束输出行驶里程、耗油量、平均车速、平均油耗、行驶时间等行车信息。

在企业或者社会团体中只要成功实施?A2智慧车行芯将改变车辆在行驶过程中松散不易管理的状况。过去一旦车辆出勤，与单位将处于脱离的状态，单位或其他个人很难了解到车辆当前的确定位置和行驶数据，也无法将调度信息实时的下达给车辆。例如在第三方物流公司中，货主无法知道自己的货物当前处于何处，也无法准确预测货物什么时候能够到达。而司机也容易在一个陌生的地区迷失方向，遇到意外情况无法及时通知单位而获得援助。A2智慧车行芯将成为车辆和所属集团单位联系的纽带，客户能够在Internet的电子地图上清晰的观察到所有车辆的位置、速度、行驶状态是否正常，这些信息可以通过电话、短信直接告诉客户，让所有关心该车辆的用户都能够及时获取信息。车辆陷入困境时，能够主动或者手动向监控中心发送求助信息，司机、车辆以及车载人员、物品的安全具有了充分的保障。同时，无论车辆分布何处，都能够及时接受到来自监控中心的调度命令。

　　 降低运营成本，提高企业效益的途径?

　　A2智慧车行芯强大的监控调度功能和管理功能将极大的降低企业的运营成本，提高企业的效益。企业需要对需求快速做出反应，才能够适应市场经济的需要，在物流行业，一旦某个地区产生货运单据，通过A2智慧车行芯能够在单据派发到该地区附近的配送中心，同时获得该地区内本公司车辆分布的情况，任务立即就可以下达到这些车辆。在出租车行业，乘客能够通过拨打服务电话叫车，监控中心可以在很短的时间内将乘客信息下发到乘客附近的本公司车辆上，为乘客提供服务。这样提高了本单位（集团）车辆使用率，降低空载情况，从而达到降低运营成本提高企业效益的目的。

　　实时获取决策支持数据的手段?

　　企业的决策者经常为无法获得准确的决策支持数据而烦恼。拥有A2智慧车行芯能够为决策者提供丰富的企业运营数据，并且数据的准确性有保证。A2智慧车行芯将通过可视化的方式将数据呈现给企业的管理者和决策者，为客户做出正确的决策提供有力支持。

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

这家蛰伏了两年的终端视觉公司，在首次发布会后两天的时间内，收获了一百余份订单，是怎样的新品让产业如此兴奋？

撰文 | 王艺、藤子

11 月 1 日，阅面科技在深圳举办了创立两年来的首次新品发布会，共发布了三款产品：跨模态人脸识别引擎 UniFace、基于 Uniface 的「繁星」AI 芯片视觉模块、以及基于「繁星」的智能客群分析摄像机——「阅客」。

在发布会后，阅面科技 CEO 赵京雷对机器之能透露道，发布会后两天时间内，他们就收获了一百余份订单，此时的赵京雷内心难掩兴奋之情。

阅面科技 CEO 赵京雷

十多年前，赵京雷从上海交通大学博士毕业后，进入 WiseNut 从事搜索引擎和机器学习产品的研发。后来，他加入阿里巴巴，带领一支包括自然语言处理和计算机视觉技术在内的算法团队，产品涉及搜索广告推荐、图像搜索、图像过滤等。

2013 年，赵京雷创立了虚拟试衣应用「上街吧」，这是一款集自然语言搜索、虚拟试衣、服装搭配、精准购买为一体的手机 App，通过推荐和搜索技术，以图像处理技术为基础，帮助女性穿衣搭配并完成线上购买。

2015 年，网络上图片、视频数据大量涌现，道路上以及公共场所中的摄像头也非常普及。然而，赵京雷观察到，这些设备并不智能，或者说当时的智能是「伪智能」。因为当时图像信息被采集出来之后，放到服务器端或者云端进行批处理，处理的目的仅仅局限在图像搜索层面。

赵京雷判断，基于计算机视觉技术，让终端设备拥有真正的实时智能化的能力，在未来将有很大的爆发潜力。与此同时，移动端应用市场开始疲软。因此赵京雷放弃「上街吧」，于 2015 年 7 月创立阅面科技，专注于深度学习和计算机视觉，提供嵌入式视觉方案。

人脸识别技术：关键在于跨平台、跨场景、跨领域

作为计算机视觉的重要分支，赵京雷决定从人脸识别入手。「人脸识别的意义在于，它会成为一个新的、统一的、唯一的 ID，它会改造大量智能设备，人们无论是进出某个地方，还是登录或认证，都会基于这个 ID 去实现。」赵京雷说。

基于面部识别的情感认知引擎 ReadFace 是阅面科技推出的首个产品，从 ReadFace 的情感认知技术开始，阅面的技术一步步覆盖性别、年龄等属性的辨识，逐步发展为如今的跨模态人脸识别引擎 UniFace。赵京雷认为，在迭代研发的过程中，阅面科技走过了多个阶段。首先是底层技术，要支持人脸各种各样的基础属性，然后才是识别技术。

在识别技术方面，阅面科技多次在各个国际评测中获得优秀成绩，比如在 2017 年 5 月，人脸检测平台 FDDB 的数据显示，阅面科技的技术已处于行业领先水平，在接下来的 6 月，阅面科技人脸识别技术以 99.82% 的识别精度获得了 LFW 冠军。但赵京雷认为，人脸识别不能止步于识别技术，人脸识别要走向实际应用，需要跨平台、跨领域、跨场景。

「LFW 是一个较为标准的场景，在 LFW 上面达到非常高的水准，只能说明底层算法能力、算法团队很强，（阅面在）这点毋庸置疑。但是，从算法到应用，从标准场景到实际场景，人脸的特质会发生改变。」赵京雷说。

比如，在无人零售的应用场景中，摄像机对顾客进行人脸识别时，顾客通常情况下，并非正面对视摄像头，大多数人是以低头或歪头的状态，通过不同角度进入摄像机的范围。

即使在人物正视摄像头的应用场景，也会存在挑战。比如在人证核查，也就是将身份证照片和人脸进行对比的场景下，就存在年龄跨度的问题。若要对幼儿园的儿童进行识别，底层数据或架构也和通用的识别模式不同。

赵京雷认为，通用的模型已将精度解决到一定的程度，当特定领域，比如幼儿园的儿童识别，以及无人零售中的人脸识别，精度需要更高水准。因此，通用模型需要具备在小数据下迁移学习的能力，快速适应其他领域，让人脸识别技术满足特定场景的精度需求。

「底层的模型都是基于千万规模的数据构建的，但在一个小的领域，样本数据可能就很少。如何把这个模型的能力完整迁移过去，是我们研究的一个重点。」赵京雷说。

据赵京雷介绍，阅面科技在发布会上推出的跨模态人脸识别引擎 UniFace，拥有跨模态与迁移学习能力，与目前主流算法不同的是，UniFace 打破了不同传感器、不同环境、不同场景、不同领域人脸特征表达的限制，例如同一张注册照片能在可见光、红外、3D 三种不同的传感器中进行识别，做到以 FaceID 为连通的人脸识别体系。

「我们的算法既可以在服务器上跑，也能在终端的 DSP、VPU 等专用芯片上跑，还能在 ARM Coretx-A7 甚至 A5 等通用 CPU 内核上跑。」赵京雷进一步介绍。

阅面科技在嵌入式优化上有很深的积累，比如在 LFW 上，UniFace 的精度在 16bit 网络上为 99.82%，8bit 网络为 99% 以上，1bit 为 95% 以上。他认为，移动端模型的优化不能以损失模型精度为前提，而在未来，要以 FaceID 打通人脸系统，移动端和云端就要具有同样的精度。

计算机视觉的三个爆发点：从人脸识别到数据采集再到人机交互

「人工智能落地到行业，一定需要入口，而这个入口一定是硬件，如同智能音箱是语音的入口。人脸识别作为计算机视觉的应用，它的入口在哪里？不是在远程某个服务器的某个 API 上，而是在真正进入家庭、社区、渗入生活方方面面的硬件上。」赵京雷说。

这些硬件既可以是独立的摄像头，也可以是嵌入相机的设备或者其他设备。要实现人脸识别的广泛应用，不能单靠云端，因为云端的优势在于提供基础能力，所有的前端摄像头都需要具备智能的感知和认知层。人工智能技术或计算机视觉技术，正在逐渐贴近生活，向着简单便捷的方向发展是必然的趋势。

「之前的算法更多地是来源于实验室，部署在大型的计算中心、云端，需要很大的计算能力、功耗，无法走进人们的日常生活。」赵京雷说，在这样的情况下，首先要解决算法贴近生活领域时的精度问题，并让高精度的算法以相对较低的成本、较低的功耗运行在贴近生活的设备上。

当各种设备具备视觉能力之后，所有的摄像头将不再是影像采集设备，而成为了数据采集的设备。很多数据采集手段将被视觉代替，摄像头不仅是摄像机，会成为传感器。「室内定位等问题，或者统计客流使用的 wifi 探针技术等，在未来全部会被视觉代替，这将成为计算机视觉未来很大的应用点和爆发点。」赵京雷说。

「这种智能会带来全新的人机交互方式，我们从成立开始就一直认为以下三个点是未来最重要的应用爆发的三个点，人脸识别的需求在当下已经显现，基于视觉数据的分析 1-2 年后会爆发，而 3-5 年后的增长点则是人机交互。」赵京雷分析道。

「繁星」AI 芯片视觉模块系列正是基于这样的逻辑推出，可搭载适用于不同场景的算法 IP。目前主要包括：繁星－人脸识别模块、繁星－数据采集模块、繁星－人机交互模块。

繁星－人脸识别模块，通过宽动态 Sensor 获取图像或视频流，分析图像或视频流中的人脸图像进行检测和识别，输出结构化数据，可同时追踪和抓拍 30 人，抓取最清晰、角度最好的人脸，抓拍率 99%，误检率小于 0.5%，抓拍重复率低于 10%。同时，支持 2 万人内的完全本地人脸识别。支持本地特征提取后传云端，满足大于 2 万人的人脸识别场景。

繁星－数据采集模块，获取并分析图像或视频流中的人头和人脸信息，进行人数、人群属性以及轨迹分析。可实时记录 15 人运动轨迹及运动方向，可进行进出指定区域的人数统计，准确率达 95%。

繁星－人机交互模块，检测识别图像或视频流中的手势、人脸、人体，并转化为指令使得机器做出正确响应。能够达到毫秒级检测及追踪速度，支持掌、拳、V 字手型、伸掌、握拳、挥手等多种手势操控，具有高鲁棒性的人脸及人体检测追踪运算。

据阅面科技介绍，「繁星」AI 芯片视觉模块尺寸为 38mm×38mm×1.6mm，由 Sensor＋ISP＋VPU＋嵌入式深度学习视觉算法组成，在本地集成了阅面科技的深度学习视觉处理算法，本地深度学习处理功耗仅为 0.5W，整体高峰功耗小于 2.5W。

此外，「繁星」AI 芯片视觉模块支持外接视频输入以及结构化数据的实时输出，既可以作为独立 AI 摄像头嵌入到各种设备中即插即用，也可以作为视觉协处理器。例如，传统摄像机加入「繁星」AI 芯片模块，就能摇身一变，成为一个拥有视觉算法能力的智能 AI 相机。而且摄像头厂商在设计搭载「繁星」的摄像头时，不需要重新设计模具。

推出满足未来趋势和潮流的产品

产品的推出，并非易事。「从成立到现在，很长一段时间，我们都在进行技术研发，不仅涉及算法，还涉及与硬件层的衔接、系统层的应用。我们花了很大的精力进行基础研发，经过长时间积累，希望我们推出的产品能改变行业，增加行业产品迭代的效率或创新能力。」赵京雷说。

而为了给下游摄像头厂商吃颗定心丸，也为了树立「繁星」的使用样板。阅面科技采用自身的「繁星」数据采集模块研发了一款名为「阅客」的智能客群分析摄像机，并连接了阅面科技自身搭建的垂直行业云，并配有手机 App，用户能够通过该 App 实时观察到客群分析情况。利用「繁星」的本地计算能力，阅客可以轻松进行实时客流计数、会员/熟客管理、轨迹管理等功能，商家能实时掌握顾客属性和行为。目前，「阅客」已和苏宁、软通动力、淘咖啡等品牌达成合作。

赵京雷认为，UniFace、「繁星」、「阅客」这三款产品是层层递进的关系，算法——基于算法的硬件——基于硬件的产品。通过这三款产品，阅面科技能将很大部分的视觉识别能力搬至终端；降低 AI 硬件的构建成本，降低技术的使用门槛；方便垂直行业快速开发场景化的智能视觉产品。这意味着，非 AI 技术的行业商家也能轻松开发和部署人脸识别产品和系统，以消费级的价格，做到专业安防级的能力（举例来讲，具备人脸抓拍功能的安防摄像头成本是普通摄像头的 3-5 倍，而使用「繁星」，可以将 AI 摄像头的成本控制在与普通摄像头相近的范围）。

阅面科技成立于 2015 年，对于市场上的计算机视觉公司来说，并不算早。当前在计算机视觉市场上，也有不少的玩家。通常来说，一个新进入的公司要想在这个竞争格局中生存下来，差异化是重要的选择。

然而，赵京雷却表示，「对我们而言，公司发展重点不是差异化，而是思考这个领域产品形式的终极形态」，在赵京雷看来，他们对行业的认知、技术的出发点、产品的出发点、以及未来解决方案的出发点，都是基于对行业终极形态的思考构建的。「我们希望推出的产品能够满足未来的趋势和潮流。如果其他公司与我们认知一致，那我们就比谁走得快；如果我们认为的终极形态跟别人不一样，也还是会根据自己的认知走下去。」赵京雷总结道。

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文

匹配算法实现，通过将用户属性、用户学习状态属性、用户操作行为统计属性与资源属性进行匹配，数据容量大，遥测距离远，人机界面友好，可靠性高的优点，可广泛用于学校和社区小区域范围环境服务。

也适合于气象、海洋、环境、机场、港口、工及等领域使用．实时数据采集与上传该模块主要功能是通过无线方式获取环境观测站采集的实时数据并显示．数据采集的基本算法如下：首先判断是否到发送数据时间，若到了执行数据发送命令。

为了方便学习者查找资源以及系统推送资源，须对学习者和资源的属性进行标记，即创建属性元数据．本研究采用标签技术分别建立学习者和资源的属性元数据．学习者的属性标签主要来自于用户注册时的信息（用户属性）、学习者的学习状态属性以及学习者系统操作行为统计属性（对上传、下载、浏览、评论等操作的统计）。

资源的属性标签主要来自于资源提供者根据学科和关键字分类的标签以及资源使用者对资源的评价、标记等．根据研究性学习的主题、用户学习进度，系统可以将用户可能感兴趣，其他用户感兴趣或评分高、浏览次数多，相同领域的最优资源或相似领域的最佳资源推送给用户，系统根据学习者的学习主题，将平台中评价最高的相关资源、教师指定的资源和拓展的相关资源进行匹配，

犹记 10 年前，接到第一份 offer，岗位 Title 就是 BI 工程师

从此也就和 BI 行业有了这份不解之缘

往前推 10 年，还是 08 北京奥运的时候，听起来似乎已经是很久远的样子，尤其是现在 BI 行业的生力军 90 后会问：那时候就有 BI 了？那时候 90 后才十几岁

是，不仅有，而且那时候的 BI 也早已是提出来十多年的概念了

日新月异的时代里，一个技术概念基本 5 年内就会消亡被取代，BI 这个概念却一直存在了 20 几年，而且估计还会存在挺久

原先的 BI 什么样子？

为了装这份老成持重，笔者故意说出了自己的工作年限，那时的 BI 到底是啥样，当时也一直萦绕在笔者的脑中，因为笔者要去面试，只能求助于度娘，然而得到的只是商业智能 4 个字

后来工作了，才慢慢理解，当然也可能理解的不对

Sap 的 BO 是 BI

IBM 的 Cognos 是 BI

Olap 多维分析是 BI

报表也是 BI

DW 是 BI

ETL 说自己也是 BI

那时的BI，更像是我们春秋战国时期的百家争鸣，或者欧洲近代的文艺复兴，包容，宽泛，你是BI，我亦是BI，能从数据中提炼价值，供决策者决策的，能让商业更智能的都是BI

那时的 BI, 因为刚刚从概念落地到生产应用不久，价格都比较的昂贵，用户群基本都是大企业或者政府部门

小企业的BI之旅，还在磕磕绊绊中迷茫前行

现在的 BI 是什么样子的

时间一晃几年，BI 的概念还在，但形态已经和以前不大或者大不相同了，到 2015 年左右，BI 已经从宽泛的概念，被狭义化到了一说 BI, 就是在页面上拖拽进行自助分析了

当然，这个狭义化，无关技术与理念的前进还是倒退，狭义化另一种层面也可以说成是更精细化，每个 it 人心中都各有自己的见解

新时代的 BI, 也形态各异，敏捷 BI，内存 BI，移动 BI，云 BI

新时代的 BI 技术，也确实更敏捷，不仅能快速交付，也更懂行业，企业，更懂业务，能协助企业真正产出更多价值

新时代的 BI 市场，在广大的 IT 咨询专家传授布道多年后，也更为广阔

新时代的 BI 竞争格局，传统的小巨头还在，新的大巨头也杀了进来，代表们有网易 阿里的云 saas BI，传统厂商们机遇变多了，但挑战也更大了

新时代的 BI，有了很多很多很多的变化，但唯一更应该变却始终没变的是：价格

大部分的价格还是很昂贵，该用不起的，还是用不起，不禁想问，小企业的BI出路在哪里？

小企业需要什么样的 BI

先说说一个企业到底需要什么样的 BI 系统

光有现在狭义的拖拉拽自助 BI 够用吗？

相信大部分的企业经过思考后给出的答案肯定都是，不够用！！！！！！

润乾大部分时候是面对的软件开发商 ISV，也接触过很多的终端客户，从开发商合作伙伴以及各类终端客户对 BI 的需求描述中，我们为 BI 做出了如下画像

一个很多企业真正需要的 BI 解决方案画像

1.要有当前 BI 的页面自助分析功能

这是必须的，否则也不能叫 BI 系统了

2.要有传统复杂报表制作功能

毕竟一个系统中，固定报表的比重一直还是最大的，尤其有些报表属于中国式复杂报表，需要能轻松画出这样的报表才行

3.要能做数据采集填报

一半以上的系统需要能在展现的同时做采集

4.需要有一个系统来做管理

系统要包含人员，权限，资源的管理，以及对资源的推送、调度等功能

5.5 要能做 DashBaord，能做大屏

管理看板，也叫领导驾驶舱，一屏掌握公司的重要数据，下钻挖掘更深层次，更细粒度的一线生产数据，在推动商业更智能的进程中，在辅助决策者决策的角色中，其实笔者感觉 DBD 远比自助报表要更切实有效

上线一套这样的 BI 到底需要多少钱？

IT 人，很多人都读过《乔布斯传》，当年第一代苹果 pc 机，Macintosh 128K 在推出时的售价为 2495 美元，如果算上通货膨胀，那么相当于现在的 6000 美元左右 当时的配置是 128k 内存

现在的 mac 一体机，配置是原先的成千倍的提升了，但是价格却平均只需要 1000 美元左右了

是的，技术与工艺的提升，大的概率范围内都是应该给用户带来更好的体验，更大的价值，和更普惠的价格的

但是 BI 软件虽然价值更高了，体验更好了，价格却貌似反而高了

这个年代，上线一套BI系统，真的还需要傻傻的花好几十万吗？

答案肯定是，不需要了

当年如果没有 360，我们也不会有现在的免费好用的杀毒软件可用，并不是 360 颠覆了传统杀毒软件行业的格局，而是 360 看到了互联网形势下，免费个人基础软件是趋势，所以他们快人一步感知并顺应了这个趋势，才成就了今天的 360

BI 行业，过去的十多年，二十年，都一直算是传统的企业软件行业，市场份额有限，互联网巨头们又在他们各自的优势领域努力构建自己的护城河，无暇顾及这个细分市场

而今，巨头们各自的格局已经形成并且暂时稳固了，他们已经开始有空来慢慢琢磨 BI,OA,ERP 这些当年的传统软件市场了，阿里通过钉钉，整合了一大批数据信息化公司到他的平台，而且自己也推出了“数加”智能分析系统，网易更是直接做了网易有数 BI，腾讯也在投资一些敏捷 BI 厂商，并把 BI 慢慢揉合到自己的生态中

巨头们的杀入，势必引起这个行业的变革，可能不是现在，但是不远的未来呢

润乾也感知到了这个趋势，而且我们觉得这么多年了，中小企业仍然需要花很多钱才能上 BI, 中小软件开发商，给客户做实施时，还需要支付很高的软件成本，这个是不合理的

所以，润乾要给合作伙伴更大的利润空间，给小企业节省更多的成本

回到开篇的问题，BI 需要多少钱？

我们给出的答案是，5000元就可以满足一个企业上面提到的各种需求

50000元就可以买断20个项目，让集成商合作伙伴剩下一大笔软件成本

说了这么多，最后，我们看看实实在在的功能吧

润乾的 BI 解决方案

一：BI 页面多维分析

交互式多维分析控件，提供源代码（开源的哦，用户可以根据自己的需求定制自己的页面了）

轻松拖拽制作较复杂的多层交叉报表

同期比也能拖拽出来

Olap 中最典型的动作，切片，旋转，下钻，上卷

还可以针对来自文本的数据直接进行分析

二：固定复杂报表制作能力

润乾固定报表，中国式复杂报表的制作能力是毋容置疑的，我们从 2000 年开始就独创了中国式复杂报表的模型，成为了行业的标准

三：数据采集填报

各种采集风格，提升数据录入的效率和准确性

上面的是固定格式填报，下面是自助填报，比如上级单位临时想看下级单位的某些数据情况，但是这些数据历史数据库中并没有，也没有现成的固定报表可用，就可以临时做一张表，分发给下级单位，下级单位来填报

四：系统管理功能

开源的系统管理功能！！！！！！开源的（该模块也是开源的）

客户可以根据自己的需要随时增加新的管理功能和模块

移动端的效果

五：DashBaord 大屏

具体的大屏介绍，可以看历史文章

大屏解决方案

结语

有了这么便宜的软件工具，中小企业如果有自己的 it 技术人员，那直接买来就可以搭建起自己的 BI 系统，如果没有 it 人员，找一个小的软件公司帮忙实施，也不需要多少实施费用

大的软件开发商伙伴，也不用再为第三方软件成本担心，项目少的时候按套买，一套 5000，项目多的时候按项目买断，50000 就可以买断 20 个项目，部署多少节点都可以了

用开源的程序猿同学们，也其实没必要再用功能不全，陈旧，学起来费劲的开源软件了，5000 一套，或者 50000 买断，都远比使用学习维护开源的成本要低很多了

（文中说的价格，仅指 2018 年的价格，之后价格是否有变请关注官方信息）