合肥合和信息科技有限公司研发的大数据研判实战分析系统，是交通大数据应用的深度挖掘，系统将数据与业务充分结合，以实战为目的，利用道路卡口、电警抓拍的过车数据，结合车辆行驶轨迹，实时与后台嫌疑车辆信息库进行比对，对图片进行研判分析，交通管理部门可通过比对结果，预警布控，实现精准打击。

系统创新点：

大数据研判分析系统不仅可以对嫌疑车辆通过监控点时，进行实时报警，还可通过车辆历史轨迹进行分析研判，确定车辆行驶方向和路线，交警可根据比对结果进行提前布控，有效精准拦截。

系统应用范围：

布控违法嫌疑车辆、逾期未年检车辆、套牌车辆、无证失格人员驾驶车辆、禁区内行车等交通违法行为。

系统功能：

1、缉查布控系统自动从嫌疑车辆数据库名单中实时增量同步嫌疑车辆名单。

2、系统每天自动统计嫌疑车辆中违法后仍在使用的车辆信息，并生成预警名单，未使用的嫌疑车辆不纳入预警范围。

3、通过卡口抓拍到预警名单中的车辆驾驶人照片和违法驾驶人证件照比对以及通过违法前后两周预警车辆行驶轨迹比对，照片比对一致，轨迹相似则生成布控车辆名单。

4、对布控名单内车辆近两周使用信息进行统计，生成一个高频率行驶的布控车辆名单。

5、对高频率行驶的布控车辆名单中的车辆经过卡口按频次高低排名统计。

6、对高频率行驶的布控车辆名单中的车辆，近两周行驶轨迹以及高频次路口进行分析对比。

7、对驾驶轨迹规律的布控车辆进行精准打击，对驾驶轨迹不规律的布控车辆使用实时布控辅助精准打击。

8、对布控车辆进行布控，当布控车辆被抓拍到轨迹信息后，后台服务会向指挥中心告警客户端推送告警信息，告警客户端向指挥中心提供车辆实时告警以及预测车辆行驶方向轨迹信息。为指挥中心调度执法站交警进行有效精准拦截。

9、布控车辆抓捕结束后，指挥中心相关人员将结果反馈给后台系统。

　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。

　　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　1. OpenRefine

　　这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。

　　2.hadoop

　　大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方，Apache亦在不断强化这款工具以提升其实际效果。

　　3. Storm

　　同样来自Apache的Storm是另一款伟大的实时计算系统，能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务，具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于，其整合了大量其它技术，从而进一步降低大数据处理的复杂性。

　　4. Plotly

　　这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

　　5. Rapidminer

　　作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多知名数据科学家心目中的可靠工具。

　　6. Cassandra

　　Apache Cassandra 是另一款值得关注的工具，因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库，能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。

　　7. Hadoop MapReduce

　　这是一套软件框架，允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务，即映射与规约，并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。

　　8. Bokeh

　　这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。

　　9. Wolfram Alpha

　　这是一套搜索引擎，旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说，如果大家输入“Facebook”，即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。

　　10. Neo4j

　　其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用，从而帮助自身保持市场竞争优势。

End.

如果对软件测试感兴趣，想了解更多的软件测试知识，请大家关注“51Testing软件测试网”百家号。

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。

因此，各种基于Hadoop的工具应运而生，本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

资源统一管理/调度系统

在公司和机构中，服务器往往会因为业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，比如支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的Spark及流处理框架S4，它们诞生于不同的实验室，并各有所长。

为了减少管理成本，提升资源的利用率，一个共同的想法产生——让这些框架运行在同一个集群上;因此，就有了当下众多的资源统一管理/调度系统，本次为大家重点介绍ApacheMesos及YARN：

1、ApacheMesos

代码托管地址：ApacheSVN

Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用LinuxContainers来隔离任务，支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序，提供基于Web的用户界面来提查看集群状态。

2、HadoopYARN

代码托管地址：ApacheSVN

YARN又被称为MapReduce2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供Java虚拟机内存的隔离。

对比MapReduce1.x，YARN架构在客户端上并未做太大的改变，在调用API及接口上还保持大部分的兼容，然而在YARN中，开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一个中心的服务，负责调度、启动每一个Job所属的ApplicationMaster，另外还监控ApplicationMaster的存在情况;NodeManager负责Container状态的维护，并向RM保持心跳。ApplicationMaster负责一个Job生命周期内的所有工作，类似老的框架中JobTracker。

Hadoop上的实时解决方案

前面我们有说过，在互联网公司中基于业务逻辑需求，企业往往会采用多种计算框架，比如从事搜索业务的公司：网页索引建立用MapReduce，自然语言处理用Spark等。

3、ClouderaImpala

代码托管地址：GitHub

Impala是由Cloudera开发，一个开源的MassivelyParallelProcessing(MPP)查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的，第一个版本发布于2012年末。

Impala不再使用缓慢的Hive+MapReduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成)，可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。

4、Spark

代码托管地址：Apache

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是，Spark和Scala紧密集成，Scala像管理本地collective对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务，实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。

5、Storm

代码托管地址：GitHub

Storm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获。Storm属于流处理平台，多用于实时计算并更新数据库。Storm也可被用于“连续计算”(continuouscomputation)，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。

Hadoop上的其它解决方案

就像前文说，基于业务对实时的需求，各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

6、Shark

代码托管地址：GitHub

Shark，代表了“HiveonSpark”，一个专为Spark打造的大规模数据仓库系统，兼容ApacheHive。无需修改现有的数据或者查询，就可以用100倍的速度执行HiveQL。

Shark支持Hive查询语言、元存储、序列化格式及自定义函数，与现有Hive部署无缝集成，是一个更快、更强大的替代方案。

7、Phoenix

代码托管地址：GitHub

Phoenix是构建在ApacheHBase之上的一个SQL中间层，完全使用Java编写，提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix完全托管在GitHub之上。

Phoenix值得关注的特性包括：1，嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API;2，可以通过多个行键或是键/值单元对列进行建模;3，DDL支持;4，版本化的模式仓库;5，DML支持;5，通过客户端的批处理实现的有限的事务支持;6，紧跟ANSISQL标准。

8、ApacheAccumulo

代码托管地址：ApacheSVN

ApacheAccumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用GoogleBigTable设计思路，基于ApacheHadoop、Zookeeper和Thrift构建。Accumulo最早由NSA开发，后被捐献给了Apache基金会。

对比GoogleBigTable，Accumulo主要提升在基于单元的访问及服务器端的编程机制，后一处修改让Accumulo可以在数据处理过程中任意点修改键值对。

9、ApacheDrill

代码托管地址：GitHub

本质上，ApacheDrill是GoogleDremel的开源实现，本质是一个分布式的mpp查询层，支持SQL及一些用于NoSQL和Hadoop数据存储系统上的语言，将有助于Hadoop用户实现更快查询海量数据集的目的。当下Drill还只能算上一个框架，只包含了Drill愿景中的初始功能。

Drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析，将是一个专为互动分析大型数据集的分布式系统。

10、ApacheGiraph

代码托管地址：GitHub

ApacheGiraph是一个可伸缩的分布式迭代图处理系统，灵感来自BSP(bulksynchronousparallel)和Google的Pregel，与它们区别于则是是开源、基于Hadoop的架构等。

Giraph处理平台适用于运行大规模的逻辑计算，比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算，被Facebook作为其OpenGraph工具的核心，几分钟内处理数万亿次用户及其行为之间的连接。

11、ApacheHama

代码托管地址：GitHub

ApacheHama是一个建立在Hadoop上基于BSP(BulkSynchronousParallel)的计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。集群环境中的系统架构由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)这3大块组成。

12、ApacheTez

代码托管地址：GitHub

ApacheTez是基于HadoopYarn之上的DAG(有向无环图，DirectedAcyclicGraph)计算框架。它把Map/Reduce过程拆分成若干个子过程，同时可以把多个Map/Reduce任务组合成一个较大的DAG任务，减少了Map/Reduce之间的文件存储。同时合理组合其子过程，减少任务的运行时间。由Hortonworks开发并提供主要支持。

13、ApacheAmbari

代码托管地址：ApacheSVN

ApacheAmbari是一个供应、管理和监视ApacheHadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的HadoopAPI,可以隐藏复杂的Hadoop操作，使集群操作大大简化，首个版本发布于2012年6月。

ApacheAmbari现在是一个Apache的顶级项目，早在2011年8月，Hortonworks引进Ambari作为ApacheIncubator项目，制定了Hadoop集群极致简单管理的愿景。在两年多的开发社区显着成长，从一个小团队，成长为Hortonworks各种组织的贡献者。Ambari用户群一直在稳步增长，许多机构依靠Ambari在其大型数据中心大规模部署和管理Hadoop集群。

目前ApacheAmbari支持的Hadoop组件包括：HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。

某矿泉水公司，除了依靠自身其特色产品之外，还狠抓数据管理，主要体现对经销商的营销方式、顾客的喜好、需求，他们都通过数据来进行分析。

在没有上数据分析平台之前，他们想知道怎样摆放水堆更能促进销售?什么年龄段的消费者在水堆前停留久，他们一次购买的量会是多少?气温的变化让购买行为发生了哪些改变?竞争对手的新包装对销售产生了怎样的影响?

为了弄清这些问题，从2008年开始，他们的业务员就开始采集信息，如开始拍摄水怎么摆放、位置有什么变化、高度如何等等照片，每个月都会产生大概有3TB数据。对于这么多的数据，他们借助金金蝶BI-SpotView运营魔方制定数据管理平台，平台架构如下如下：

通过数据之后，实现产品精准营销，大大增强产品销售量，并且能够实时监控产品动态。

如图 （经销商分析）

除此之外，该公司还为了控制物流成本，提高企业的利润，把很多其它数据纳了进来，如：高速公路的收费、道路等级、天气、配送中心辐射半径、季节性变化、不同市场的售价、不同渠道的费用、各地的人力成本、甚至突发性的需求(比如某城市召开一次大型运动会)等等

通过金蝶BI-SpotView运营魔方平台，进行数据分析处理之后，及时利用大数据，计算出一套最优的仓储运输方案，使各条线路的运输成本、物流中心设置最佳地点等信息及时呈现；将全国十多个水源地、几百家办事处和配送中心整合到一个体系之中，形成一个动态网状结构，进行即时的管控。

同时还把让退货、残次等问题与生产基地能够实时连接起来，通过数据准确获知该生产多少，送多少实现对产品精准预知与控制。最终解决了采购、仓储、配送这条线上的顽症，实现产品运输决策的智能科技化、物流成本的精准化、运输资源的配置合理化。

使用金蝶BI-SpotView运营魔方取得成效

有了强大的数据分析能力做支持后，他们运用大数据技术，销售、市场费用、物流、生产、财务等数据的计算速度，几乎做到实时计算，产品实时统筹计划，大大提高了产品销售额和市场占有份额，近几年更是以30%-40%的速度迅速增长。

在惠普“超越存储 远见未来”2015存储远见者高峰论坛上，惠普就给出了他们的答案。对于如何定义未来存储，惠普也给出了“超越闪存、超越融合、超越架构、超越虚拟化、超越性能、超越扩展”这六大超越理念。在会上，惠普还发布了HP 3PAR StoreServ全闪存阵列，并逐一为大家展示了全新产品在这六大超越中的表现。

“现在传统的网络安全防护的体系已经崩溃，攻防对抗当中防护的模式也已经过时，未知的威胁可以绕过现有部署的一切安全设备切入到我们的系统。360的安全解决之道就是用大数据，用数据来提供安全，这是一个全新的技术安全体系。这里边包括了大数据中心、。”大数据引擎和大数据分析系统

普元资深架构师顾伟指出，”微服务“是一种更灵活、更可靠、更开放的架构，它的特点集中在开放、轻量、松耦合、易迁移、易伸缩、容错性、自监控、语言中性等。”微服务“的“零散”特征使得企业能够快速应对服务扩容、业务开放、业务变化、服务整合等需求。“微服务”通常的解决方案会结合当下比较流行的Docker和OpenStack技术。而支撑“微服务”的就是能够快速迭代“微应用”，在“微应用”之下是一个以各种技术标准、进行兼容和统一为基础、并提供多类型的业务平台。

　　数据分析系统开发公司紫鲸互联表示:大数据时代的到来，企业主们都说过或听过大数据，然而什么是大数据却只懂得表面，并未真正深入了解，大数据对于企业而言，意味着什么-能够起到什么作用-能够为品牌带来销量-能够为企业带来什么商业价值-今天就以移动大数据分析系统为例，为企业主们讲讲，大数据意味着什么，企业如何获得用户大数据!

　　大数据分析系统采用一物一码技术，实现每一件商品可赋予一个可变二维码，消费者购买产品后通过扫码领取红包(积分、实物、流量)关注到企业公众号;营销应用(微商城、拼团、投票、送礼、查溯源)通过以上方式实现获取用户大数据的关键一步。

　　获得大数据之后，下一步是数据类型的分析，因为不是每一个关注进来的用户都是扫二维码进来的.

　　大数据分析系统可采集到用户的性别、昵称、电话、扫码地区、扫码时间、购买商品名称、防窜货信息，获取礼品等...

　　二维码可通过哪些场景进行数据的采集-

　　大数据分析系统数据分析：

　　1、会员CRM展示出会员属性，交易频率，参与过的营销，购买过的商品，充分了解会员对公众号的黏度。

　　2、展示会员购买商品的地区，时间，价格，产品，了解用户常驻地点，喜欢在什么时间购买，喜欢我哪个产品，从而展开更深入的二次销售。

　　3、用户参与过我哪些活动营销，活动参与率达到什么程度，判断我这次活动举办是否受到用户的欢迎等。

　　大数据分析系统数据价值体现：

　　再小的品牌，都要有自己的大数据引擎

　　我们专注为企业提供一站式移动互联网营销解决方案

　　一物一码大数据分析系统

　　1、一物一码: 赋予每件商品一个唯一二维码, 实现促销直达、防伪，提高消费者的体验感和互动性, 提高公众号关注量, 快速获取用户数据

　　2、拼团(快速转化成交, 快速获取粉丝)

　　3、投票(一周暴增粉丝10万不是问题)

　　4、送礼(节日送礼方便了消费者, 提高互动性, 提高转化率)

　　5、微商渠道管控(商品进销存, 多个品牌, 一键授权, 无限层级, 防伪, 防窜, 控价，快速拓展线下渠道)

　　6、防窜货系统(每一批货都能知道销售去向)

　　7、溯源系统(可追溯到原材料来源)

　　8 、摇一摇/投票/砍价/签到/会员制度/月增十万粉丝 销量倍增

　　9 、终身免费培训(系统后台操作及营销)

大多数制造业企业几年前都开始有条不紊地收集生产过程数据了，因为这样利于帮助做企业诊断和解决生产中遇到的问题。当下，很多企业长其积累下来的大量数据，仅靠手工管理已受到局限，所以大部分企业开始引入生产管理系统来协助操作。使用生产管理系统后统计分析相关工作的效率、准确性有了明显的提高，同时还降低了企业严重依赖于个人员工经验的风险、提高了企业竞争力。那么统计分析到底有哪些功能呢？下面以智邦国际生产管理系统为例详细介绍。

1、 进度追踪分析

在智邦国际生产管理系统中，进度追踪主要通过订单进度追踪、派工进度追踪、整单委外进度追踪、工序委外进度追踪四个维度来进行的。通过各个维度来实时查看某段期间的订单核定信息、执行信息、质检信息、入库信息、付款信息、收票信息、生产进度、委外进度等的控制，来保证完成生产订单作业所规定的产品产量和交货期限指标，以免出现延期交货等不良现象的出现，提高企业信誉。

2、 物料跟进分析

物料跟进主要从缺料追踪表、废料数量对比分析、废料原因对比分析、废料明细表四方面统计。这些表单可以从物料维度实时查看生产所需量、已登记量、领料剩余数量、可用库存、缺料数量等，并可总结出废料数量及废料原因，通过物料跟进分析及时对生产过程优化和改进，进而减少废料出现，降低生产成本，减少库存。

3、 次品率分析

在智邦国际生产管理系统中，次品率分析主要包括产品不合格率分析、产品批次不合格率分析、工序不合格率分析、委外不合格率分析等，通过多维度不合格率分析，尽早发现次品率高的原因并进行有效改进，从而降低次品的产生，维护生产成本，带来直接的经济回报。

4、 计件工资分析

计件工资分析主要是用来统计分析计件工资的人员分布、工资走势以及计件工资明细表。通过这一分析能够直接、准确地反映出员工实际的工作能力，并观察不同员工之间以及同一员工在不同时间内的工作效率，从而更好的体现工资分配制度，使员工管理最大化。

5、 成本分析

智邦国际生产管理系统中，成本分析报表包括产成品汇总表、在产品汇总表、半成品汇总表、车间剩余物料表等。在整个生产过程结束后，企业需要通过汇总表实时核算成本来方便管理者及时管控，避免出现浪费和亏损的情况产生。

智邦国际生产管理系统除了有全面的统计分析工具，还可以提供全面的生产管理解决方案，结合基于对进行生产过程信息化控制和上下游信息整合的需求，以标准化的生产管理流程来运转，由生产订单驱动，通过简洁明确的操作，满足企业生产过程自动化控制和工艺管理、质量管理、部门协作等管理难题，帮助企业从根本上改变生产管理模式，提升效益。

文|帆软数据研究院 任敏

随着“工业4.0”、“两化”融合、《中国制造2025》等理念或政策的提出，粗放式的制造生产模式的弊端被越来越多的暴露出来，中国制造昔日冠以“世界工厂”的称誉近年来已被“夕阳产业”这个词所替代，管理无疑是最大的问题，其中数字化管理也是最容易被人忽视的，本文基于精益生产理论，给大家介绍下如何构建统一的数据决策分析体系。

一、何为精益生产？

“如果TPS的信息量是100，那么最早的LP的信息量大约是30，这是信息抽象带来的损失”，从这句话里我们可以发现精益生产LP（Lean Production）理论最早起源于丰田生产方式TPS（Toyota Production System），TPS最早由大野耐一提出并推广应用，LP的概念最早是在《改变世界的机器》书中提出，后来通过不断实践完善，LP已趋于成熟，现在被广泛应用于多品种、小批量型生产企业，这与其中准时生产JIT（Just in time）理论是密不可分的。

1.精益生产理论体系：

精益生产理论体系中包含了准时生产、自动化、单元生产方式与多能工、快速换模SMED、现场管理、可视化管理等部分，智能制造的实现也参考了其中的自动化、快速换模、可视化管理等模块。

2.精益屋：

实现精益生产理论体系的方法就是搭建企业自己的精益屋，精益屋包含目标层、准则层、方法层和运作环境共四层。运作环境是精益屋的地基，包括人、机、料、法、环等方面，方法层是构建精益屋的砖瓦，准则层是精益屋的承重梁，方法层围绕四大承重梁层层搭建，构成了精益屋的主体，目标层是精益屋的屋顶，通过降低成本和现金流最大化来实现最终的利润最大化。

3.精益生产的核心思想：

上述精益屋不一定适用所有企业，比如流程型制造或者以计划型生产为主的制造企业，但是我们可以围绕精益生产理论的核心思想，取其精华，形成适用于自己企业的精益生产方式。

消除一切浪费是精益生产的核心思想，TPS的创始人大野耐一曾说过“减少一成的浪费就等于增加一倍的销售额”，在10%固定利润的前提下，要想将利润提升一倍，要么将基数（即销售额）增加一倍，要么从90%的成本中缩减10%的成本。销售额增加一倍会在市场饱和的情况下导致产能过剩和库存积压，对企业长期发展不利。

成本结构中存在大部分的增值活动，是生产产品过程中必不可少的环节，而我们减少10%成本的前提就是识别非增值活动，包括马上可以消除的浪费和改变条件可以消除的浪费。

二、基于LP的决策分析平台架构搭建

1.打通双向数据链路

在整个供应链环节中融合精益生产理论思想，以客户个性化需求为导向的订单型生产模式逐步取代大批量推式生产模式、以零库存为目标的原料采购管理、以柔性生产为主的个性化制造方式、以消除搬运等候浪费为目的的智能物流系统，构建横向集成的数字化平台。

将上述所有环节的数据采集分为四个层级，分别为传感器级、自动化控制级、制造执行系统级、企业资源级，构建纵向集成的数字化运营体系。

2.IT实现架构

通过搭建开放共享的数字化平台，实现全过程的信息化管理，以“54321”协同管理模式提升供应链运营质量和效率，以信息化技术促进管理的全方位创新和提升。

打通各个业务系统间的数据壁垒，通过ETL工具进行数据的抽取、清洗、转化等操作，搭建ODS层（查询即时性较高的业务数据，转移业务系统查询压力）和DW层（面向分析主题的历史汇总数据仓库）。

三、基于LP的数据分析模型

1.数据分析三要素：

数据分析三要素包含指标、维度、分析方法，针对精益生产分析报表按照三要素梳理出分析结构，不仅对我们后期的报表制作有很大帮助，还可加深我们对业务逻辑的理解。

2.数据分析金字塔模型：

采用金字塔模型搭建企业数据分析平台，按使用对象需求层级可分为企业级领导战略驾驶舱、各业务模块经营管理分析、基层业务人员数据查询。结构清晰且职责明确，在设计指标和报表时就会事半功倍，避免同一指标既要给领导看又要给业务人员看且他们需要的展现样式不同导致的矛盾

3.基于LP的数据分析模型：

精益生产关注计划、设备、质量等，通过分析产能和计划，调节生产节拍，做到在客户需求时间点完成让客户满意的多少数量的产品，符合准时生产的思想；通过对设备的监控，做到设备最大利用率，避免闲置，对生产异常通过设备报警来实现，减少问题处理的等待时间，体现精益生产中避免浪费的思想；通过报表驾驶舱对产线直通率、不良品的实时监控，体现了精益生产中的可视化管理模块。

针对厂长级领导制作QCD驾驶舱，反馈生产三要素质量、成本、交期相关信息；针对车间主任制作车间管理驾驶舱，便于实时管理产线人员、开线情况、7S、生产情况等；针对班组间制作班组竞技场，创造良性竞争体系，实现自我管理。

四、基于LP的数据分析应用案例

帆软提供并支持多屏可视化应用方案，包括大屏展示、台式或笔记本、平板电脑、手机移动应用、数据移动提醒等，下面介绍一些基于帆软产品制作的数据分析报表案例。

1.大屏应用：

制作QCD驾驶舱，监控生产车间实时情况，将设备状态、人员效率、报警信息、产能、良率等指标通过环形图、柱状图、折线图等方式展现，清晰明了，提高生产管理水平和问题处理及时性。

2.PC端应用：

对成品备货进行追踪，对批量备货影响计划和库存周转的要责任到人，设定动态阈值，不断降低库存空间，提升库存周转率，体现了PDCA问题闭环和持续改进的管理理念。

TQM质量管控分析，区域、车间、生产线、产品、工段多层钻取分析，质量问题逐本溯源，责任到人。

3.移动端应用：

厂长、车间主任巡视时，直接打开移动产线管理报表进行工作指导；晨会直接打开报表开会，复盘昨日生产情况，异常指标现场问责；生产管理者出差，实时掌握一线生产情况。

五、总结

精益生产的理论是有局限性的，针对不同类型的企业有不同的应用方式，其核心思想——消除一切浪费，却是适用于所有企业的，包括非生产制造型企业。推广施行精益生产理论的重点在于如何识别企业中的非增值活动并找到将其消除的方法。

随着企业发展规模的不断壮大，在激烈的市场竞争环境下，要想取得辉煌的业绩和高速的发展，取决于领导层的决策。然而，在这竞争与机遇并存的数字信息化时代下，传统意义上的管理分析和决策手段发生了微妙的变化，已经不能再靠旧的思维模式去做决策。因此，新的决策手段就是当下人们常说的“用数据说话”。

很多企业在经营的各个环节中都会产生大量的数据，而对这些数据深层挖掘所产生的数据分析报告，及如何做好数据分析工作，对企业的运营及策略调整起着至关重要的作用。

数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

然而对于制造企业来说，生产现场的数据就属于第一手资料，因为只有了解了生产线的详细产能数据，才能在接单的时候了解月度负荷，初步安排设备和人员的排班计划，并且在接下来的生产排程中，进行精细的排产计划。否则，如果连一条产线每个班能生产多少产品都不知道，如何实现精细排产呢？而现场的数据如不良品信息及相关的产品数据等能否实时采集到，是当前企业面临的一个大难题，如何实现高效率、简洁、实时的数据采集，是当前制造业急需解决的问题。

MES系统中，数据采集是至关重要的，它保证了信息集成化的实施。MES系统与上层ERP企业资源规划和底层PCS过程控制系统一起构成企业的神经系统，一是把业务计划指令传达到生产现场，二是将生产现场的信息及时收集、上传和处理。MES不单是面向生产现场的系统，而是作为上、下两个层次之间双方信息的传递系统，连结现场层和经营层，通过实时数据库传输基本信息系统的理论数据和工厂的实际数据，并提供企业计划系统与过程控制系统之间的通信功能，是应用于企业的重要信息系统。

MES中的数据采集功能，可以实现对生产现场各种数据的收集、整理工作，是进行物料跟踪、生产计划、产品历史记录维护以及其它生产管理的基础。将车间生产的信息实时准确的反馈到车间的管理层，加强管理人员对车间生产现场的监控和管理，并为企业管理人员制定生产计划提供依据。要开展好车间数据分析工作，首先就要明确各相关部门的职责，把生产车间的信息收集、统计分析工作作为一个“过程”进行管理，以此推动整个管理体系的持续改进。

编辑：Nistone乐石科技

生产是制造业企业的核心，因此，生产管理也是重要企业的重要内容。而同时，生产管理关系到企业的制造成本，进而关系到企业的成本优势、竞争力与盈利性，也关系到企业产品的质量和企业的品牌声誉。进行生产管理能够让员工负能量少，积极性提高，流失率低，快速建设号项目。实现公司项目多元化。

因此我们提供了一个生产管理数据分析的解决方案便于参考，让您通过鼠标点击和拖拽就能够轻松地掌握生产管理的基础数据查询和生产综合分析，如生产车间分析、生产成本分析、生产产品分析、生产驾驶舱等，进一步体会到生产管理数据分析的妙用。你也可以再利用我们提供的数据自己再尝试性做一些生产管理数据分析的模板。

一、方案内容

本方案将给大家着重分享以下企业生产管理数据分析方面的内容干货：

1.如何快速搭建生产管理数据分析平台？

2.如何让业务部门人员直接基于生产数据快速完成基础数据查询？

3.如何让业务部门人员直接基于生产数据快速完成生产综合分析？

4.如何让业务领导直接基于生产数据快速完成即席数据分析？

5.如何让企业生产管理数据分析成果实现团队协作共享？

二、方案效果及实现说明

1.如何快速搭建生产管理数据分析平台？

这部分工作属于企业IT部门的前期数据准备工作，需要IT部门在FineBI的数据配置-数据连接管理中新建好数据连接，保证数据连接测试成功。然后添加生产管理业务包，将相关数据表加入并且建好立表间关联关系即可（如果是FineIndex类型的业务包需要更新好FineIndex数据）。分配好对应数据权限之后，用户即可直接在浏览器前端来对这些生产管理数据进行即席的多维探索分析。

以本方案为例，如上图所示，我们在生产管理业务包中添加好生产事实表、生产车间维度表、生产品类维度表和生产仓库维度表，并且建立好维度表和事实表之间的数据关联关系。

最后在数据配置-权限配置管理界面中将建立好的生产管理业务包的权限分配给业务部门相关人员，并且在管理系统-用户管理中将对应授权人员加入到BI编辑用户的已授权列表中。

2.如何让业务部门人员直接基于生产数据快速完成基础数据查询？

数据底层搭建完，就可以使用分配好数据权限的账号登录平台，快速新建仪表板做基础数据分析了。

以生产订单查询为例，我们通过拖拽出一张明细表组件，将所需的生产订单信息字段拖拽即可生成生产订单明细。然后添加生产车间、生产产品、流水订单号等常用的过滤控件，即可快速完成一张对生产基础数据查询表。

3.如何让业务部门人员直接基于生产数据快速完成生产综合分析？

在这里，以其中两个模板为例，来展开生产综合分析的篇目。

a.生产车间对比分析

对于制造企业，最常见的生产分析之一就是对于生产车间的对比分析。通过不同车间的生产效率对比，让每个车间能都看到自己的KPI（此模板中指生产数量、同期数量及增长率）的对比情况，有助于建立一套自上而下的管理系统,明确各部门各人员的责任，从而有利于统一部署,分工协作、团结一致的完成生产工作，改变了过去单一行动、责任不明的状态,有助于整体联动的管理体系。

下方的明细表是我们通常在做基础信息分析时最传统和熟悉的报表展现。我们在做分析时往往可以通过一张明细表先把货物生产的基础属性拖拉出来，然后对其中所需要的字段进行进一步需要的加工处理。如对增长率在-10%~0的指标进行绿色预警，在0%~10%的指标进行红色预警，研究不同车间的占比组成，以及不同品类的车间贡献因子等。

b.生产驾驶舱

这里以化工企业的生产驾驶舱为例。生产驾驶舱（看板）是管理可视化的一种表现形式，即对数据、情报等的状况一目了然地表现，主要是对于管理项目、特别是情报进行的透明化管理活动。通过各种形式如标语/现况板/图表/电子屏等把文件上、脑子里或现场等隐藏的情报揭示出来，以便任何人都可以及时掌握管理现状和必要的情报，从而能够快速制定并实施应对措施。

4.如何让业务领导直接基于生产数据快速完成即席数据分析？

除了以上给大家介绍的制作一些企业常用的生产管理数据分析之外，FineBI最大的特性就是随时满足业务人员或者企业领导的数据即席分析需求了，通过轻松的托拖拽拽操作，就能生成丰富多样的数据分析统计结果。

可以看到轻松拖拽就可以马上完成可视化，实现快速分析。

5.如何让企业生产管理数据分析成果实现团队协作共享？

企业的各项工作，主要由各部门团队分工协作完成，彼此之间需要很好地进行沟通和配合，那么FineBI是如何帮助企业将生产管理数据分析成果实现团队协作共享的呢？

以上文所述的生产车间对比分析为例，那么通过FineBI可以非常便捷地将它分享给相关部门或者指定人员的。

例如这边想把它分享给领导，那么可以在FineBI的仪表板中将做好的生产车间对比分析模板点击分享给对应的Tom，然后点击确定即可。这样一来，对应的Tom登录之后就完全能够使用该模板。

最后，具体的实操，大家可以下载FineBI尝试下。