仿真模拟问题

这下容易解决了

最近老有模友吐槽超模君好久没讲过关于数学建模的内容。

超模君一脸心塞（我容易吗我）：各位模友，别急，那今晚的主角还是留给数学建模。

说起数学建模，大部分模友应该顺势也就会想MATLAB、SPSS、R语言等软件，确实，这可是数学建模的命脉。

但你会发现，MATLAB、SPSS、R语言这类的软件都偏向于数据计算，而我们回看近几年的数学建模问题。

你会发现，流体力学和社会交通问题成为主要的热点，而这类型的问题，似乎并没有办法直接使用MATLAB、SPSS、R语言等软件来使用。

也就是因为这个问题，超模君接触了COMSOL这款软件。

COMSOL Multiphysics 是一款基于高级数值方法、用于建模和模拟物理场问题的通用软件平台。借助 COMSOL Multiphysics，用户能够解释耦合现象或多物理场现象。软件拥有超过 40多个附加模块，并可以通过电磁、力学、流体、声学和化工等领域的专用物理接口和工具，实现各物理场之间的自由耦合。软件附加的接口工具还可以将 COMSOL 仿真与常用的工程计算、CAD 和数据分析软件集成使用，进一步拓展了软件的适用性。

不仅如此，COMSOL Multiphysics 还内置有独一无二的 App 开发器工具，可将复杂的多物理场模型封装为简单易用的仿真 App，让那些不具备专业建模知识的用户也能受益于多物理场仿真带来的优势。

近期，最新的 COMSOL Multiphysics 5.3 版本已全面更新，建模速度大幅度提升，那感觉倍儿爽。

不知道各位模友是否还记得，超模君也推送过一篇有关于COMSOL针对奥运圣火建模的文章。

圆喷射燃烧器示意图

速度流的大小和流场

二氧化碳的质量分数

也就在近期，COMSOL正式发布新版本：

COMSOL软件 5.3 版本大幅提升建模速度。

全新的 COMSOL Multiphysics 和COMSOL Server5.3 版本现已正式发布。而这一次的更新确实带来很大的惊喜。

性能提升是 COMSOL 软件 5.3 版本最引人瞩目的更新亮点，这尤其体现在求解大型模型方面。相比于 5.2a 版本，新版本软件对大型模型的处理和加载速度可提升至十倍以上。

通用功能更新

针对于“App 开发器”，一定会对那些用于记录、编辑以及运行方法的功能感到熟悉。

现在，“模型开发器”也添加了方法功能，可以顺利地执行复杂的建模任务。

例如，可以编写一个从文本文件导入数据来创建几何模型的方法。

通过模型方法更新模型。

“App 开发器”优化了图形 表单对象，为其添加了数据采集功能，在开发 App 时设计出交互性更佳的仿真工具。

COMSOL Server产品是部署和管理仿真 App 的平台，管理员现在可以更加灵活地管理用户日志文件和集中式集群设置。

在 COMSOL Multiphysics 5.3 版本中，另一个令人期待的改进是可以通过局部坐标系来创建几何模型和定义物理场操作。

通过金字塔单元过渡层，还可以组合使用扫掠网格和四面体网格。

在这个示例中，金字塔单元（青色）在扫掠网格的六面体单元（绿色）周围自动生成，剩余空间则填充四面体单元（灰色）。

其他通用更新包括：

①基于快速选择过滤并查看多参数结果；

②在一维图中引入了双 y轴，支持在一张图中绘制不同尺度的不同结果。

在此示例中，天线发出的辐射在汽车线束的外表面产生了感应电流。我们使用“选择”功能非常方便地指定了此组件的电场模绘图。

各物理场模块的更新

在 COMSOL Multiphysics 5.3 版本中，软件添加了多个全新的教学模型和重要的演示 App，同时还对许多原有的教学模型进行了更新。可以在“发布亮点”页面中找到“案例库”路径和“案例下载”链接。

在 5.3 版本中，“CFD 模块”发布了多个重大升级。

例如，借助新增的 v2-f 湍流模型，可以对具有强湍流各向异性的流场进行高精度的模拟，这项功能在模拟流过曲面的流动时非常实用。此外，“CFD 模块”新增了代数多重网格（AMG）求解器，让大型流体仿真的运行难度大大降低。请前往“发布亮点”页面中查看全部更新内容。

新增的 v2-f 湍流模型十分实用：流过旋风分离器的弯曲表面的湍流。

将全新的 AMG 求解器应用于太阳能电池板的 CFD 仿真中。

在结构力学模块的众多更新内容中，最引人瞩目的是新增了应力线性化计算技术，这项后处理技术在模拟压力容器时尤为实用。此外，新版软件还提供了多个用于分析材料线弹性的安全系数，让用户能够迅速判断是否需要在模型中添加弹塑性分析。

另一个新增的实用功能是，可在模型中为自平衡载荷自动添加约束。在最新版本的 COMSOL 软件中，还在时域和瞬态热声学分析中使用完美匹配层（PML）功能。

使用应力线性化功能执行计算。

“变速箱中的噪声和振动”教学模型，可在“声学模块”中的找到。

对于电磁学领域的用户来说，全新的“静电，边界元 ”接口大幅简化了电介质中电势分布的计算过程。借助新增的研究类型，用户可以快速执行集总矩阵计算。除此之外，新版本软件还带来了全新的“RF零件库”、用于射线光学的射线终止 特征，以及一个可通过求解薛定谔方程来处理量子力学问题的接口。

使用边界元模拟电容器。

传热模块方面，软件包含了可进一步扩展空气中热湿传递建模的多个特征。化工模块新增了一系列接口，可以对多孔介质反应流，以及裂隙中的流动与传递进行模拟。对于那些需要模拟粒子追踪的用户来说，他们可以借助全新的周期性条件对带扇区对称的几何模型和周期性结构执行分析。

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。

数据库物理建模是在软件设计当中必不可少的环节，数据库建得怎么样，关系到以后整个系统的扩展、性能方面的优化以及后期的维护。使用一个数据建模工具是非常必须的。那在开源或免费的领域，有没有比较好的工具呢？其实是有很多的，只是开源这一块，功能上、易用性上没有商业软件那么好用！

一、PowerDesigner

PowerDesigner是目前数据建模业界的领头羊。功能包括：完整的集成模型，和面向包含IT为中心的、非IT为中心的差异化建模诉求。支持非常强大的元数据信息库和各种不同格式的输出。PowerDesigner拥有一个优雅且人性化的界面，非常易懂的帮助文档，快速帮助用户解决专业问题。

二、ER/Studio

ER/Studio 是一个支持多平台环境的直观数据建模工具，并且本地集成了用于处理大数据平台，例如-MongoDB和Hadoop Hive。它能够进行正向和逆向工程，并且拥有“比较合并”功能，能够输出例如XML、PNG、JPEG等格式文档。内建自动执行任务功能支持当前流行数据库平台。ER/Studio功能非常强大，拥有直观的界面和很好的用户支持特别易于马上开始工作。

三、Sparx Enterprise Architect

Enterprise Architect是一个拥有丰富功能的数据建模工具。自诩是高性价比的明智之选。Enterprise Architect帮助企业用户快速建立强大的可维护的系统，而且很容易在共享项目中扩展到大型的协作团队中去。 Enterprise Architect 同样有动态运行模拟模型的能力，用以验证模型和更加正确和深入的理解原来商业系统运作的方式。

四、CA ERwin

ERwin 也是业界领先的数据建模解决方案，能够为用户提供一个简单而优雅的界面同时处理复杂的数据环境问题。Erwin的解决方案提提供敏捷模型，同时元数据可以放在普通的数据库中进行处理，这样就能够保证数据的一致性和安全性。Erwin支持高度自定义的数据类型、APIs，允许自动执行宏语言等等。Erwin还建有一个很活跃的用户讨论社区，使得用户之间可以分享知识和各种经验。

五、IBM - InfoSphere Data Architect

InfoSphere 是一个很创新的、运行在开源平台-Eclipse上的数据建模工具。Infopshere主要聚焦于以下三个主要的特性：高效、简洁、高度集成。InfoSphere能够帮助商业用户建立逻辑、物理模型图，并且之后能非常方便的在各种不同的应用和系统中进行使用。InfoSphere是一个端到端的解决方案，可以快速高效地用在建立、部署、更新数据模型。同时为非常简易的集成了IBM的其他相关产品。

关于 Data to Value 是一家专门从事数据咨询的公总部位于伦敦。我们将图形化技术作为下一代数据战略应用与各种数据相关需求中。联系我们获得其他您感兴趣的细节

六、OpenSystemArchitect

这是一个开源做得比较彻底的一个产品，推荐大家使用。最喜欢的一点说法是操作习惯有点类似于PowerDesigner，界面比PD丑一点，但是，还挺好用的！它支持windows、Linux。看完这些截图之后，我相信你马上会下载一个用用！

七、Enterprise Architect

通过在Enterprise Architect中记录您的愿景，从而将您的愿景变为现实 – 这是一个完美的企业级解决方案，它可视化，分析，建模，测试和维护所有的系统，软件，流程和架构。 Enterprise Architect作为一个理想的平台，帮助您保持对工作空间的掌控，支持您的同事和团队，有信心在最复杂的项目中实现协作。

从需求到实施等，Sparx Systems的Enterprise Architect 是一个功能齐全的工具套件，允许您建模，设计，模拟，原型，构建，测试，管理和从可视化直到解决方案的全程跟踪。

八、Open ModelSphere

Open ModelSphere是一个强大的数据库，流程和UML建模工具。支持结构化分析、业务过程建模，概念数据建模、逻辑数据建模、设计物理/数据库模型，生成数据库结构和代码等功能。

九、MySQL Workbench

MySQL Workbench是为MySQL设计的ER/数据库建模工具。是著名的数据库设计工具DBDesigner4的继任者。具有设计和创建新的数据库图示，建立数据库文档，以及进行复杂的MySQL 迁移的作用。

MySQL Workbench是下一代的可视化数据库设计、管理的工具，它同时有开源和商业化的两个版本。该软件支持Windows和Linux系统。

MySQL Workbench是MySQL AB发布的可视化的数据库设计软件，它的前身是 FabForce 公司的 DBDesigner 4。

MySQL Workbench 为数据库管理员、程序开发者和系统规划师提供可视化设计、模型建立、以及数据库管理功能。它包含了用于创建复杂的数据建模ER模型，正向和逆向数据库工程，也可以用于执行通常需要花费大量时间和需要的难以变更和管理的文档任务。MySQL工作台可在Windows，Linux和Mac上使用。

十、Navicat Data Modeler 详细介绍

Navicat Data Modeler 是一个强大的和易于使用的数据库设计工具，用于创建和操纵数据模型。它支持各种数据库系统，包括MySQL，Oracle， SQL Server，PostgreSQL和SQLite。

Navicat Data Modeler允许用户直观地设计数据库结构，执行向后/向前的过程中，导入表结构从ODBC数据源，生成SQL文件和打印模式，文件等。

Navicat的数据建模的功能，用户可以轻松地创建高质量的数据模型，并了解数据库结构。

十一、Mogwai ERDesigner NG

ERDesigner是开源的，您不需要花费一分钱。设计ERDesigner的目的在于使得数据库建模尽可能低简单，并试图在整个开发过程中支持开发者，即从数据库设计到模式、代码的生成。它设计成让数据库建模变得尽可能简易并为整个开发过程提供支持，从数据库设计到模式 (schema)和代码生成。此外ERDesigner还提供一个灵活的插件体系，从而可以通过安装新的插件来扩展该工具的功能。ERDesigner提 供的功能包括：

*.能够使用一个强大和易于使用的图形编辑来设计数据库模型。*.能够依据ER图生成常用数据库如MySQL,PostgreSQL,Oracle和MSSQL的数据库模式(schema)。*.能够使用IVT(Intelligent version tracking:智能版本跟踪)系统来维护schema的变化情况。*.能够从现存数据库生成ER图。*.能够依据ER图生成EJB,Hibernate,JPOX的Java代码。*.能够生成PDF格式的数据库文档(利用Apache FOP)。

在数字经济时代，未来每个企业都可能是数字企业。数字企业则必须有自己完整的大数据体系。上期小编邀请数据大牛为大家解析了大数据底层架构（资深数据大牛深度解析：大数据底层架构！），而今天我们介绍的，便是每个企业大数据体系中最基础和最根本的部分——数据采集。

数据采集是一切有效分析的前提。如：数据接入；数据传输；数据建模／存储；数据查询；数据可视化等。总体上可以将企业大数据体系分成：

采集与存储平台：主要职责是对企业的相关大数据进行收集，并将收集到的数据进行存储。以便与企业管理及运用，同时也是未来数字企业的最重要资产之一。

分析与挖掘平台：主要职责是对企业采集到的数据进行专门的分析、BI等，以及在此基础上进一步的数据挖掘、人工智能等。

洞察与决策平台：主要职责是利用大数据分析的结果，通过自动加人工双重决策，更高效的运用到产品，业务，商业等环节以及相应的行动等。

覆盖全局数据安全平台：主要职责是负责确保数据的安全性，保证企业的数据资产不受到损害，例如数据不丢失、不损坏、不被窃、不被改等。

数据采集与存储平台将占据非常重要的位置。将来自各种数据源的原始大数据采集、分析、存储等。通常中小企业也可以不用自己拥有专门的大数据分析与挖掘平台，选择与相对专业的企业合作。

面对来源各异、以结构化/半结构化为主的数据，拍拍信使用linkedin开源的camus来采集消息类数据，使用kettle来采集RMDB的数据，具有以下优势：

1提高采集效率，降低工程成本；

2支持Web、iOS、Android、HTML等多种平台；

3采集全面属性、维度、指标等，使数据资源更优质；

4建立预测模型，实时智能监控、分析、预测用户行为；

5支持代码埋点，和全（无）埋点，按需选择，灵活运用。

采集方案：客户端（前端）；服务器日志；业务数据库；历史数据；第三方数据等。

数据采集与存储平台一般也可以分为三个层次，即数据采集层、预处理层和存储层。同时，大数据采集平台还需要一个覆盖全局的数据安全体系。

采集层负责采集企业各种来源的大数据；预处理层负责对采集回来的数据进行一些规范化的处理；存储层则是将预处理后的大数据进行存储，将企业大数据资产用一种方式保存起来。数据安全体系即数据安全平台。值得注意的是，当存储技术足够好、存储设备成本足够低容量足够大时，预处理层或可以选择忽略。

本期对大数据采集的分享就到这里啦，欢迎大家联系探讨。

（小编的鸡腿就靠各位老板啦(づ￣ 3￣)づ）

感谢您对拍拍信的认可与支持

我们一直在路上

现代营销观念认为：“营销管理重在过程，控制了过程就控制了结果。”用户行为分析之漏斗分析模型是企业实现精细化运营、进行用户行为分析的重要数据分析模型，其精细化程度影响着营销管理的成败，以及用户行为分析的精准度。粗陋的漏斗分析模型因为过程管理不透明、数据分析不精细、用户行为分析不科学而造成结果失控。因此，我们经常能够听到一些产品经理的抱怨不绝于耳：从启动 APP 到“支付成功”，用户转化率为何仅仅 0.8 %？

一、什么是漏斗分析？

究竟什么是漏斗分析？漏斗分析是一套流程分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。

漏斗分析模型已经广泛应用于流量监控、产品目标转化等日常数据运营与数据分析的工作中。例如在一款产品服务平台中，直播用户从激活APP开始到花费，一般的用户购物路径为激活APP、注册账号、进入直播间、互动行为、礼物花费五大阶段，漏斗能够展现出各个阶段的转化率，通过漏斗各环节相关数据的比较,能够直观地发现和说明问题所在，从而找到优化方向。

二、漏斗分析模型的特点与价值：

对于业务流程相对规范、周期较长、环节较多的流程分析,能够直观地发现和说明问题所在。值得强调的是，漏斗分析模型并非只是简单的转化率的呈现，科学的漏斗分析模型能够实现以下价值：

企业可以监控用户在各个层级的转化情况，聚焦用户选购全流程中最有效转化路径；同时找到可优化的短板，提升用户体验；降低流失是运营人员的重要目标，通过不同层级的转情况，迅速定位流失环节，针对性持续分析找到可优化点，如此提升用户留存率。多维度切分与呈现用户转化情况，成单瓶颈无处遁形。科学的漏斗分析能够展现转化率趋势的曲线，能帮助企业精细地捕捉用户行为变化。提升了转化分析的精度和效率,对选购流程的异常定位和策略调整效果验证有科学指导意义。不同属性的用户群体漏斗比较，从差异角度窥视优化思路。漏斗对比分析是科学漏斗分析的重要一环。运营人员可以通过观察不同属性的用户群体（如新注册用户与老客户、不同渠道来源的客户）各环节转化率，各流程步骤转化率的差异对比，了解转化率最高的用户群体，分析漏斗合理性，并针对转化率异常环节进行调整。

三、在漏斗分析模型中，科学归因、属性关联的重要性

先谈归因。在科学的漏斗分析中，需要科学归因设置。每一次转化节点应根据事件功劳差异（事件对转化的功劳大小）而科学设置。企业一直致力定义最佳用户购买路径，并将资源高效集中于此。而在企业真实的漏斗分析中，业务流程转化并非理想中那么简单。

以市场营销为例，市场活动、线上运营、邮件营销都可能触发用户购买。A 欲选购一款化妆品，通过市场活动了解 M 产品，后来在百度贴吧了解更多信息，但是始终没有下定决心购买。后来收到 M 公司的营销邮件，A 被打折信息及详实的客户评价所吸引，直接邮件内跳转至网站购买了该商品。

那么，在漏斗设置时，转化归因应该“归”哪一个渠道呢？在这个案例中，运营人员愿意以实际转化的事件的属性为准。邮件营销的渠道在用户购买决策的全流程中对用户影响的“功劳”最大、权重较大，直接促进用户转化。在科学的漏斗分析模型中，用户群体筛选和分组时，以实际转化事件——邮件营销来源的用户群体的属性为准，则大大增大了漏斗分析的科学性。

再一起看属性关联。在进行漏斗分析时，尤其电商行业的数据分析场景中，运营人员在定义“转化”时，会要求漏斗转化的前后步骤有相同的属性值。比如同一 ID（包括品类 ID、商品 ID）才能作为转化条件——浏览 iphone6，购买同一款 iphone6 才能被定义为一次转化。因此，“属性关联”的设置功能是科学漏斗分析不可或缺的内容。

四、漏斗分析场景：

场景一：电商行业不同客户群体的转化情况

某电商企业客户根据客户的消费能力，将客户划分为普通会员、黄金会员、钻石会员。为加强对用户的转化引导，F 欲针对不同用户群体采用不同的运营方式。

图1 普通会员与钻石会员的漏斗转化情况对比

通过对比，可明显看出，普通会员从“提交订单”到“支付订单”的转化率明显低于钻石会员。为找到“支付订单”阶段转化率变低的原因，F公司运营人员应深度分析普通会员转化率情况，如对比不同付费渠道（PC 端、手机端等）的转化情况，找到优化的短板。另外，可以尝试支付订单流程的新手引导，帮助新手顺利完成购买。

场景二：零售行业——中商惠民科学评估站内推广位的效果

首页推广位的效果监控是站内运营重要一环，数据的监测与分析是重要工作，它为站内优化、页面体验提升作出指导。运营人员可以通过用户的点击转化率与购买转化率可以判断页面不同推广位置效果。下图是中商惠民首页推广位“一元促销”、“清洁专场”两个Banner转化率情况对比。（注：为涉嫌商业机密，以下场景模拟真实应用场景而设，数据均为虚拟。）

图2 “一元促销”、“清洁专场”两个Banner转化率情况对比

除此之外，漏斗分析模型已经广泛应用于各行业的数据分析工作中，用以评估总体转化率、各个环节的转化率，以科学评估促销专题活动效果等，通过与其他数据分析模型结合进行深度用户行为分析，从而找到用户流失的原因，以提升用户量、活跃度、留存率，并提升数据分析与决策的科学性等。

关于神策数据

神策数据（https://sensorsdata），一家专业的大数据分析服务公司，致力于帮助客户实现数据驱动。公司推出深度用户行为分析产品神策分析（Sensors Analytics），支持私有化部署、基础数据采集与建模，并作为PaaS平台支持二次开发。此外，还提供大数据相关咨询和完整解决方案。目前已赢得中国银联、聚美优品、百联、中邮消费金融、广发证券、参考消息、中商惠民、米其林、趣店、融360、纷享销客、共享单车、秒拍、36氪等众多行业领先企业认可。希望更深入了解神策数据或有数据驱动相关问题咨询，请咨询4006509827，由专业的工作人员为您解答。

作者：乔一鸭，神策数据运营一枚。

一年一度的春节来临，Smart Decision华策辉弘给大家拜年，祝大家狗年大吉，阖家欢乐！

【开胃菜】

离家在外你是五道口、西二旗的王总监、李开发和杨设计，回家过年你就是隔壁刘阿姨家的小胖子和张小翠的初中发小。当被亲戚问到工作是做什么的，你说在大数据行业做程序猿，他们会觉得你就是修电脑的，因为你每天都在和电脑打交道！

大数据虽然已经是大家耳熟能详的热词，但数据领域里的许多术语和概念仍然会让人不明就里，所以就从“年夜饭”步骤来切入理解吧。

【主菜】

正所谓“巧妇难为无米之炊”，做饭首先得有食材，大数据也一样，没有数据说什么都是扯淡，所以数据就是数据人的食材（只要有数据，我不用吃饭）。

做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必需环节，无论你是开饭店还是家里一日三餐，做饭的规模大小会有不同，但流程却是一样的。而这几个环节其实正好对应了数据人的日常工作内容：买菜（数据采集）~洗菜（数据清洗）~配菜（数据建模）~炒菜（数据加工）。

1、买菜（数据采集）

买菜，出门首先要考虑去哪里买，到地之后溜达溜达看看买什么食材，看中一个之后讨价、还价、交钱，肉、蛋、青菜，各种要买的食材都得按这个流程来一遍，买齐之后就走人回家了。

对于数据人来说，我们把这个买菜的过程叫做数据采集。

菜市场就是我们通常所说的数据源。

2、洗菜（数据清洗）

洗菜就很好理解了，无论哪里来的食材，都多少存在卫生或者质量问题，买回来后都得洗干净、摘清楚才能吃，不然小则影响口感，大则损害健康。

数据也是一样，拿回来之后得检查一下，数据内容有没有缺斤少两，数据值里有没有烂菜叶，不然后面的报表、分析出来的结果就全是错误结论了，我们把这个检查、纠正数据本身错误的过程叫做数据清洗。

3、配菜（数据建模）

配菜指的是根据要炒什么菜，将需要的各种食材事先搭配好放在一起，比如说我们要炒木须肉，那就把猪肉、鸡蛋、黄瓜都洗净、切好放在一个碗里，这样在炒菜的时候可以手到擒来，无需到处找食材，能够很好的提升炒菜的效率。

而在数据工程里，也同样有个专业性很强甚至被神话的配菜流程，这就是传说中的数据建模。数据建模就是建立数据存放模型，把各个数据源过来的各种数据根据一定的业务规则或者应用需求对数据重新进行规划、设计和整理。

配菜这个流程也许在做饭过程中不起眼，有时候可有可无，但是在数据工程里，数据建模却是个非常关键的环节。

数据的种类之多、复杂度之高远远超过食材，比如一个银行，内部和业务、流程、管理相关的IT系统一般都超过100个，这也就是100多个菜市场，而每个菜市场能够提供的食材少则数百个，多则成千上万个，这都放在一起就是几十万个食材，再加上外部更加复杂的其他数据源，这么多不同类型、不同标准的食材放在一起，怎么才能让后面的炒菜更加高效和科学，其复杂度和可研究性也的确远远高于真正的配菜。由于数据建模的专业性太强，非常需要经验的积累，于是在数据行业里衍生了一个专门负责配菜的工种叫“模型设计师”。

4、炒菜（数据加工）

炒菜相信大家都不陌生，如果配菜是个艺术活，那炒菜就绝对是个技术活了。各位大厨不但要有能力把各种食材组合起来炒熟，还得灵活运用油、盐、酱、醋等多种配料，保证菜品的色香味俱全。而且既然是开门迎客，各种消费者的需求都要能够响应，而且要响应的既快又好。

数据加工就是在炒菜，是个将各种数据进行计算、汇总、准备的流程，是为最后的数据应用和数据消费者服务的。客户的要求总是千奇百怪的，所以根据数据消费者的需求不同，数据加工的形式也是百花齐放。数据加工除了满足各种数据需求，还有个不得不提的职责就是数据创新。这就好比为了保证饭店的竞争力和消费者们的新鲜感，不时推出新菜品也是大厨们的职责所在。而在数据圈里，通过数据进行创新已经成为潮流和共识，于是，数据分析师、数据科学家这些角色开始粉末登场。

他们的工作就是通过通过尝试各种数据（食材）和参数（调料）的组合方式来探索和发掘新的业务机会。而由于食材的量实在太大，配料比例的波动范围就更是无止境，难以靠人力把各种组合方式进行穷尽。于是，随着数学理论和技术发展，通过算法让计算机自动进行食材组合、调料配比从而产生新的发现成为可能，也就是我们现场经常听到的数据挖掘、机器学习了。

数据分析是一项实践性很强的工作，涉及到很多交叉学科，需要不同的岗位和角色，来实现不同的性质的工作。

一 、数据分析师中的角色和职责

数据分析团队师应该在科技部门内部还在业务部门内部一直存在争议。在业务部门内部，对数据场景比较了解，容易找到数据变现的场景，数据分析师对业务提升帮助较大，容易出成绩。但是弊端是仅仅对自己部门的业务数据了解，分析只是局限独立的业务单元之内，在数据获取的效率上，数据维度和数据视角方面缺乏全局观，数据的商业视野不大，对公司整体业务的推动发展有限。业务部门的数据分析团队缺少数据技术能力，无法利用最新的大数据计算和分析技术，来实现数据分析和建模。数据分析和计算依赖于科技部门，效率较低，无法打通各个环节和实现效率和收益最优。

1. 数据库(仓库)管理员DBA

DBA最了解企业内部的数据和可用的数据资源，包括数据的存储细节和数据字典，另外其对数据的采集、清洗和转化起到关键作用。

DBA为数据科学家和数据分析师提供加工好的原始数据，这些数据是数据分析和建模的基础，DBA做了数据分析工作中最重要的基础工作，完成了大量的脏活和累活。

2 .业务专家

业务专家的优势是数据的商业敏感度，了解业务需求，可以将业务需求转化为数据需求，进一步找到数据应用场景。另外业务专家也可以通过对数据的分析，找到新的商业机会，同业务部门一起制定商业计划，利用数据分析推动业务增长。

业务专家的经验对于数据分析和建模是非常关键的，他们可能是风险管理人员、欺诈监测专家、投资专家等。数据建模来源于业务经验和业务知识，正是业务专家的专业分析找到了业务规律，从而找到了建模方向，并对建模工作给出建议和解释。

3. 数据科学家

过去统计分析依赖于统计分析工具，大数据时代之后，数据量级的提升和数据类型的复杂程度，让很多传统的统计分析工具无法完成分析计算。这个时候，数据科学家出现了，他们可以利用自己的专业技能帮助业务专家和数据分析人员进行建模和计算。

过去数据统计分析建模常用SPSS，SAS，MATLAB等工具，现在基于大数据平台的分析建模可以使用Spark+Scala/Python/R/Java。数据科学家了解模型和算法，可以直接承担建模和调优工作，懂得选择合适的算法来进行计算，提高效率。

4. 数据分析师

数据分析师站在数据和商业的角度来解读数据，利用图标和曲线等方式向管理层和业务人员展现分析结果，揭示数据分析产生的商业机会和挑战。

数据分析师将杂乱的数据进行整理后，将数据以不同的形式展现给产品经理、运营人员、营销人员、财务人员、业务人员等。提出基于数据的结果和分析建议，完成数据从原始到商业化应用到关键一步，数据分析师的数据敏感度、商业敏感度、分析角度、表达方式对于商业决策很重要。

5 .运营专家

数据分析结果和商业决策出来之后，运营专家负责实现商业决策。通过有计划的运营活动，将数据分析的结果应用到实际的商业活动之中，运营专家是实现数据变现最后一公里的关键人物。

运营专家属于业务人员，实际上参与业务运营活动，利用数据分析结果，实现业务场景和数据场景的结合，实现数据商业化应用。

二、 数据分析之前的各项准备工作

数据分析团队各成员确定之后，将进行下一项工作，就是找到有价值的数据进行分析了。数据是分析的基础，因此数据的质量、数据的相关度、数据的维度等会影响数据分析的结果影，其中GIGO(垃圾进垃圾出)对于数据分析结果影响最大。

1 .数据源选择

数据分析团队面对大量的数据源，各个数据源之间交叉联系，各个数据域之间具有逻辑关系，各个产品统计口径不同，不同的时间段数值不同等。这一系列问题多会影响数据分析结果，因此确定数据源选择和数据整理至关重要。

DBA可以基于数据分析需要，找到相关数据，建立一张数据宽表，将数据仓库的数据引入到这张宽表当中，基于一定的逻辑关系进行汇总计算。这张宽表作为数据分析的基础，然后再依据数据分析需要衍生出一些不同的表单，为数据分析提供干净全面的数据源。宽表一方面是用于集中相关分析数据，一方面是提高效率，不需要每次分析时都查询其他的数据表，影响数据仓库效率。

2. 数据抽样选择

简单的数据分析可以调用全体数据进行分析，数据抽样主要用于建模分析，抽样需考虑样本具有代表性，覆盖各种客户类型，抽样的时间也很重要，越近的时间窗口越有利于分析和预测。在进行分层抽样时，需要保证分成出来的样本比例同原始数据基本一致。

3 .数据类型选择

数据类型分为连续型和离散型，建模分析时需要确定数据类型。进行业务收入趋势分析、销售额预测分析、RFM分析时，一般采用连续型变量。信用评级、分类预测时一般采用离散变量。

4 .缺失值处理

数据分析过程中会面对很多缺失值，其产生原因不同，有的是由于隐私的原因，故意隐去。有的是变量本身就没有数值，有的是数据合并时不当操作产生的数据缺失。

缺失值处理可以采用替代法(估值法)，利用已知经验值代替缺失值，维持缺失值不变和删除缺失值等方法。具体方法将参考变量和自变量的关系以及样本量的多少来决定。

5. 异常值检测和处理

异常值对于某些数据分析结果影响很大，例如聚类分析、线性回归(逻辑回归)。但是对决策树、神经网络、SVM支持向量机影响较小。

一般异常值是指明显偏离观测值的平均值，例如年龄为200岁，平均收入为10万元时，有个异常值为300万元。第一个异常值为无效异常值，需要删掉，但是第二个异常值可能属于有效异常值，可以根据经验来决定是否保留或删掉。

6 .数据标准化

数据标准化的目的是将不同性质、不同量级的数据进行指数化处理，调整到可以类比的范围。例如在建立逻辑回归模型时，性别的取值是0或以，但是收入取值可能就是0-100万，跨度较大，需要进行标准化。

一般可以采用最佳/最大标准化(Min-Max标准化法)将数值定在0和1之间，便于计算。Z分数法和小数定标标准化法也可以采用。

7 .数据粗分类(Categorization)处理

归类和分类的目的是减少样本的变量，常有的方法由等间距分类，等频数分类。可以依据经验将自变量分成几类，分类的方法可以不同，建议采用卡方检验来决定采用哪种分类方法。连续型变量可以用WOE变化方法来简化模型，但降低了模型的可解释性。

8 .变量选择

数据分析过程中会面对成百上千的变量，一般情况下只有少数变量同目标变量有关，有助于提高预测精度。通常建模分析时，有意义的变量不会超过10-15个，称他们为强相关变量(聪明变量)。可以利用变量过滤器的方法来选择变量。常见的变量过滤器应用场景如下。

一般IV值大于0.3代表变量的预测力较强，可以采用。

三 、数据分析过程

1. 向业务部门进行调研，了解业务需要解决的问题，将业务问题映射成数据分析工作和任务。

2.调研企业内外部数据，找到分析需要的数据，将数据汇聚到一个特定的区域，数据集市或数据仓库，探索性分析

3.数据清洗，包括检查数据的一致性，处理异常值和缺失值，删除重复数据等

4.数据转换，例如数据分箱(Binning)，将字符型变量转化为数字型变量，按照数据所需维度进行汇总

5.建立模型，按照业务需求建立不同模型(例如客户流失预警、欺诈检测、购物篮分析、营销响应等)

6.模型结果解释和评估，业务专家进行业务解释和结果评价

四 、大数据分析场景和模型应用

数据分析建模需要先明确业务需求，然后选择是描述型分析还是预测型分析。如果分析的目的是描述客户行为模式，就采用描述型数据分析，描述型分析就考虑关联规则、序列规则、聚类等模型。

预测型数据分析就是量化未来一段时间内，某个事件的发生概率。有两大预测分析模型，分类预测和回归预测。常见的分类预测模型中，目标变量通常都是二元分类变量例如欺诈与否，流失与否，信用好坏等。回归预测模型中，目标变量通常都是连续型变量，常见的有股票价格预测、违约损失率预测(LGD)等。

生存分析聚焦于将事件的结果和出现这一结果所经历的时间进行分析，源于医疗领域，研究患者治疗后的存活时间。生存分析可也可以用于预测客户流失时间，客户下次购买时间，客户违约时间，客户提前偿还贷款时间，客户下次访问网站时间等。

常见的数据分析应用场景如下：

1 .市场营销

营销响应分析建模(逻辑回归，决策树)

净提升度分析建模(关联规则)

客户保有分析建模(卡普兰梅尔分析，神经网络)

购物蓝分析(关联分析Apriori)

自动推荐系统(协同过滤推荐，基于内容推荐，基于人口统计推荐，基于知识推荐，组合推荐，关联规则)

客户细分(聚类)

流失预测(逻辑回归)

2 .风险管理

客户信用风险评分(SVM，决策树，神经网络)

市场风险评分建模(逻辑回归和决策树)

运营风险评分建模(SVM)

欺诈检测(决策树，聚类，社交网络)

五、数据模型评价的方法

1AUC值判别法

AUC小于0.7识别能力很弱

AUC在0.7-0.8之间识别能力可接受

AUC在0.8-0.9之间识别能力卓越

AUC大于0.9模型出现意外

2KS判别法

KS值大于0.2就表示具有较好的可预测性

PS：网舟科技长期专注于金融保险、通信、航空、互联网、旅游酒店等行业的电子渠道大数据运营，为客户提供全球领先的电子渠道转型咨询、大数据挖掘和应用定制服务，助力客户互联网转型，提升数字化运营和数据营销能力。

用户行为路径分析同样是重要的数据分析模型，它为企业实现理想的数据驱动与布局调整提供科学指导，对精准勾勒用户画像也有重要参考价值。用户访问APP／网络，如同参观画展，观众是感受和传达画展参展方和展品的目的受众体，图画的展现布局不同，每一位观众根据自身喜好形成特有的参观顺序。为让观众沿着最优访问路径前进，需要策展者结合观众需求进行布局调整。这种自主式的数据分析方法，让产品人员用户画像，科学进行数据分析。

什么是用户行为路径？

用户路径分析，顾名思义，用户在APP或网站中的访问行为路径。为了衡量网站优化的效果或营销推广的效果，以及了解用户行为偏好，时常要对访问路径的转换数据进行分析。

以电商为例，买家从登录网站／APP到支付成功要经过首页浏览、搜索商品、加入购物车、提交订单、支付订单等过程。而在用户真实的选购过程是一个交缠反复的过程，例如提交订单后，用户可能会返回首页继续搜索商品，也可能去取消订单，每一个路径背后都有不同的动机。与其他分析模型配合进行深入分析后，能为找到快速用户动机，从而引领用户走向最优路径或者期望中的路径。

用户路径分析模型的价值

用户路径的分析结果通常以桑基图形式展现，以目标事件为起点／终点，详细查看后续／前置路径，可以详细查看某个节点事件的流向，总的来说，科学的用户路径分析能够带来以下价值：

第一，可视化用户流，全面了解用户整体行为路径；

通过用户路径分析，可以将一个事件的上下游进行可视化展示。用户即可查看当前节点事件的相关信息，包括事件名、分组属性值、后续事件统计、流失、后续事件列表等。运营人员可通过用户整体行为路径找到不同行为间的关系，挖掘规律并找到瓶颈。

第二，定位影响转化的主次因素，产品设计的优化与改进有的放矢。

路径分析对产品设计的优化与改进有着很大的帮助，了解用户从登录到购买整体行为的主路径和次路径，根据用户路径中各个环节的转化率，发现用户的行为规律和偏好，也可以用于监测和定位用户路径走向中存在的问题，判断影响转化的主要因素和次要因素，也可以发现某些冷僻的功能点。

用户路径应用场景

谈到用户路径的真实应用场景，许多企业通过第三方数据分析平台来实现，下面结合笔者实际工作中，所接触的企业案例的数据分析场景为例来介绍。

（注：因涉嫌商业机密，以下场景模拟真实应用场景而设，数据均为虚拟。）

中商惠民：启动APP后，为何只有 30 % 商超客户交易成功？

中商惠民是中国最大的社区O2O服务平台。在一次评估客户总体转化率过程中，通过漏斗分析发现，从登录惠配通APP后，提交订单的商超客户仅有 30 %，接下来可以通过用户路径客户流失的原因所在。通过用户路径分析模型，清晰展示了商超客户的动作走向，为判断客户流失原因重要方式之一。

中商惠民运营人员选取若干事件对客户购买路径进行深度分析。图中显示，用户登录APP后，约有40 %的客户会点击Banner，30 %的客户会直接进行商品搜索，约10%的用户会浏览商品列表，约 5 %的客户直接退出APP。

运营人员进一步看4类用户的提交订单的情况，直接进行“搜索商品”的用户进行提交订单比例最高，超过 90 % ；与其形成鲜明对比的是，尽管“点击Banner”是更多客户登录APP后的首选动作（约占总客户的40 %）但是这部分用户群体在浏览商品列表后，仅仅30%的用户提交订单，说明Banner内容布局有着比较糟糕的用户体验，则将此作为首选优化与改进的方向。

某电商：“未支付订单”超过30分钟自动取消，刺激用户支付

除了零售行业以外，用户行为路径在电商行业分析也应用广泛。某电商网站客户通过用户路径分析，看出有两条主要的路径：（图略，与上图效果类似。）

一是启动App-搜索商品-提交订单-支付订单；

二是启动App-未支付订单-搜索相似商品-取消订单。

通过第一条用户路径相关数值显示，客户提交订单后，大约75%的用户会支付，而高达25%的用户没有支付订单；第二条用户路径显然是一条有明确目的——为未最终敲定的商品而来的用户，因为在打开app后直奔“未支付订单”，但是路径中显示此用户再次“搜索相似商品”，这一行为可以判断客户可能存在比价行为，表明价格一定程度上影响了这部分用户的支付欲望，这是一批“价格导向”的客户。

对此，该电商运营人员采取针对性措施：（1）“未支付订单”超过30分钟则自动取消；（2）将支付页面附近放置优惠券领取。

当该电商新版本上线后，再次通过用户路径分析模型，发现客户在提交订单后，由于30分钟的时间限制，有更多的客户愿意立即支付订单；同时未支付订单大大降低，说明在支付支付页面附近放置优惠券的方式刺激到对价格敏感的客户。因此这也是一次很成功的改版。

总之，用户真实的选购过程是一个交缠反复的过程，每一个路径背后都有不同的动机。通过用户行为路径能够清晰看到用户行为特点与背后原因。若与其他分析模型配合，会产生更佳效果，通过数据分析能够快速找到用户动机，从而引领用户走向最优路径或者期望中的路径。

关于神策数据

神策数据（https://sensorsdata），一家专业的大数据分析服务公司，致力于帮助客户实现数据驱动。公司推出深度用户行为分析产品神策分析（Sensors Analytics），支持私有化部署、基础数据采集与建模，并作为PaaS平台支持二次开发。此外，还提供大数据相关咨询和完整解决方案。目前已赢得中国银联、聚美优品、百联、中邮消费金融、广发证券、参考消息、中商惠民、米其林、趣店、融360、纷享销客、共享单车、秒拍、36氪等众多行业领先企业认可。希望更深入了解神策数据或有数据驱动相关问题咨询，请咨询4006509827，由专业的工作人员为您解答。

了解更多数据分析行业应用案例

最近在研究商超零售的数据分析，有不少干货和想法可分享。此前，一直注重店铺管理、商品库存管理、财务绩效管理的数据分析。后来发现，无论是零售商铺的选址，还是百货商场的招商营运，都有不少需要运用到数据管理思维的地方。

店铺选址前或者招商营运前都要进行市场调研，小规模的店家可能会说，我照自己的经验，观测人流量以及周边店铺的经营情况来判断，这样的方法确实是有迹可寻。但是，店铺不是放着让你来选的，店铺商也是需要去谈的，甚至对于那些成体系的，每年都在扩张的一些企业，必须需要一套成体系的数据分析方法论来指导。

一、市场调研的要点

1、着重于项目周边状况调查，如：业态布局、购买力等；

2、网点及竞争对手调研的要点

3、收集品牌资源，是否符合定位，有无可备选方案，效益最大化；

针对选址，

可采用常用的SWOT分析模型，分析内部环境以及外部环境的优劣势；而后采用3C模型（Company商铺，Customer顾客，Competitor 竞争者）对开店的选址分析；看附近1小时经济圈、2小时经济圈、3小时经济圈的覆盖范围。

而正式营运之后，最主要关注的就是客流量。

传统零售的数据是基于交易客流，基本等同于俗称的会员。商超里面的客流其实分为交易客流、返店客流、进店客流、到达客流、潜在客流。这里最容易获取的就是交易客流，因为企业现有的CRM系统或者收银系统基本都能涵盖这部分客流。怎么得顾客数据？这就要建立一整套的全顾客全消费行为管理的客流分析系统。

客流数据分析建模

二、如何去经营分析？

经营分析是指商业运营管理者通过数据采集并运用统计、分析、图表呈现等方式，对商场整体经营情况进行深入解析。

确定这样一个流程后，经营分析按照时间划分一般分为日、周、月以及一些关键时期，比如活动、法定节假日等等。形式以经营报表为主。

大体分析内容

经营分析的指标解析

做好全百货的经营分析要发挥主观能动性，有了数据和图表，要做好经营分析，还要发挥人的主观能动性，营运人员需根据数据和图表阐述现象并提出相关建议，加强与店铺、品牌负责人的沟通和联系，充分了解店铺的经营现状。

三、关于品牌店铺活动的分析

经营分析案例分享及关注点（日经营分析）

以上每日的客流与销售趋势图，需要关注波动趋势、波动周期和波动异常。比如波峰大多是重大节假日或企划活动，或者特殊事件。

店铺活动分析

活动前期搭建好相关指标，收集活动数据，实时监测分析。

至于如何搭建这样的分析体系，譬如以上用finereport搭建的活动监测模板，这里不多赘述。前提需要明确分析的指标，之后就是数据收集、整合、分析、展现的额工作啦~

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文