浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

前言：数据是资产，对企业而言，对网络品牌推广而言，数据的价值体现在描绘推广现状、呈现推广问题、帮助解决问题、指导推广策略规划。

一、数据分析的价值（为什么要做监测分析）

移动营销时代，数据是资产，也是影响企业决策的重要依据。数据分析的价值在于：企业在做推广时，实际效果是否达到预期目标；如未达到目标，问题在哪里，如何优化；达到目标后，下一步如何优化，如何发挥其最大价值。

企业所处发展阶段和行业特性决定了企业的品牌推广策略，企业必须要根据自个儿所处的发展阶段、产品或服务的市场情势、消费者的消费成熟度等等有关因素采用不同的推广策略。因此品牌推广策略的制定也决定了企业关键KPI的数据指标。

以推广目标来划分可以分为：品牌类推广、效果类推广。二者的推广策略又不尽相同。效果类推广，我们关注的数据时注册、咨询、下单、转化、分享等一些列数据；品牌类推广目的是让品牌更加深入人心，增强品牌文化认同，提升品牌认识度、美誉度及品牌忠诚度。

推广的形式多样性，比较常见的有带链接的图片（文字链接）、视频/flash广告、SEM、微信（微信二维码）、APP开屏、移动DSP、EDM邮件、手机短信、应用市场、手机厂商等。

投放的内容和目标

推广的形式多种多样，企业如何根据投放内容，制定投放目标呢？可以分两种，图片（含二维码）/文字链接及文案，不同的投放渠道反映不同的数据指标，比如以图片（含二维码及链接）来说，一般的效果类推广则反应在App下载，转化，分享等，其中APP下载的渠道，又分本地和应用市场两种渠道。

对于文案来说，通常是通过二维码及文章中嵌入二维码等形式，达到点击原文，进入minsite的目标。

二、如何让数据分析带来价值？

1、数据产生价值的前提条件

数据分析是让数据产生价值，但是前提是这些是：1、真实的数据2、准确的数据3、正确的分析，前面两个我们是从数据、监测的角度来说，后面则是从运营的角度来说的。数据产生价值三者缺一不可。

2、数据会说谎：真实的数据背后

在这个看数据的时代，一切成果用数据来说话。但是实际在操作过程中，常常掺杂一些虚假数据，这些异常虚假的数据，也就是我们常说的作弊。因此要透过表面数据看实质，揭开真实的数据面纱。

通常数据作弊分机器行为和人工行为。具体表现如下图所示：

机器行为：服务器刷量、客户端刷量、流量劫持

人工行为：真人作弊、程序作弊

在这些作弊行为中，机器行为中的客户端刷量，是比较常见的手段；而流量劫持，也是客户常见问题，比如下面这个例子：

流量劫持前：

http://99click

http://99click?utm_source=baidu

http://99click?ozs=1754574-1336

流量劫持后：

http://99click?utm_source=ABC

通过劫持对方流量，转为自己的流量。我们给出的解决方法就是：监测代码可以用一串没有明确意义的数字代码来替代，但是对于有地域域名的则不适用。

人工行为中的真人作弊判定时间较长，分析的时间也要长一些，这些行为常发生在旅游、航空等企业，通常都有一些占座的行为。日常可从点击、转化等判断出是否作弊，但对于广告量大、数据多的情况，则需要通过专业的工具来判定。

3、异常数据清洗

既然数据有真有假，我们就要学会剥离虚假的数据，常见的异常数据分析模型分为机器认为、人工行为。异常数据表现为：广告来源异常；曝光、点击频次异常；曝光、点击IP/地域集中；用户平均曝光量、点击量过大； 曝光、点击的UA分布异常；数据时段分布异常；到达率、二跳率、转化率异常；用户行为异常；用户留存异常等。掌握这些异常数据有助于我们快速辨别数据真伪。

4、数据会说谎：正确的分析

数据要产生价值，正确的数据才是前提，对于分析师来说，一切无法校验准确性的数据都是耍流氓。除了提供真实、准确的数据，还要对数据进行正确的分析。

正确的分析—案例分析：

1、推广策略：推广的目标，渠道已经给出了，现在需要在两个媒体投放广告。

2、媒体投放结果：

修正前：（媒体有异常数据投放后期，点击量暴涨），这时候A、B两家的媒体监测的用户数已达到500万。

修正后：清除虚假数据后，去除异常数据后A、B两家媒体监测的用户数470万

问题：修正后的数据，用户数470万就是正确的数据吗？非也，这时候我们要继续做深一步的分析，经过媒体重合度分析，A，B媒体的用户重合数为80万，去除重合用户，此次品牌推广实际覆盖人数390万。 再经过用户的性别与年龄层分析，找出本次目标用户，20-40岁男性用户覆盖人数为200万。仅完成了目标的一半。

从上面的案例我们不难发现，正确的数据分析帮助我们发现并锁定问题，重新制定解决方案， 可以制定两种不同的物料内容根据媒体属性进行投放，同时可根据时间段、地域、用户属性、客户端等因素制定不同的推广方案，比如根据不同省市消费人群的上网时间分时间段进行广告投放，锁定有需要的人群，才能实现最终的目的。

数据的核心价值来自对推广目标完成度的正确判断（查漏补缺），对现有渠道效果的评估、以及对下一次活动的客观指导，历史数据的积累。只有充分利用好大数据才能让品牌产生价值，让销量得到提升。

2015年，按照实施创新驱动发展战略的总体部署，我国技术市场流动性增强，技术交易规模继续稳步增长。全国技术合同成交额突破9000亿元，达到9835.79亿元，比上年增长14.67%。技术服务合同成交额仍居四类合同之首，技术转让合同成交额迅猛增长。电子信息、先进制造和城市建设与社会发展技术领域的技术合同成交项数及金额超过全国技术交易总项数和总金额的50%。政府科技计划项目技术合同成交项数和成交额比去年均有所上升。1000万元以上的重大技术合同成交额继续快速增长，占全国技术合同成交额比重已超过70%。企业技术转移双向主体地位稳固，企业作为创新主体的地位继续加强。

一、技术合同成交额突破9000亿元，交易规模稳步增长

2015年，我国技术市场交易额稳步增长，为促进经济结构调整和产业提质增效、推进大众创业万众创新提供了有力支撑。全年共签订各类技术合同30.7万项，成交金额9835.79亿元，比上年分别增长3.4%和14.67%。合同成交金额占全国GDP的比重继续增加，达到1.45%，比上年提高了0.1个百分点。平均每项技术合同成交金额320.25万元，同比增长10.9%。

图1 全国技术合同成交金额及其占GDP的比重（2004-2015年）

二、技术服务合同成交额居四类合同之首，技术转让合同成交额大幅提升

2015年，技术开发、技术转让、技术咨询和技术服务等四类技术合同均呈现增长态势。技术服务、技术开发合同成交额分别位居第一、二位，成为技术交易的主要类型。其中，技术服务合同成交额实现三连冠，继续占据四类技术合同首位，达到5058.96亿元，比上年增长19.13%，占全国技术合同成交额的51.43%；技术开发合同成交额达3047.18亿元，比上年增长3.33%，占全国总数的30.98%。技术服务与技术开发合同的签订项数和成交金额均占全国总数的80%以上。在各类技术服务合同中，一般性技术服务为其主要形式，成交额达4996.32亿元，占技术服务合同成交额总数的98.76%，比上年下降了0.86个百分点；与此同时，以技术中介服务、技术培训服务为主要方式的技术服务也成为科技人员研发能力转移、研发设备开放共享的重要形式。技术转让合同大幅增加。全年共签订技术转让合同成交1.3万项，比上年增长2.3%；成交额1466.53亿元，比上年增长28.96%，增幅居四类合同首位，占全国技术合同成交额的14.91%。平均每项技术转让合同成交金额1146.89万元，是全国平均水平的3.5倍。技术咨询合同成交项数比上年增长20.24%，为33559项；成交额263.12亿元，比上年增长7.71%。

三、技术要素继续向战略性新兴产业和民生领域集聚

2015年，一方面随着产业结构调整的深入进行，新一代电子信息技术、先进制造技术、新能源、生物医药、节能环保及新材料等战略性新兴产业领域获得了长足发展，这些领域的技术合同成交额达5205.8亿元，占全国总量的60.7%；另一方面，涉及民生领域的现代交通、城市建设与社会发展、环境保护与资源综合利用以及农业技术等领域的合同成交额也出现了显著增长。

2015年，电子信息、先进制造、城市建设与社会发展领域技术交易居前三位，合同成交项数和金额均超过全国技术交易总项数和总金额的50%。总体来看，除农业技术交易额略有下降外，其他领域的技术交易额均有不同程度的增长。城市建设与社会发展技术领域技术交易增长迅猛，该领域技术合同成交额由上年的第五位上升到第三位，成交39616项，成交额1210亿元，同比增长48.61%，增幅居首位；先进制造技术领域成交额在去年增幅30%的基础上继续增长，在各类技术领域中位居第二，成交额1350.72亿元；核应用技术领域一改去年技术交易略有下降的局面，2015年成交额达到390.13亿元，增长18.34%。

图2 全国技术合同成交金额按技术领域分布（2015年）

与此同时，以促进经济社会全面协调可持续发展为目标，围绕社会发展和社会服务的技术交易持续活跃，成交技术合同11.1万项，成交额3017.41亿元，占全国技术合同成交额的30.68%。促进其他民用目标和促进工商业发展的技术合同位居第二、三位，其成交额分别占全国的14.79%和12.03%。

四、政府科技计划内项目实现成交项数和金额双增长

2015年，全国各类政府计划项目技术合同成交项数和成交额比去年均有所上升。计划内项目技术合同成交4.85万项，成交额1476.97亿元，分别占全国技术交易总项数和成交额的15.78%和15.02%。各类计划项目中，国家计划项目总量略有下降，成交项数为5685项，成交额153.52亿元，分别占计划内项目总数的11.72%和10.39%，比去年减少了3.6%和6%；部门计划6043项，成交额300.15亿元，占全国的3.05%；省、自治区、直辖市及计划单列市计划2.1万项，成交额604.64亿元，占计划内项目成交额的40.94%；地市县计划项目交易项数和金额也均有所增长，其中交易项数1.56万项，成交金额为418.66亿元，比去年上涨了4.4%。

在通过技术市场登记的国家科技计划项目中，位居前三位的分别是国家科技重大专项、高技术研究发展计划（863计划）和自然科学基金项目。其中，国家科技重大专项成交414项，成交额23.72亿元，比去年下降了51.5%；占国家科技计划项目成交额的15.45%，比去年下降了15.5个百分点。高技术研究发展计划（863 计划）成交155项，比去年减少164项，但成交额与去年基本持平，为18.87亿元，占12.29%。自然科学基金成交1974项，成交额16.02亿元，占10.44%。基础研究计划（973计划）和国家重大科学研究计划成交102项，成交额3.49亿元，占2.27%。

五、重大技术合同成交额占全国成交额逾七成

1000万元以上的重大技术合同成交额继续快速增长。2015年全国共成交1000 万元以上重大技术合同9589项，比上年增长5.05%；成交额7370.04亿元，比上年增长18.49%，占全国技术合同成交额的74.93%。重大技术合同单份技术合同平均成交额7685.93万元，比去年上涨12.8%。

在涉及知识产权的重大技术合同中，技术秘密占比最大。2015年，技术秘密成交2404 项，成交额1884.38亿元，占重大技术合同成交额的25.57%；专利技术合同成交724项，成交额570.30亿元，占7.74%，居第二位；计算机软件著作权居第三位，成交736项，成交额288.47亿元，占3.91%。集成电路布图设计和生物医药新品种技术合同成交项数均有所下降，但生物医药新品种成交额为55.19亿元，比上年增长18.66%。

六、企业技术交易双向主体地位稳固，高校和科研机构技术交易合同项数明显增长

企业法人在技术市场上技术交易的最大输出方和最大吸纳方的双向主体地位，已稳固并突显出来。2015，企业全年输出和吸纳技术合同成交额分别占到全国的86.18%和75.89%，增幅明显。其中，内资企业既是最大的技术输出方，也是最大的技术吸纳方。内资企业共输出技术项目18.24万项，成交额6853.13亿元，比上年分别增长3.64%和12.03%，占到企业输出技术合同成交额的81.4%，占全国技术合同成交额的69.68%。同时，内资企业吸纳技术19万项，成交额5305.64亿元，比上年增长1.7%，占全国技术合同成交总额的53.94%。

高等院校和科研机构实现成功交易的技术合同项目数增长明显。分别较上年增加2717项和11335项，成交额占全国比重分别为3.19%和5.70%，较上年下降0.13个百分点。

（来源：科技部）

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

在美国等商业发展较早且更为发达的地区，客流分析统计系统早已深入人心，并得到广泛的普及。为什么要用客流分析统计系统?说白了，客流统计系统就是关于你店铺的大数据系统。对零售商来说，这是他们了解店铺客流、了解顾客购买心理、安排员工工时，安排节假日促销活动的重要工具。同时还能分析他们店铺的经营表现及业绩。本文将从客流统计的应用场景及客流统计的技术发展进行展开，为读者展示服装业、大型商铺和购物中心客流统计的重要性。

购物中心作为一个以零售为主的商业组织形式，需要精细化管理，而精细化管理以事实为依据，用数字说话，决策者、管理者通过对购物中心各个硬软件得出的数字进行分析，并用这些数据为顾客与商户服务。客流量对大型购物中心来说是其核心元素，充足有效的客流才能提升购物中心的盈利能力，客流不仅是定位和招商的基础，更是购物中心是否能成功运营的关键。近几年来，精确地统计进入购物中心的顾客数量成了优化购物中心运营的必要手段。那么，客流统计系统对零售餐饮业的贡献究竟有多大呢。

客流统计分析能做什么？

如果没有准确的客流数据很难做出合理的、令人信服的划分。客流分析作用大体总结如下：

1．顾客画像分析，主要统计客流量总体的年龄段和性别、兴趣偏好、学历、收入水平等进行标签分类管理；

2．商圈消费能力，分析客群消费平均水平决定了商品定价的前提；

3．客流访问路径，汇总出一条或者多条主要顾客购物行为路径优化商场动线；

4．客流增长趋势，掌握客流量每一天变化趋势有利于营销工作的开展和进行；

5．回头客预测分析，及时识别回头客到店趋势，预测经营业绩。

技术发展

当了解客流统计分析的作用后我们首先看一看客流统计技术的技术发展。现在，运用的客流统计技术主要有三种：红外线客流统计、视频客流统计、WIFI探针客流统计，这三种客流统计技术，用哪种比较好?这个只能说，在不同的情况下，有不同的需求。

技术一： 红外线客流统计技术

传统的客流管理主要是总量上的统计，红外线客流统计技术可能更为常用。红外线客流统计技术依据人体的经过阻断红外线之间的对射进行客流量的统计，其统计客流数量方便，数据传输量小，成本较低，安装方便，对于光线要求不高。这种方式简单易实施，但缺点也显而易见，通过人体经过阻断红外线间的对射来测数，导致在多人经过时可能漏数，而不断进出的同一个体则会被重复计数等问题。这样测出来的客流数据存在着较大的偏差。

技术二：Wif探针客流统计技术

Wif探针技术能够根据手机统计出店内消费者的数量情况，还能够根据手机IP进行消费者在店内行动轨迹的追踪。对于手机不离身的现代人来说，这种统计方法已经能够相对精确地了解客流情况，当然，遇到没带手机、关闭无线等情况，这种技术也爱莫能助。

技术三：3d双目客流量统计系统设备

由于人工计数的准确率偏低且无法进行长期统计，红外方式又不能双向统计人流量，更无法统计并排时顾客人数，因此，借助视频分析技术，准确率高达95%的新型客流统计分析系统应运而生。

3d双目客流量统计系统的原理是基于嵌入式摄像镜头采集视频,然后对两个摄像头的视频图像进行视差计算,形成视频中人的3D图像,过对人体的形状和高度为分析目标,通过区域和方向的设定来统计通过人数。通过商场客流量的历史数据的对比，就可知道什么时间段的客流量变少，而在这个时间分析采用哪种营销方式可吸引增多客流量。

客流统计分析应用场景

应用场景一：Wifi探针为大型商铺、购物中心数据赋能

Wif探针技术能够根据手机统计出店内消费者的数量情况，还能够根据手机IP进行消费者在店内行动轨迹的追踪。对于手机不离身的现代人来说，这种统计方法已经能够相对精确地了解客流情况，并且 Wifi探针也是目前线下进行流量识别最好的手段，落地性、数据获取能力都很强。

通过客流统计我们可以对路径、频次和时长三个维度的数据对个体消费者进行识别和判断。比如，系统捕捉到消费者甲每个月要来商场两到三次，每次来了之后都直奔母婴区，而且在那停留很长时间。那么，系统就可以给他打上“母婴”的标签。以此类推，就可以根据消费者的行为习惯赋予其各种各样的标签。

此外，通过Wifi探针的客流统计系统还可以从用户生命周期的维度对消费者进行管理，给消费者打上高、低活跃度，新、老客户，流失客，回流客等标签。后台支持多种标签组合查询和统计分析，比如可以分析母婴类客户的新增和流失客户情况。让商场经营者对自己场内的客流变化一目了然，并有针对性地组织各类营销活动。

过去商场的营销活动都是围绕节假日展开的，缺少针对性。有了通过Wifi探针的客流统计系统，商场就可以更加有的放矢。营销活动结束后还可以根据后台数据分析目标客户的回流情况，评估营销活动的效果，并及时进行调整。甚至能够分析出不同的天气、活动对店铺客流的影响。

应用场景二：客流分析助力购物中心

第一，客流统计系统能够为购物中心确定铺位租金水平。只需在购楼物中心的各个出入口、各层、各通道、各商铺门前安装客流统计系统，就可以获得不同时段的客流分布情况，同一类型店中表现优异的租户立时可见，表现较差的营业区域可立即受到关注，而且从今往后，对于租户组合的调整不再盲目，完全可以通过客流数据来进行科学分析。更为重要的是，客流数据给购物中心的招商部门在确定具体楼层具体区位的铺位租金水平和今后的租金调整，提供了实实在在的数据支持。通过对出入口人流量数据的观测，可以帮助确定广告位定价，合理确定重要广告的摆放位置。

并且将客流统计系统得到的客流数据与租金水平结合，在租赁合同中设定可测量的运行参数，可以优化收入，展示投资者的绩效单。客流量数据还是购物中心资产的附加值，在如今竞争异常激烈的零售业，拥有更多人气的购物中心显然拥有较高的市场价值。

第二，客流统计系统为购物中心有计划地引进顾客分析，并制定合理的活动主题方案。由客流数据的日常统计使营运部门对整个购物中心的运营情况了然于心。其次，根据客流的变化，有效分配和安排物业管理人员、维护人员、安保人员、保洁人员等，合理利用人力资源。在活动期间，客流系统提供准确的人流数据，不但可以直观地对活动效果进行评估，结合其他数据报表亦可分析出营销活动和促销投资的回报情况，此外，结合历史同期活动的客流量数据，对比分析得出人流规律，为今后活动方案的制定提供依据。

第三，客流统计系统可为购物中心提供更详细的分析报表。客流统计系统，不但能够按时按需提供客流数据，将历史客流数据和当前客流信息进行对比分析，还能与购物中心现有的其他系统结合，对购物中心进行全方位多角度的分析，产生更为详尽的业绩报表，为管理人员分析现状、调整经营战术和确定未来经营方向，提供充分、有价值的信息。

应用场景三：视频探头在服装业、精品商铺的应用

通过客流统计系统的引进及双目摄像头的安装就可以统计进出店客流，并通过定制化客流报表来对运营KPI进行分析，为运营战略的调整提供强有力依据。

拿ETRO专卖店举例，ETRO在门店入口处安装22台双目摄像头摄像头进行监测，将进店客流传输至云端服务器，进而生成每日各时段、以及日/周/月汇总对比报表，店长及总部管理者可通过网页版轻松掌握各分店客流量、转化率。精准的客流统计，为门店的选址提供参考，更是改善了门店的管理效率、服务质量，最终促进成单量及客单价的提升。

虽然3d双目客流量统计系统成本远高于红外线客流统计技术和WIFI探针客流统计技术，但针对面向中高档消费群体的精品类商铺，客流量小，但对数据要求精准，此时并不需要安装过多双目摄像头，因此采用视频客流统计会远比其他两项更具优势，从而精准定位消费者，方便CRM管理，增加经营效益。

应用场景四：通过广告推送进行物流分析

实时客流统计分析，统计每日每时的实时客流信息，当用户在广告机前端停留1~2秒后，摄像头会抓拍人脸画像并可以精确统计任意时段内进店驻留人群的性别和年龄，商家使用客流统计用些信息分析出不同人群驻留店面时长、区域统计客流强度，产品关注度、不同人群关注的产品热度。通过大数据分析比对，有利于商家部署最佳的运营模式。

应用场景五：通过客流分析与消费者进行连接实现精准营销

当我们发现，有“女性-母婴亲子-童车童床”标签的客群，在“母婴亲子-辅食”“家居-家具”“家具-厨电耐用”也有不错的消费，后期在推送童车童床offer的同时，也可以同时考虑加上辅食、家具、厨电等活动。同时，我们可以发现，有酒类制品标签的客群，均有“购物-食品”的标签，后期在推送酒类制品offer的同时，也可以向他们推送食品的offer；另外支付的客群也有不错占比，后期也可以将支付融入到相关推送活动中。正是运用了客流统计分析系统实现了相关产品的精准营销。

应用场景六：客流统计是重新构建门店和消费者的连接

在实体门店中应用客流统计是重新构建门店和消费者的连接，运用客流统计系统，先进的人脸识别技术，捕捉进店的数量，并对人像进行分析，统计顾客的性别、年龄、身份等属性，通过后台生成的数据分析报表，呈现顾客的光顾频率和回头客分析，让店员第一时间了解顾客的消费行为习惯，摸清顾客消费偏好和消费心理，做出合适的商品推荐和提供专业的服务。

并与POS机无缝连接，有效计算出提袋率和客单价，让会员通过人脸实现自动积分，打折服务，专业巩固vip客户量和消费群，并预测客流动线，店员针对性调整商品及陈列布向，营造科学合理的消费场景完美实现门店与消费者的互动。

使用客流分析系统可能存在的问题

数据是否可信?可用？

您必须确信获取的数据具有高度的完整性和统计意义。一个值得信赖的数据门户还必须表明数据来源，以便您准确地向您组织内部的利益相关方进行数据汇报。

您的数据看起来像是难懂的数字堆砌，还是如叙事般清晰易懂?您是否能够将数据可视化?有时您仅需要原始数据，其他时候则需要通过高质量的数据可视化以助解读数据。因此，应确保您的分析解决方案两者皆备。

结语：

纵然面对一些问题的存在，客流分析统计系统还是好处诸多，甚至可以在选址落地前通过对顾客群体的了解和分析，从而对店铺面积大小、人员比例、预计成本比例、客单价、库存量有更准确地预估和调整。相信多维度数据的获取，能够为优化品牌商品结构、陈列布置、运营策略提供更多的支持。

会议预告：

中国电子商会商业信息化协会&零售CIO俱乐部 将于9月21-22日在石家庄国际展览中心举办2018第四届中国智慧商业与数字化运营高峰论坛，核心议题：

1、新零售下，重构人货场和新消费场景价值；

2、从经营商品到经营顾客，构建全新的数字化体验和数字化运营体系；

3、顾客数字化、商品数字化、服务数字化、营销数字化、供应链数字化、经营管理数字化，改造经营管理，重塑商业模式；

4、全域消费场景下的会员营销和CRM，构建数字化消费者运营平台；

5、AI、大数据新技术如何以人为本赋能智慧门店的运营管理？如何打造线上新零售智慧门店？

6、如何建设以门店为中心的新零售配送体系？

7、如何打通全渠道数据壁垒，挖掘大数据的核心价值？

8、如何形成一套自己的新零售+科技创新的打法，提升智能化、数字化的运营效益？

摘　要：统计分析是一种反映统计结果的工具,它在现在的企业中,被运用得很广泛,但它所使用的技术水平也在不断的提高,特别是在反映企业统计结果方面,更具有一定的实用性。企业在使用统计分析时,涉及到很多种行业中,例如:工业、商业、建筑业和交通以及邮电等各企业统计分析工作中。

关键词：

一、统计分析的概念统计分析是指运用统计方法及与分析对象有关的知识，从定量与定性的结合上进行的研究活动。它是继统计设计、统计调查、统计整理之后的一项十分重要的工作，是在前几个阶段工作的基础上通过分析从而达到对研究对象更为深刻的认识。它又是在一定的选题下，集分析方案的设计、资料的搜集和整理而展开的研究活动。系统、完善的资料是统计分析的必要条件。二、统计分析的特点 　统计分析是对客观现象的一种认识活动，它在定性分析的基础上，经过定量研究，达到对现象本质及规律性的认识。　　统计分析方法具有特殊性　统计分析方法是以总体现象的数量关系为对象的一类特殊科学研究方法的总称。从应用的角度来看，统计分析方法可分为经验方法和数学方法两大类。经验方法是指一些与初等数学知识和人们的实践经验相关联的方法。数学方法又称为数理统计方法，是以数学理论，特别是概率论为基础对客观现象进行研究的方法。它可以通过对现象貌似偶然的变动来探求其必然的规律性。

统计分析的对象具有综合性　统计分析的对象不是某种社会经济现象的个体数量方面，而是现象的总体数量方面，分析研究其综合数量特征。从总体上对客观现象的数量方面进行分析，可以避免以偏概全，使认识较为全面和正确。三、统计分析方法 统计分析方法很多，但基本方法是定量分析 。l、从统计理论上看，我们所见到的统计学著作，除了统计设计、统计调查、统计整理等理论和方法外，其他大部分内容都是统计分析方法，这些统计分析方法有一个共同点，它们都是定量分析方法。 2、统计实践上看，统计分析所起的作用，是通过定量分析实现的。统计分析在人们的认识过程中有三个作用：第一，对客观事物量化，包括反映客观事物规律的数量表现；第二，根据量变程度确认事物的质，即确定区别事物质量的数量界限；第三，揭示新的规律，即通过分析数量关系，发现尚未被认识的事物的规律。　　四、企业如何运用统计分析 　　随着社会主义市场经济的发展,统计为企业发展战略的研究和制定,为各项职能管理提供必要的信息,为防范和化解风险,发挥其预警作用,新经济时代统计信息是影响企业管理层决策成败的关键。

（一）在企业经营过程中：在企业的经营管理中，统计分析占据着十分重要的地位。在认识统计的过程中，企业通过统计调查以及整理取得的统计资料能够对客观现象的数量特点取得一定的认识。若不进行深入的整理和分析，对于这些现象的认识还只停留在表面的初步认识状态，所以必须对这些统计资料加以分析和研究，才可以掌握事物的本质以及内在的发展规律，通过逐渐地深化认识，有效的深入的分析方法，查找出经营管理中存在的问题和薄弱环节，就可以提出改进的举措，给各级领导各级管理部门参考改进建议，是企业的各项管理工作不段得到改善和提高，充分显示出统计分析在企业经营管理中发挥的广泛应用。（二）在企业目标管理中：（1）在企业的各项经济指标的预测中，通常强调动态的分析预测与静态的分析预测相互结合，其中以静态分析预测为主。企业首先要根据自身发展的特点，寻找到经济运行波动的共性和差异，根据企业的总体规划以及企业的特殊性，依据企业的历史统计数据，运用相应的预测模型给出企业相关指标的科学性预测，根据预测数据制定出各项计划经营指标和各项KPI考核指标，再通过把企业的月度统计预测、季度统计预测和年度统计预测与月度、季度及年度各解段实际完成情况进行对比分析，进行不断调整修正完善，使得企业的目标管理以及考核指标得到实现和完成的保证。

（三）、在企业的决策性分析中：在我国的经济管理领域，决策性分析方法是最先被引入和普及的定量化分析方法。随着企业信息化建设的推进，企业受外部环境的影响逐步加深，这就要求企业及时对相关信息进行处理和分析。一是对市场需求和供给能力的分析。主要包括居民的购买力、商品的潜在和实际市场需求量、品牌成熟度、订单满足率、消费偏好等。通过分析，可以判断企业的赢利空间、供需缺口等，为领导层确定商品销售规模、制定阶段性营销策略等提供依据。二是对社会经济环境的分析和影响。主要包括国内、国际的宏观环境对我国行业发展的影响和对地方法规、民风民俗对企业的发展的影响。三是对企业竞争力的分析。通过分析本行业其他企业的经营情况，在对比中认识自身发展的差距和潜力，从而为制定正确的发展战略提供参考。（四）在企业过程分析和阶段分析控制中：在计划方案的落实过程中，往往会出现一些不可预知的状况。需要及时的进行过程分析和阶段分析。企业利用统计数据定期分析计划完成情况、进度情况等，可以及时的发现执行过程中所存在的问题。通过对完成阶段的结果进行对比分析，有利于确定指标完成率。便于衡量市场潜力相同的不同市场之间的业绩。也作为销售目标制定的依据。 　

在企业当中，统计分析工作是了解现状、预测未来，为了更好的促进企业发展进步的重要方法。做好统计分析工作具有重要的作用和意义。因此，我们要提高对统计分析的研究，使统计分析工作更好地成为企业发展的有力推动力量。 参考文献：[1]百度百科.统计分析[EB/OL]. 　[2]赵井霞．试谈如何进行统计分析[J]．商业经济．2004.4． 　　[3]宋安. 统计分析在企业管理与经营决策中的应用[J].经济师.2003.6

对社会保险统计工作的几点认识

社会保险统计是运用多种统计方法观察、研究社会保险范围、内容、水平、规模效益状况及其发展趋势、特点和规律的一门科学。社会保险统计信息工作的基本任务是依法对社会保险机构统计信息进行采集、审核、汇总、分析、公布，开展统计信息预测，为促进社会保险事业的健康发展提供决策参考和依据。但是，目前社会保险统计信息的现状不容乐观，还存在一些问题，制约了社会保险统计信息工作的发展，有的甚至认为社会保险统计可有可无，统计就是评估。这样势必影响到社会保险事业的发展。为此，建议从以下几个方面加强社会保险统计信息工作。　

一、确保统计数据质量　　基础数据的采集是统计的一项基础性工作，采集的准不准，质量高不高，直接关系到统计信息汇总的质量。抓好统计信息源是做好社会保险统计工作的关键一环，是提高统计质量的根本保证。　　一要健全社会保险统计体系。二要统一统计口径。三要严把数据审核关。　　二、调整统计调查方法　　一是完善调查内容。及时追踪政府的宏观决策，积极开辟社会保险统计调查新领域，及时、全面的为政府重大决策的实施提供服务，为本级部门的重点工作和重大决策提高服务。积极研究尝试开展涵盖社会保险、人才就业、劳动关系等多领域的调查，监测和评价统计指标体系。

二是调整调查频率。在工作中，根据不同的调查对象、不同的调查内容，区别对待，采取不同的调查频率，提高快速反应能力，以灵活多变的调查方法，跟踪观察复杂多变的统计对象，以满足多层次、多部门、多目标的统计信息需求。　　三是提高调查效率。运用现代化的手段，加快统计调查工作信息化建设，从而提高社会保险统计工作效率。随着计算机、网络、管理信息系统等信息技术的迅速发展，给统计调查提供了许多科学有效的方法和便利。社会保险统计在利用计算机技术和网络基数进行信息管理的同时，应积极运用计算机技术、网络技术等进行高效准确的数据采集和数据分析。在今后工作中，从完善统计结构软件入手，着力进行统计信息网络建设，能大大方便工作，提高工作效率。　　三、进行科学的统计分析　　一是确定统计分析目标。针对社会保险体制改革中不断出现新情况、新问题、新经验的状况，社会保险统计分析，分清形势，确定有针对性的分析目标，特别是抓住社会保险工作实践中带有苗头性、倾向性、突发性和趋势性的问题，充分利用统计数据进行综合分析，提出政策措施和建议。　

二是做好基础数据采集。提高统计数据质量是统计信息工作的永恒的主题。统计数据质量体现在真实性、准确性、及时性、适应性等方面。如何保证统计数据质量，必须从源头抓起，从被调查单位的原始记录。数据收集、整理、汇总、上报的全过程，从每一个统计指标的困境，包括范围、取得渠道、指标来龙去脉，数据的采集操作制度化，以及建立健全统计原始记录、统计报表、统计台账制度。原始记录是统计基础工作的基础，这项工作必须做细、做准，不得有半点的虚假，这也是从源头上杜绝了虚假数据的产生，保证了社会保险统计数据采集的真实性和准确性。　　三是深入开展分析和专题研究，为科学决策和管理提供可供选择的咨询建议和对策方案。社会保险统计要提高决策咨询服务水平，重点是加强统计分析，做好决策咨询调研工作。统计分析要由简单的就数论数，数字文字化，转到对数字背后的深层关系进行分析，对数字背后的社会保障发展规律进行探讨，大大丰富社保统计工作内容，提高社会保险统计产品（统计报表、统计分析、统计调研报告等）的质量。通过实行重点课题责任制度、统计分析定期评估制度、热点问题及时追踪制度等等，使统计分析质量持续提高。　

四是建立表内和表间平衡关系。社会保险统计报表是一个完善体系，报表内部、报表之间都有严密的逻辑关系，保证逻辑关系合理是填报统计报表的基本要求。为了让基层统计人员更好地掌握报表的逻辑关系，确保报表填报的严密性，减少填报错误，提高填报质量，要对报表表内和表间的逻辑关系进行统一和规范，并将这些平衡公式录入统计软件，从而使数据之间，报表之间保持合理的逻辑关系。当因录入或其他的原因使统计数据出现差错时，表内和表间平衡关系都会受到影响，统计软件能够自动地、及时地为统计人员提出错误，是统计失误在基层就能够得到解决，从而提高统计报表质量。　　五是实行统计数据库与业务数据库对接。实现统计数据与业务数据的对接是一个多管齐下的系统工程，要业务、信息系统管理部门等多方努力，真正实行统计数据库与业务数据库对接，才能从基础经办机构统计工作中消除统计数据的虚报、瞒

报和假报现象，减少统计失误，保证统计分析的科学性。四、提高统计服务意识　　社会保险统计信息工作对社会保险政策、业务政策的出台都是重要的辅助工具，树立服务意识，利用社保统计这个工具，是我们做好社会保险经办工作的基础。　

一要高度重视社会保险统计信息工作。各级社会保险经办机构要进一步加强领导，提高认识，把社会保险统计工作摆上议事日程，各级业务部门领导要重视社会保险统计工作，经常了解本统筹区社保统计的基本情况，通过社保统计的数据分析本行政区社保工作的利弊，更好地为社会保险工作的决策服务。　　二要加大对基层统计人员的业务培训力度。基层社会保险经办机构面临机构整合、职能调整等，人员变化较频繁，给社保统计工作带来一定困难和问题。当前，提高基层统计人员的整体素质和服务意识迫在眉睫。要通过不定期地举办不同对象、不同层次的统计人员的培训，在培训中要注重基层统计工作的实际，要注重更新统计人员的知识，改善统计人员的知识结构，提高统计人员的综合素质。　　三要不断创新统计信息服务形式。要不断提高科学、准确、及时、有效的社会保险统计信息服务的领域和空间，通过统计业务报刊、统计信息网站，相互交流社会保险统计信息工作经验。通过依托并不断创新服务形式，使社会保险统计工作的地位得到加强，社会保险统计工作的环境得到改善，社会保险统计工作的发展更加宽广。

1、一列数据同时除以10000

复制10000所在单元格，选取数据区域 - 选择粘性粘贴 - 除

2、同时冻结第1行和第1列

选取第一列和第一行交汇处的墙角位置B2，窗口 - 冻结窗格

3、快速把公式转换为值

选取公式区域 - 按右键向右拖一下再拖回来 - 选取只保留数值。

4、显示指定区域所有公式

查找 = 替换为“ =”（空格+=号） ，即可显示工作表中所有公式

5、同时编辑所有工作表

全选工作表，直接编辑，会更新到所有工作表。

6、删除重复值

选取数据区域 - 数据 - 删除重复值

7、显示重复值

选取数据区域 - 开始 - 条件格式 - 显示规则 - 重复值

8、把文本型数字转换成数值型

选取文本数字区域，打开左上角单元格的绿三角，选取 转换为数值

9、隐藏单元格内容

选取要隐藏的区域 - 设置单元格格式 - 数字 - 自定义 - 输入三个分号;;;

10、给excel文件添加密码

文件 - 信息 - 保护工作簿 - 用密码进行加密

11、给单元格区域添加密码

审阅 - 允许用户编辑区域 - 添加区域和设置密码

12、把多个单元格内容粘贴一个单元格

复制区域 - 打开剪贴板 - 选取某个单元格 - 在编辑栏中点击剪贴板中复制的内容

13、同时查看一个excel文件的两个工作表

视图 - 新建窗口 - 全部重排

14、输入分数

先后输入 0 ，再输入 空格， 再输入分数即可

15、强制换行

在文字后按alt+回车键即可换到下一行

16、删除空行

选取A列 - Ctrl+g打开定位窗口 - 定位条件：空值 - 整行删除

17、隔行插入空行

在数据表旁拖动复制1~N，然后再复制序号到下面，然后按序号列排序即可。

18、快速查找工作表

在进度条右键菜单中选取要找的工作表即可。

19、快速筛选

右键菜单中 - 筛选 - 按所选单元格值进行筛选

20、让PPT的图表随excel同步更新

复制excel中的图表 - 在PPT界面中 - 选择性粘贴 - 粘贴链接

21、隐藏公式

选取公式所在区域 - 设置单元格格式 - 保护：选取隐藏 - 保护工作表

22、行高按厘米设置

点右下角“页面布局”按钮，行高单位即可厘米

23、复制时保护行高列宽不变

整行选取复制，粘贴后选取“保持列宽。

24、输入以0开始的数字或超过15位的长数字

先输入单引号，然后再输入数字。或先设置格式为文本再输入。

25、全部显示超过11的长数字

选数区域 - 设置单元格格式 - 自定义 - 输入0

26、快速调整列宽

选取多列，双击边线即可自动调整适合的列宽

27、图表快速添加新系列

复制 - 粘贴，即可给图表添加新的系列

28、设置大于72磅的字体

excel里的最大字并不是72磅，而是409磅。你只需要输入数字即可。

29、设置标题行打印

页面设置 - 工作表 - 顶端标题行

30、不打印错误值

页面设置 - 工作表 - 错误值打印为：空

31、隐藏0值

文件 - 选项 - 高级 - 去掉“显在具有零值的单元格中显示零”

32、设置新建文件的字体和字号

文件 - 选项 - 常规 - 新建工作簿时....

33、快速查看函数帮助

在公式中点击下面显示的函数名称，即可打开该函数的帮助页面。

34、加快excel文件打开速度

如果文件公式过多，在关闭时设置为手动，打开时会更快。

35、按行排序

在排序界面，点击选项，选中按行排序

36、设置可以打印的背景图片

在页眉中插入图片即要

来源：网络整理

百家号-【袁帅数据分析运营】运营者：袁帅，会展业信息化、数字化领域专家。新社汇平台联合创始人，永洪数据科学研究院MVP。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、中国电子商务职业经理人。畅销书《互联网销售宝典》联合出品人。

第一部分 项目背景及挑战

1.项目背景与意义

伴随着互联网与信息技术不断发展，系统数据量不断增大，数据分析越来越复杂。如何从海量数据中挖掘出有价值的数据信息，辅助科学决策、促进社会经济发展，成为政府行政服务能力一项新考验。近年来，商贸流通统计工作进展迅速，指标体系基本成型，统计工作机制初步建立，数据样本结构不断优化，统计成果应用加深。但目前商贸流通统计中还存在”数据质量参差不齐、行业分析深度不够、统计人员业务素质有待提高”等问题。另外，商贸流通数据分散在相关地市商务局的各个原有部门，无统一的储存方式和标准，存在”数据散、统计困难、数据展示不直观、数据利用率不高”等问题,需要将分散、异构、多源的数据进行归集处理。因此，结合商贸流通统计业务需求设计适用轻量级数据仓库，开展面向统计业务的数据映射换规则研究，利用计算机软件技术解决商贸流通数据处理分析难题，对于提高统计效率与加强行业数据分析深度，具有重要的工程价值。

2.应用场景与需求

东莞市商务局作为东莞首个大部制改革的典范，商务数据统计工作强度越来越高、需求变化越来越快。同时，东莞商务局现有商务数据比较分散、难于利用，而且统计工作大多基于传统人工方式，统计效率不高、统计实时性不强、统计深度不够、数据展现不直观，缺少对商务数据进行趋势预测，迫切需要基于大数据经济统计系统，以数据全方位、有深度、高效率的统计分析为目标，实现商务数据的统一处理、经济统计更高效。

3.IT环境及数据资源

3.1基础IT环境

商务局内部建有的系统分为内部应用系统和垂直应用系统，内部系统主要为局内自建的应用系统，供局内部工作人员进行独立业务统计查询使用；在内部系统IT设施中，有16台服务器，主要以IBM、DELL服务器为主,其中，有超过7台服务器，其配置较低(CPU小于8核，内存低于8G)，各服务器操作系统以Windows server2003、Ubuntu系统为主，数据库系统分别是Microsoft Sql server以及 Oracle；存储设备使用HP的光纤存储，容量为1T,存储IO为1G，带宽偏低；垂直应用系统多为商务部及商务厅系统，经商务内网或VPN直连网络使用，供商务局各科室及镇街办单独填报数据及下载数据。

3.2数据分布与组成

东莞商务局现有数据，既有内部信息系统采集，也有垂直系统采集，同时还包括第三方政府机构数据，如海关（按年支付数据费用）；数据统计要求按月度定期进行汇总统计，并形成统计报表。

目前东莞商务局月度报表的数据采集来源主要有以下3个：

（1）商务局职能科室的数据采集：采集方式是通过应用系统以表格方式导出Xls数据，再经过手工汇总、处理后形成统计报表。

（2）东莞市级相关部门的数据采集：涉及工商局、统计局、地税局、外汇局、科技局，需要通过东莞市政务信息共享平台采集相关数据。

（3）业务系统的数据采集：中央、省级直属应用系统数据。这部分未提供数据接口，只能通过手工复制粘贴到Xls文件的方式采集。

已有系统分为内部应用系统和垂直应用系统，内部系统主要为局内自建的应用系统，供局内部工作人员进行独立业务统计查询使用；垂直应用系统多为上级商务部门及商务厅垂直系统，供填报数据及下载数据。

4.问题与挑战

4.1异构多源数据采集清洗

传统的数据采集方法主要在同源、同构数据间，主要以数据库厂家提供的数据处理工具为主，选择源数据库与目标数据库执行”比对、匹配”等操作，并以中间表形式存储映射结果。在不同数据库平台之间数据互连操作，称为异构数据库集成，各个数据库厂家均提供异构互连的方法，但各厂商方法不一样。

Oracle中异构集成技术称为透明网关（Transparent Gateway），在Oracle8i版本后，通过使用ODBC组件链接SQL服务，通过SQL服务对各类数据库进行SQL操作。SQL server的异构集成工具称为Linked Server，通过ODBC实现与其它数据库的互联。Hadoop的Info Sphere Data Explorer平台，实现了大数据、RDBMS、Streams、File System与WEB 2.0等异构数据采集框架。

通过调研，东莞商务数据分散在多个数据源与不同数据库系统中，数据结构与数据分布复杂，如何实现异构多源数据采集、清洗、建库以利于数据应用是面临的首要问题。

4.2商务数据分析与挖掘

传统商务数据分析挖掘主要以政府管理部门的经济数据为主，但随着互联网、电商平台的快速发展，跨境交易、线上交易系统的发展越来越快，商务数据统计需要涵盖各类互联网平台的数据。东莞作为外向型经济主导城市，外贸、外资市场非常活跃，商贸流通情况非常复杂。经济统计中贸易方式、区域经济发展、转型升级等经济统计口径多、数据结构多样。在商务数据分析与挖掘领域，各类计量工具与数学方法非常普遍。通过数据分析与挖掘，规避了传统商务经济研究中纯理论文字描述的弊端；针对经济发展趋势、预测等问题，通过计量分析提高了经济研究的准确性与科学性。

商务数据分析与挖掘也是区域商务统计、商务经济分析的重要组成部分，在经济学上有较多的基于统计的数据分析与挖掘模型及算法，但模型的应用较宏观，在地市经济体与细分产业行业领域如何选择有效的商务数据分析与挖掘模型，是项目面临的另一个重要挑战。

第二部分 技术解决方案

1.拟采用的技术方案

1.1异构数据采集清洗

多源异构数据有两种情况，一种是指不同数据库（多源）并且数据库结构不同（异构）。在这种情况下，数据映射方式与多源同构数据映射方式差别不大。但由于使用异构数据库互连操作，会出现执行效率不高、系统开销大等问题。另外一种多源异构情况指不同数据源（多源），且数据分为结构化和非结构化（异构），此种情况也可以称为”大数据映射”。由于此种情况下，数据结构不固定，数据质量和信息量复杂，数据映射方法除了要考虑常见的异构问题外，还需要考虑大数据的采集处理效率、映射准确率与数据转化利用率等更多问题。

1.2商务数据分析与挖掘

在经济统计领域有很多不可量化的模糊问题，如经济发展预测、外贸走势等。面向这些复杂的经济问题，需要高质量的统计数据，需要用到准确、高效的量化分析方法与算法模型，还需要结合区域经济的现状与理论。大数据时代的经济统计分析将使用计算机技术，改变经济统计分析的现状，在经济统计分析中将复杂的经济现象收集整理，运用统计方法与模型对数据进行定量分析与运算，将模糊的经济问题通过统计清晰的抽象描述，大幅提高经济统计效率和分析准确率。

随着计算机技术的快速发展，云计算、大数据技术让大规模数据采集、处理、分析变得成本更低、效率更高，近年来利用数据仓库对大量数据处理变得更可行。

商务数据分析与挖掘有两种思路：一种不关注高深的数据挖掘理论与算法，利用高性能计算机处理大量的数据并实现数据分析挖掘。这种方法在”描述性统计”中应用效果较好，但由于大量数据带来的数据质量不高、算法效率低及数据结构不一致等问题，导致在”推断统计”中预测结果不可控。另外一种是通俗化。即将数据分析与挖掘结合行业知识，利用计算机将大规模行业数据通过分析挖掘转化为信息。

1.3技术选型与设计

系统基于java J2EE技术架构，并通过 B/S模式支持web和移动访问；通过SSH集成框架实现MVC三层架构，由Struts负责表示层和服务逻辑组装，Spring负责管理服务层，通过配置来实现核心业务逻辑，Hibernet负责平台模型和持久化层，并支持数据库表到数据实体的转换，最终实现表示层、业务层、数据持久层、实体层、服务层的解耦分离。平台在表示层采用Ajax的异步处理技术，灵活支持web套接字对长服务的调用，同时服务层以RESTful web方式提供GET/PUT等常用资源操作接口。

2.技术思路与技术路线

2.1技术思路

要解决东莞商务局现有的问题，达到未来的预期目标，应从整体、全局上把握当前重点解决任务，形成长远可持续的大数据平台发展思路，以”分步建设，重点先行，边建边用”为建设原则，以”上平台，统数据、成体系”为建设思路。以面向政府、行业协会、企业，打造提供”全方位、系统化、多层次”的商务数据服务为总体目标，以”一库、一平台、三体系、两标准”为重点建设内容，结合东莞市商务经济实际情况，勇于创新，突出重点，循序渐进，逐步实施。

第一，加强与有关部门、协会的沟通协作，以”政府牵头、部门配合、行业协作、企业主动”工作思路，建立政府、镇街、协会、企业多级信息采集机制。

第二，充分利用市信息资源共享平台，注重商务信息资源整合，努力建立规范、完整、系统、科学的信息搜集渠道，形成集中统一的商务信息共享资源池。

第三，充分运用大数据、分析挖掘等技术手段，创新政府服务职能，提高统计数据质量、商务经济运行监测预警、经济决策支持、企业引导服务水平，提升商务信息资源利用能力，不断放大对政府决策和企业发展的服务效能。

第四，分阶段，逐步实施，结合东莞市实际，以内部统计服务能力提升基础，以服务政府决策和企业服务为根本，逐步提升决策支持的精准性、科学性，丰富完善企业精细化、精品化服务手段，重点建设最急需、最实用、最便捷的商务经济运行指标，不断发挥商务信息资源分析价值。

2.2技术路线

项目重点规划建设商务信息资源库，商务大数据服务软件平台，贸易监测预警体系、决策支持服务体系、企业引导服务体系三大体系，及商务信息资源和运行服务两套标准规范。

如上图所示，技术路线重点考虑如下：

一方面,平台整体支撑能力，按照领域驱动设计理念，运用模块化、组件化、服务化的整体架构，充分考虑平台后续资源扩容性、用户规模增长、模型分析需求，保障可扩展性、高并发性、可用性、安全性。

二方面，信息梳理获取方式，通过设计多种采集策略，除传统数据录入、导入外，运用接口采集、数据库引擎调用、web服务等技术手段，实现包括不同来源、不同类型、不同结构的商务信息统一归集。

三方面，数据存储处理能力，综合运用传统数据库及NoSql对数据进行分类存储处理，传统结构化数据采用关系型数据库存储；半结构化或文档型数据采用非关系型分布式数据库存储。根据数据一致性不同层次要求，提供分类存储保障，包括内存cache、同步更新、异步更新等机制结合。并充分运用大数据并行计算框架，提升数据高并发的处理响应能力。

四方面，数据综合分析与决策支持手段，除传统数据统计分析方式外，进一步构建商务主题分析数据仓库，并综合运用分析挖掘中的特征抽取、分类、聚类、决策、神经网络等大数据分析方法，建立各类商务运行指标和模型，充分发挥大数据在决策支持、形势研判、趋势预测等方面作用。

五方面，商务信息服务能力提供，建立面向政府、行业、企业及向社会开放的统一信息服务目录，授权对服务内容订阅；建立统一的信息审核发布制度，定期将商务运行分析结果向不同对象开放和推送。

3.技术方案架构和特点

3.1技术方案逻辑架构

商务大数据统计项目充分考虑了现有电子政务基础资源，利用云计算和大数据技术，按照”九层两翼”的逻辑方式进行设计。描述如下：

用户层：平台主要的服务对象包括政府领导、主管机构、涉外经济机构，以及行业、企业

展示层：各类用户获取服务和交互的统一入口，主要由门户和各类访问渠道组成，访问方式包括web和移动端。用户可以通过各种渠道进行所需服务的访问，实现任何时间、任何地点的多渠道访问。

应用层：根据局内业务职能和东莞市商务运行发展需要，通...

本期，我们总结不同设计类型分类数据在在各种情况下比较所用的统计分析方法、泊松分布数据的统计分析方法以及变量之间关联性的统计分析方法。

分类数据的统计分析

1. 样本数据与总体比较

1)二分类资料：

(1)小样本数据：用二项分布进行确切概率法检验；

(2)大样本数据：用U检验；

2)多分类数据：用Pearson检验（又称拟合优度检验）。

2. 四格表（2×2表）数据

1)完全随机设计的四格表数据的分析

（1）当样本量n>40，并且4个格子理论数均大于5时，则用Pearson 检验；

（2)当样本量n>40，并且4个格子理论数均大于1且至少存在一个格子的理论数<5时，则用校正检验或用fisher’s精确概率法检验；< span="">

（3)当样本量n40或存在任一格子理论数<1，则用精确概率法检验；< span="">

2)配对设计的四格表数据的分析

（1)b+c≥40，则用McNemar配对检验；

（2)b+c<40，则用二项分布确切概率法检验；< span="">

3. 2×C表或R×2表数据的统计分析

1)列变量为效应指标，并且为有序多分类变量，行变量为分组变量，则可以采用行平均得分差（Row Mean Scores Differ）的CMH 或成组的Wilcoxon秩和检验；

2)列变量为效应指标并且为二分类，行变量为有序多分类变量，则可采用普通的Pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义。

3)行变量和列变量均为无序分类变量：

(1)当样本量n>40，并且理论数小于5的格子数少于行列表中格子总数的25%，则用Pearson 检验；

(2)当样本量n40，或理论数小于5的格子数多于行列表中格子总数的25%，则用Fisher’s确切概率法检验；

4. R×C表数据的统计分析

1)完全随机设计的R×C表数据的统计分析

（1)列变量为效应指标，并且为有序多分类变量，行变量为分组变量，则CMH 或Kruskal Wallis的秩和检验；

（2)列变量为效应指标，并且为无序多分类变量，行变量为有序多分类变量，则采用普通的Pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义；

（3)列变量和行变量均为有序多分类变量，可以作Spearman相关分析或者非零相关（none zero correlation）的CMH ；

（4)列变量和行变量均为无序多分类变量：

i. 当样本量n>40并且理论数小于5的格子数少于行列表中格子总数的25%，则用Pearson 检验进行分析；

ii. 当样本量n40或理论数小于5的格子数多于行列表中格子总数的25%，则用Fisher’s 确切概率法检验；

2)配对设计的C×C表数据：

（1)配对比较：用McNemar配对检验；

（2）一致性检验（Agreement）：用Kappa检验；

Poisson分布数据

1. 单样本数据与总体比较：

1)当观察值较小时：可以用确切概率法进行检验。

2) 当观察值较大时：可以用正态近似的U检验。

2. 两个样本数据的比较：可以用正态近似的U检验。

两个变量之间的关联性分析

1. 两个变量均为连续型变量

1)当两变量为小样本并且两个变量服从双正态分布时，可以用Pearson相关系数来衡量两个变量之间的关联性；

2)当两变量为大样本或两个变量不服从双正态分布，则用Spearman相关系数来衡量两个变量之间的关联性；

2. 如果两个变量均为有序分类变量，可以用Spearman相关系数来衡量两个变量之间的关联性；

3. 如果一个变量为有序分类变量，另一个变量为连续型变量，可以用Spearman相关系数来衡量两个变量之间的关联性。

“一站式”医学科研管理工具！

LinkLab帮您轻松做科研

成为更好的临床医生！