去年马云提出新转型，整合大数据这个说法时，感觉轰动了很久，果不其然，18年的今天，我们正在逐渐被大数据所包围，为什么？一则比较热门的帖子：瞬间炸锅啦！“杀熟”大数据，另个来自五湖四海的网友感受到深深的糟心之痛！

由此我代表14亿淳朴的中国人民道一句：老用户，为啥还比新用户付的钱多，究竟是什么愁，什么怨！自大数据已婚，网贷萧条，网购萧条，老用户地位不保，总结为时下最流行的：“老用户不如狗”！扎心啦@所有老用户

说到杀熟，小编有话要说，时下经济处在恢复期，明明只有恢复了实体经济，才能真正意义上的提高国民人均GDP，但实际上，商家现在一直在啃老本，不去发展新用户，而是利用大数据，去坑骗朴实的老用户，究竟用意何在！

小时候，我们家邻居一个劲的给我家推荐生活用品，还是人民教师，结果仗着这层关系，我爸妈买了不少生活用品，但现在都没用完，好想用一句MMP呢！

现在回想起这些，不就是典型的杀熟吗？拿着卖不掉的便宜货，对着熟人强买强卖！就是因为认识，又不好意思拒绝，因为这样的关系，我们家没少买冤枉东西！现在不是流行一句话吗？往往坑你的就是身边熟悉你的朋友，表面上说不会坑你，保你买的放心，前提是人家凭啥和钱过不去，非得卖你这么便宜。没有永恒的朋友，也没有永恒的敌人，只有永恒的利益!

正因为大数据的整合，越来越多的商家利用这一漏洞开始捆绑老用户，其实无形中把老用户踢向了另一个深渊！

来源：创业邦

科理客互动致力于为客户的品牌与产品提供更强大有力的能量来源，并为客户的搜索引擎营销与互动沟通领域提供全面的解决方案，通过科理客互动所独创的搜索引擎管理策略，提供给客户完善整合的沟通策略；

初页：你所创业的领域，目前现状是什么样？存在哪些痛点？

1、中小企业目前对网络营销，尤其SEM领域缺乏相关认知，并且已经投入大量金钱去投放广告，其中70%的预算都是白白浪费的。

2、推广渠道过于单一，或者说过于依赖某一单一产品，不具有整合营销意识

3、前端后端数据没有打通，不够精细化运营

初页：该领域面临的机会和挑战是什么？

机会：

目前国内中小企业众多，同时对线上推广需求度极高，但愧于对推广知识度不够，且没有足够的人员及精力去精细化运营，导致大量消费处于浪费阶段。

挑战：

1、目前科理客没有足够的预算支撑市场推广及后期运营

2、市场上该类营销公司较多，用户在不理解的情况下，容易给对方产生同质化。

初页：你的产品/服务及其定位分别是什么？

1、打通前端后端数据，精细化运营

2、一站式推广服务，包括前期域名选择，网站建设，到后期的推广等

初页：你的产品/服务如何解决行业痛点？

通过科理客专业优化师运营，并辅助现有的如GA、神策等专业数据统计分析工具，对推广链接加参数等，让中小企业线上推广营销成本大幅降低。

初页：未来的产品规划是什么？

1、以搜索引擎、信息流营销开户充值、托管为主，作为公司主打业务。

2、代理展示类广告如DSP，信息流产品，充值开户

3、电视、户外广告代理

4、域名、网站建设开发

5、网络营销培训等教育产品

初页：你的产品/服务与同行业竞争对手的差异性及优势是什么？

差异性：精细化运营，打通前端后端数据，真正解决用户预算去向及后期推广优化，用数据驱动推广优化！

优势一

全面的搜索营销市场理解

对整体搜索营销市场的理解作为我们服务的基础

客观评价不同搜索引擎的各项产品的优劣，以帮助客户设计最优的营销组合方案

站在客户的角度来理解，以实现客户的营销目标和ROI作为我们价值的体现

优势二

专业的营销规划

以客户的产品，品牌和目标用户为营销规划考虑核心，以客户的整合营销（包括线上线下各种方案）为全局来考虑搜索营销方案的规划和实施

更专业的规划步骤和规划质量

优势三

科学的营销效果追踪和目标衡量

基于设定的营销目标进行超越点击的用户行为数据收集

专业的数据分析人员通过工具对收集的数据进行分析

将定期提供给客户详尽的数据报告和营销分析

优势四

业内领先的搜索营销优化

基于对国内四大搜索引擎及信息流功能的全面理解

业内领先的，以用户最终行为（超越点击）为优化目标的搜索优化操作实践和理论经验 （超过2年）

业内领先的辅助优化工具平台，帮我优化操作人员极大提高效率

优势五

专注的服务团队

多样背景组合的服务团队，成员背景包括：大型网络公司，4A广告公司，搜索引擎以及海外工作等

项目负责人员从事搜索营销优化时间均超过2年

团队分工明确，协调一致

及时的客户响应和反馈机制，确保问题在第一时间得到解决

更多最新信息下载创业邦app

作者：DIGITIMES蔡腾辉

拥有数据与医学双专长的数据科学家吴沛燊（shēn）医师表示，在实际的工作当中发现问题，并且使用跨领域的方法与技巧解决问题，将会是未来产业的科技发展与跨界整合非常重要的方向。

因为科技变化一日千里，吴沛燊认为，各产业基于这样特性，如果单纯只用科技来运营和发展，是难以做出市场区隔，而且难以长久。因此要在众多变化的细节当中，找出不变与有规律的内容，才是长久之计。透过人类的思考模式与表现行为，吴沛燊开始以人的角度做数据科学研究与应用。

从很多面向上来说，吴沛燊发现，行为都与心理学、个性有关系。各产业也都有不变的因素。比方医学和治疗的面向上，若患者较为保守，便采取温和的治疗方式；若是积极的患者，可能就会大胆与大面向地采取侵入式的治疗方式。在零售业的企业推介商品与民众购物也是如此。

以购买汽车为例，吴沛燊认为，消费者会思考汽车的价格、用途、朋友的意见、自己的喜好、是否与家人共用等等因素。其中，如果越看重这些因素的人，对于汽车的依附程度就越高。而依附程度越高，就越能够透过心理学的方式分析购买行为、动机、背后成因。

此外，针对在智慧医疗的领域当中导入区块链技术的应用，吴沛燊表示，区块链应用关键不在技术而是方法，关键在于目标与问题本身。此外，在区块链的应用层面上，病例、诊断书、检体等等数据的稳定与不被窜改才会有意义。比方说，因为民众需要基于某些检验证明，才能够申请保险给付。这个时候，在医疗领域导入区块链，透过不易被篡改与分散式帐本的特性来统合，才会更有具体功效。

如果一个企业真正意识到大数据能够成为核心竞争力，那么在数据治理和数据应用领域应该已经具备了扎实的实践基础，实在是一件值得骄傲的事情。

数据治理看起来高大上，做起来却必须动心忍性；数据治理贯穿整个生命周期，在熟悉业务、技术的基础上要精通具体的数据管理职能域，更重要的是还要有战略的眼光和纯熟的沟通。做到深处就必须谈谈哲学了，所以这是高大上的学问。

数据应用则走的是高精尖的路线，职业生涯的规划发展都包括了全栈的字眼。工程师、分析师、建模师，各位老师都要勤勤恳恳钻研技术，然后才能在工作中站稳脚跟，有机会发光发热。

1、大数据背景下的数据治理和数据应用

五年前给银监会写报奖材料的时候，参考Gartner魔力象限画了一个数据领域的四象限图。总体意思是数据治理和数据应用要保持平衡，在企业数据体系建设过程中二者处于相辅相成的关系。协调好了就会相互扶持，共同进步；否则就会相互掣肘，彼此深深的伤害。

（以数据治理、数据管理水平为横轴，体现数据体系的前瞻性；以数据应用与服务为纵轴，体现数据体系的执行能力。在魔力象限图中，横轴方向越靠近右边，代表该银行数据治理、数据管理的水平越高；纵轴方向越靠近上方，代表该银行数据应用与服务开展的越好，也就是数据价值利用的效果越好。横轴在前瞻性计划性上体现的更为明显，而纵轴更加侧重于价值实现。）

大数据背景下，数据治理和数据应用的结合更加紧密了。传统数据治理通常围绕it系统建设开展，但现在完全可以依托大数据应用项目开展数据治理。插一个槽点，聊数据湖如果只谈技术那是不恰当的，必须要结合数据治(管)理和数据应用一起讨论。总之呢，在大数据时代数据体系的各项职能应该更加紧密的团结在数据治理的周围，是需要整体考虑的事情。

这时候貌似该再扔一副图了，放缓一下思路。不过之前治理相关的图片已经贴了不少，就不重复了。说一下题目，最近跟某大行的老师聊了下数据管理的最新发展，很有收获；结合实际诉求又发挥了一下，下面我会从多个角度来聊一下大数据背景下的需求管理。

2、数据治理的需求必然是统一管理

数据治理的一项基本原则是全生命周期覆盖，这也就意味着数据治理相关的需求会稍稍繁琐一些，甚至会弄得it部门和业务部门都鸡飞狗跳。数据治理还有另外一个原则，高层支持和广泛参与，这条原则是解决麻烦事的必要基础。

举个例子，银监会数据质量良好标准现场检查之后的整改。这项需求动则需要两三年才能完成，组织架构、制度建设、数据标准、数据质量等领域都会有若干任务需要完成。稍微好一点的是数据标准落地，标准写起来难落地更难，几十个系统改造那是常有的事；不谈工作量，风险隐患都能吓死人。再好一点的是数据质量，麻烦主要是原则责任界定和整改督导。

数据治理的需求肯定是要统一管理的，不然根本干不了，可以由cdo办公室专人负责。另外，大数据时代，cdo的视角起码是2.0的版本了，专注于数据价值实现。不是说不再重视数据管理，而是说数据管理已经逐步化身基础能力，常态化机制了。

3、数据整合平台与统一需求管理

通常意义上来说，整合平台包括数据仓库、ods、外部数据管理平台、历史数据（日志）归档平台等几个典型代表，还有面向数据挖掘创新的实验室平台，以及面向具体应用的整合平台（数据湖）。

这些平台上下游影响系统较多，通常投资也比较大，所以最好进行统一规划和需求管理。这同样是紧密团结在数据治理身边的意思，无规矩不成方圆。大的数据整合平台从无到有很快乐，从有到多很麻烦。

4、企业数据应用阶梯能力对应的需求管理

企业对于数据应用需求从描述阶段到挖掘阶段共包括8种类型，数据应用的水平与相应的技术类型密切相关。

图中的“人”实际上对应的是企业，部分企业还停留在前面两个阶段，零星的报表支持一下经营管理，信息化的水平还有待提高。大多数传统BI项目其实并未发挥教科书中定义的商业智能应有的作用，提供多维分析和决策支持信号（触发器）能力，也就是图中的3和4。到了这一步，在数据支持下的企业就“站”起来了，从“电子化”逐步走向“数字化”，但还是低着头的状态。如果行业中大多数企业都还没有完善的it系统支持生产运营，那基本上这个层面的数据应用就能发挥足够的竞争力了。

图中4的后面是一堵墙，这个画的很贴切。这堵墙不仅是能力上的，还是思想和意识上的。对企业来说，懂不懂数据体系，懂不懂数据治理，这个位置应该也有对应的一堵墙。简单解释一下，统计分析帮助发现新的业务机会，预报（forecast）提供量化参考；预测（predict）模型的典型是做风控或营销，优化则是通过体系化的建模支持赢得同业竞争优势。

不同的企业对于数据应用有着不同的理解，企业内不同部门同样也有这种区别，分歧甚至出现在同一部门下面的不同团队。依据不同条线的发展状态和业务痛点，应该有不同的解决思路相对应。不是什么场景都需要做分析和预测，虽然这些看起来很炫，但在恰当的时间地点提供最适合的方案才是最佳选择。

特别说明一下，很多人看到这幅图后会自动与岗位能力对号入座，这其实是不妥的。每种类型的应用落实到个人技术能力方面，都对应足够长的技术路线可以进步；从跪着到跑着，主要还是指企业对于数据的理解和应用层面。

不同的数据应用需要不同技术特点的人来完成，术业有专攻，合理搭配能提高战斗力。有机会可以再详细聊一下数据科学家这个概念，其实银行不需要数据科学家，需要的是数据科学团队。

数据部门需要提供1-8的全面支持能力，再由统一的需求管理来完成科学调度。另外，在自主可控方面，越是后面的能力越需要企业自己掌握。

5、写在最后

统一的需求管理是数据体系发展的必然选择，也是大数据背景下必须采取的手段。数字化、智能化是每个企业都在面临和迎接的发展趋势，技术是公平的，选择才是关键的。

国内外相关数据能力成熟度方法论里面对于第五级的描述都是类似的，那就是做到行业标杆。银行数据领域的行业标杆代表着先进的生产力，统一需求管理是其多年经验的总结，值得学习和思考。

我们在上篇的文章中学习了在网页上展示一个简单 的商品页面，而我们真正需要的是与数据库之间结合。

今天我们就一起来看看持久层最优秀的mybatis和控制层最优秀的spring最佳整合。

整合思路

Dao层：

1、SqlMapConfig.xml，这里我们只需要配置一个空文件即可，当然文件头是必须要的。

2、配置applicationContext-dao.xml

在dao我们使用数据库连接池来实现数据库的连接加入SqlSessionFactory对象，需要导入spring和mybatis整合jar包配置mapper的文件扫描器。

Service层：

1、配置applicationContext-service.xml的包扫描器，用来扫描@service注解的类

2、通过applicationContext-trans.xml来配置事务

Controller层：

1、配置Springmvc.xml文件

加入包扫描器，扫描@Controller注解的类配置注解的驱动配置视图的解析器

Web.xml文件：

1、配置spring

2、配置前端控制器

上述就是整合框架的基本思路，M-V-C各个层级，分工有序。

1. 创建数据库表

首先，我们在数据库新建一个springmvc的数据库，加入两张表分别是item物品表和user用户表

2.Jar包的导入

在这里我们需要导入相应的5种jar包，它们分别是：

spring（其中包括springmvc）jar包mybatisjar包mybatis-spring整合jar包数据库驱动jar包第三方连接池jar包

这些jar包都可以在网上下载得的。我们将下载到的jar包放在/WEB-INF/lib目录下。

3.加入配置文件

我们先看看效果图。

1.sqlMapConfig.xml配置文件

我们使用逆向工程来生成Mapper相关的代码，这里不需要配别名。

2.applicationContext-dao.xml配置文件

在这个配置文件中我们需要加入数据源、SqlSessionFactory会话工厂以及mapper扫描器的一些内容，当然还有约束。

3.db.properties配置文件

我们在这个文件中，配置连接数据库的信息

4.applicationContext-service.xml配置文件

5. applicationContext-trans.xml配置文件

6.springmvc.xml配置文件

7. web.xml

4. 实现商品列表显示

1.ItemService接口

2. ItemServiceImpl实现类

3. ItemController

这样我的所有文件就全部配置完成，我们在地址栏加入url即可访问，结果图如下。

springmvc与struts2不同

看了springmvc，现在大家知道为什么我们会选择这样的框架了么？

1、 springmvc的开始是一个servlet也就是一个前端控制器，对于struts2来说是以一个filter过滤器为入口。

2、 springmvc是基于方法开发的(一个Url相对应一种方法)，请求参数传递到方法的形参，可以设计为单例或多例(这里我们建议使用单例)，struts2是基于类开发，传递参数都是是通过类的属性，而且其只能为多例。

3、 Struts采用的是值栈存储请求和响应的数据，通过OGNL来存取数据， 而springmvc是通过参数解析器将request请求内容进行解析，并给方法形参赋值，之后将数据和视图封装成ModelAndView对象，再将ModelAndView中的模型数据通过request域传输到页面。

这就是是今天的一个小案例整合SpringMVC与Mybatis。大家一直提醒我说的SpringBoot，到底有什么厉害的地方，明天我们一起来学习学习。

有帮助到大家的话，记得收藏关注一下哟~

感谢坚持关注的朋友~

世界很大，幸好有你~

欢迎在评论区留下你的问题或困惑，我将每天与你分享我的观点和心得。

聚焦最新科技咨讯，探寻未来智能领域，我是女陶Mario

随着车联网技术的研发突破，过去这项被视为高规科技也逐渐成为各家车厂争相「标配」的科技配备，而根据外电报导，德国车厂奥迪目前正准备打造所谓的大数据资料库（big data foundation），并配合车联网的运用整合车辆使用数据以及强化未来生产流程。

根据目前外电所掌握的资讯，早在2015年时AUDI便运用Apache Hadoop支援资料密集型分布式应用程式来整理并储存相关数据平台并以此作为未来整整合车联网科技所需的相关资讯。而以目前车厂的运用规划而言，未来资讯网将会划分为两大区块，其一为生产所需的用户数据以及工厂中的物件以及部件资料，其中用户资讯也能帮助车厂未来规划售后服务甚至是道路救援等特殊用途。

有趣的一点是，虽然目前奥迪仍是以生产以及消费者等面向进行资讯统合，不过据悉未来车厂将会以产品决策为分析目标，以便让车厂能借此制作出真正符合市场需求的车型。此外，随着资料量化的完整性逐渐提高，奥迪也有借此打造出架构更为完善的商务系统，相信届时车厂将能运用大数据科技以及车联网完美地融合借此增加市场竞争力

大数据系统通过人们的生活、工作、娱乐以及生产设备提供了多种样式的大量数据，大量的结构化和非结构化的内容增加了用户处理所需信息的难度。现代的数据中心是一个非常复杂的系统，相互连接的服务器和处理设备需要处理各种来源的大量信息，现在大数据的整合急需一种智能化的方式，来改造传统的信息系统，以实现大数据信息的规模化处理和有效信息的收集。

智能大数据集成意味着大数据中心能够为整个企业快速的传达信息，在现代商业生态系统建设中起到至关重要的作用，但这也意味着企业管理人员能够获得准确和高效的大数据。任何关于大数据的项目都是为了获得更好的结果，大数据的整合摄入，预先要处理的数据，不管是什么来源，包括企业每一类型的数据，它们通常具有复杂性和非机构化的特点，需要一个更加融合的数据中心基础设施。

信息技术和工业生产相结合，渗透到工业产业链的各个环节，新一代信息技术在企业管理中的应用，产生了大量的数据，通过对这些数据的处理分析和云服务的方式为企业的运营发展提供专业的云计算大数据决策支持，这已成为企业智能化发展的主流趋势。

一个成功的大数据项目取决于一个组织的捕捉数据能力，大数据收集和处理能力的提高，需要一个可靠的集成基础设施，可以很容易的摄入大批量的数据，同时，也只有可靠准确的实现所有数据源的集成，才能建立一个高质量的数据库。

去年马云提出新转型，整合大数据这个说法时，感觉轰动了很久，果不其然，18年的今天，我们正在逐渐被大数据所包围，为什么？一则比较热门的帖子：瞬间炸锅啦！“杀熟”大数据，另个来自五湖四海的网友感受到深深的糟心之痛！

由此我代表14亿淳朴的中国人民道一句：老用户，为啥还比新用户付的钱多，究竟是什么愁，什么怨！自大数据已婚，网贷萧条，网购萧条，老用户地位不保，总结为时下最流行的：“老用户不如狗”！扎心啦@所有老用户

说到杀熟，小编有话要说，时下经济处在恢复期，明明只有恢复了实体经济，才能真正意义上的提高国民人均GDP，但实际上，商家现在一直在啃老本，不去发展新用户，而是利用大数据，去坑骗朴实的老用户，究竟用意何在！

小时候，我们家邻居一个劲的给我家推荐生活用品，还是人民教师，结果仗着这层关系，我爸妈买了不少生活用品，但现在都没用完，好想用一句MMP呢！

现在回想起这些，不就是典型的杀熟吗？拿着卖不掉的便宜货，对着熟人强买强卖！就是因为认识，又不好意思拒绝，因为这样的关系，我们家没少买冤枉东西！现在不是流行一句话吗？往往坑你的就是身边熟悉你的朋友，表面上说不会坑你，保你买的放心，前提是人家凭啥和钱过不去，非得卖你这么便宜。没有永恒的朋友，也没有永恒的敌人，只有永恒的利益!

正因为大数据的整合，越来越多的商家利用这一漏洞开始捆绑老用户，其实无形中把老用户踢向了另一个深渊！

很多公司都把大数据分析处理作为企业未来发展的重点，人们对大数据的应用也开始从知道大数据概念，发展到真正能够实施一些大数据项目。但是，在一些组织的数据中心团队负责实施这些业务驱动举措之后，开始逐渐认识到真正实现大数据集成的复杂性和深度。人们的生活、工作、应用程序以及设备运行产生了大量的数据，大量的结构化和非结构化的内容往往使用户难以访问和分析所需要的信息。

现代的数据中心是一个复杂的系统，通过互联网技术相互连接的服务器和存储设备，处理和分发各种来源的大量信息。智能大数据整合，能够改造传统的信息系统，集中地理位置上分散的网站，还能够缓解其他数据中心的聚集和分析信息的矛盾。

在整个数据运行的过程中，数据中心是组织的大脑，数据源就可以被看做是反馈的信息和数据，智能大数据集成就是系统的神经网络，能够为企业快速的传达信息，为促进现代商业生态系统的循环发展起到至关重要的作用，但这也意味着数据中心的管理人员需要提高数据的准确性和效率，加强对数据质量的控制管理。

企业在进行数据采集和分析时，需要一个可靠的集成基础设施，能够拓展容纳大量的数据，支持实时访问，并能完成对每一个请求的分析处理，以获得竞争优势，而这只有靠准确的集成所有数据源之后，才能搭建一个有效的数据处理体系。

一、 跨行业数据合作背景

国务院副总理马凯，曾经在2015贵阳国际大数据产业博览会中提到：

融合是大数据的价值所在，应大力推动大数据与产业融合，面向工业、交通、物流、商贸、金融、电信、能源等数据量大的行业领域，开展数据开发和交易，充分挖掘大数据的商业价值，促进产业提质增效升级。

另外，《大数据时代》的作者舍恩伯格，在该书中也提到一个观点：“大数据不是随机样本而是全体数据”。

无论是从国家政府部门还是领域专家都不约而同的提到数据需要融合，数据融合才有价值。

二、 为什么需要数据融合？

其中最重要原因是用户数据的割裂性，无法全面勾勒用户全貌。比如你的购物数据在京东天猫、通话数据在移动电信、交易数据在银行金融、社交数据在腾讯微信、搜索数据在百度等等。

数据的割裂性导致对用户的认识比较片面，可能做出错误的决策。比如：现在京东与头条的“京条计划”就是数据合作的一个案例，就是你在京东搜索的物品，会不定时在浏览今日头条中呈现，增加购买率。这里有个缺陷是如果已经在淘宝购买的物品，但还是会出现页面，导致用户体验感知下降。

数据融合的另一个价值就是新规律新价值的发现。比如以前用户信用主要基于是否有历史借贷违约，但很多人无借贷关系数据，如何评定。芝麻信用就创新的融合上网数据、身份特征、行为偏好、社交关系等生活属性数据，来侧面刻画用户的信用。这就是数据融合价值。

不同行业数据的融合，具有互补性和完整性，将有效提升数据内涵价值。

三、 数据融合的三种方式

数据融合的方式从交互程度来讲，可分为数据组合、数据整合和数据聚合等三个层次，由低到高，逐步实现数据之间的深度交互。

层级一：数据组合由各方数据的简单组合形成，能够全貌客户用户特征。该数据的融合产生的是物理反应，数据属性本质没有改变。如一份征信报告，有交易数据，有通信数据，有购物数据等，简单的拼装而成。如下图：

层级二：数据整合由多方的数据共同存在才能够实现产品价值。该数据的融合产生的是化学反应，有价值产生。如：黑名单，通过金融数据和通信行业数据共同才能判断是否黑名单。如该用户有异常金融行为，在加上该用户频繁换手机和停机次数多，基本可判断黑名单用户。

层级三：数据聚合（核反应）由双方数据聚合孵化产生出新的产品，新模式。如：分期贷款。通过大数据风控能力，不仅减少审核流程，而且也能进行贷中监控和贷后管理，还能够对失联用户进行定位和催收，是一揽子计划。

四、 面临需要解决的问题

同样数据融合并不是一件容易的事情，需要解决数据壁垒，数据标准，数据安全等问题。其中较重要的三个问题是：

问题1：数据安全问题

如何保证数据安全，保护客户隐私？客户知情权。如何保障符合集团或公司规定的数据变现要求？数据不出库。

问题2：市场定价

市场定价市场价格如何确定？基于成本OR基于需求？市场的最终定价权由谁主导？多方数据提供者，听谁的话？

问题3：利益分配

利益分成如何界定各方数据价值和分层比例？

这些都是数据融合时遇到的实际问题，也是在数据创新时必须要解决的。