- ?
真实世界研究(RWE)需要大数据的支持
怜阳
展开
真实世界数据来源非常广泛,既可是以特定目的开展的观察性研究数据,也可是非研究性质的数据,如多种机构(医院、医保部门、民政部门、公共卫生部门)日常监测、记录、储存的各类与健康相关的数据,既涵盖了从实际医疗过程中产生的数据(也可称为真实世界医疗大数据),也涵盖了从实际医疗过程搜集的小样本数据。
大数据作为一个重要概念目前被引入众多行业。医学领域的大数据涵盖范围广泛,尚缺乏统一和公认的大数据分类系统,根据数据收集内容的差异,可分为:一是常规医疗和健康数据,包括个人健康和医疗数据,如人口社会学特征、诊断、实验室检查、影像学检查、医嘱、手术、成本数据等,是我们通常所指的医疗大数据。二是在部分或全部收集常规医疗数据的基础上,根据特定研究目的收集生物标本检测的检测数据,如基因组学、蛋白组学、代谢组学等数据,常被称为生物医学大数据。从本质上讲,医疗大数据满足真实世界数据的所有特征,属于真实世界数据。但真实世界数据涵盖的范畴显然比医疗大数据更广,数据并不一定要求达到海量,也不一定强调数据的多样性。医疗大数据是真实世界数据与医学大数据的一个交集。
医学大数据的构建
医学大数据是指涵盖和健康相关的所有信息,不仅仅是医疗卫生信息,还需要包括社会背景,职业,经济收入,日常习惯,兴趣爱好等全面信息。
1.医疗大数据
通常所说的临床诊疗大数据指的就是医院医疗大数据。医院医疗数据是最主要的医疗健康大数据,产生于医院常规临床诊治、科研和管理过程,包括各种门急诊记录、住院记录、影像记录、实验室记录、用药记录、手术记录、随访记录和医保数据等。这些医疗数据中的大多数都是用医学专业方式记录下来的,以临床实践自然随机形式存在,是最原始的临床记录。从临床管理或研究角度看,这些数据是关于病人就医过程的真实记录,或者也可以说是临床医疗行为留存的痕迹,每一个数据都是有价值的,包括记录不完善或错误的数据,都可能隐藏了有待发掘和利用的重要医学信息。
医疗记录大数据的获得需要依赖于医疗大数据公司对医疗数据进行艰苦的清洗和整合,以整合为医疗大数据。
2.健康大数据
人群健康数据一部分来源于区域健康服务平台大数据,依托于区域健康服务平台的大数据是重要的医疗健康大数据之一,也是未来医疗健康大数据的发展方向。一方面,服务平台汇集整合了区域内很多家医院和相关医疗机构的医疗健康数据,致使数据量大幅度增加。另一方面,服务平台数据的收集事先都经过充分的科学论证和规划,数据比原先的医院数据更为规范。
目前互联网医疗、可穿戴设备、手机等可获得海量健康数据,但是通常缺乏专业的医疗数据。基于移动物联网的个人身体体征和活动的自我量化数据是一种新型的医疗健康大数据。此类自我量化数据包含了血压、心跳、血糖、呼吸、睡眠、体育锻炼等信息,一般利用可穿戴设备收集,除了有利于帮助了解自身健康状况以外,经过一定时期累积,在医学上会变得很有用,不仅有助于识别疾病病因或防控疾病,而且也有助于个性化临床诊疗,塑造全新的医疗或健康管理模式。
3.医疗费用大数据
相比于健康数据,医疗费用数据则更分散,更难以收集。最好的数据来源是是医保报销数据。但是在中国,医保以公立医保为主,数据掌握在政府手中,很难对外开放,不同地区的医保数据互不联通,而且医保数据以报销结算为目的,医学细节数据比较缺乏。
4.医保费用数据库
主要来源于国家医保抽样数据和地方医保数据(往往要通过学术合作的方式获取)。
5.其它类型数据
比如,环境等公共数据:气象,温度,水质,绿化等各种因素组成的有机整体,医疗健康大数据的现状是信息“孤岛”,政府部门、医疗机构、公共卫生机构、商业公司等等互不沟通。未来或可走向整合,迎来医疗大数据产业蓬勃发展。
用于研究高质量的数据来源有限,是开展真实世界研究面临最大挑战
在中国,真实世界数据匮乏,亟待开发并利用更多关于中国人群的真实世界数据;医疗服务机构的HIS系统各自为营,标准化程度低;部分KOL掌握局部地区单病种的真实世界数据。在技术层面,用真实世界数据评估治疗措施的风险和效果并进行决策的时间还相对短,方法学的系统性,技术上的完善性。在操作层面,中国需要提高各界对真实世界的认识、重视与投入;需促进多部门在开发及利用数据方面的合作。
此外,由于医疗体系的特殊性,目前绝大部分使用的高质量数据仍是非结构化数据,处理技术和处理能力存在困难。检测和诊断数据多为静态数据,分析预测结果有一定的滞后性。可穿戴设备开发有限,设备精度不够,更多用于消费而不是医疗级别的使用。数据聚合的方式还是处于初级阶段,自动化程度需要提高。
大数据分析重在解决潜在“偏倚”
大数据可以提供可利用的多源数据和强大的统计分析,保证了数据的多元性、重要性和时效性。对于数据的分析可以采用一体化的数据管理模式,避免原始数据的错误,提高数据处理效率和准确性。但在中国扔缺乏真实世界研究的环境,RCT仍然是目前最重要的获得证据的方法。潜在偏倚类型包括选择偏倚、信息偏倚、混杂偏倚、失访偏倚。比如,患者特征,包括年龄,性别,并发疾病,行为因素等;疾病特征,包括肿瘤分期,组织学特征,生物标记状态,转移位置等。那么如何减少偏倚和避免偏倚?我们需要从两个层解决问题,研究设计和统计分析来看。在研究设计中可从研究目的和问题、招募患者、设计和收集数据、分析数据和解释结果等尽可能收集与偏倚产生的测量相关数据。在统计分析层面可多层分析、多元回归、倾向评分、工具变量等来解决。
2017真实世界研究峰会日程
联系人:
邓梅
手机:+86 150 2640 7330
E-mail: mei.deng@bioon
- ?
医学研究需要大数据的支持:Tessa Jowell开创了先锋
吻火
展开
我们认为与科技巨头分享我们的私人信息好像也没什么大不了的,那为什么又对自己的医疗信息记录如此谨慎呢?
将近有一半出生于1960年后的人在生命中的某个阶段都会被查出患有癌症。事实上,几乎没有人能够完全不受癌症的影响,或许是本人不幸患有癌症,或许是癌症幸存者,抑或是身边的亲友患有癌症。因此,每年都有数百万人通过系紧鞋带,烘烤蛋糕,留好胡须以纪念亲人的方式来筹集癌症研究所需的资金。
但是,资金并不是研究癌症新疗法的唯一关键因素。影响癌症研究进程的另一个非常重要的制约因素是:我们目前缺乏包含患者对不同类型治疗方法的反应的大型数据集。
因此,当Tessa Jowell承诺将为癌症研究提供一种不同于以往的捐赠时,她实际上已经为癌症研究开创了先锋。Tessa Jowell因勇敢地说出自己患了一种恶性脑瘤的经历,以及她在抗击癌症方面加强合作的呼吁而赢得了喝彩。她现在宣布,她将成为第一个将自己的医疗记录捐赠给一个由澳大利亚慈善家建立的新的全球癌症数据库的人。癌症研究人员对此大加赞扬,认为这一行为将在某种程度上改变现有的游戏规则:医疗数据使得研究人员能够观察病人对特定癌症治疗方法的反应,从而改进并研究新的治疗方法。
人们对数据隐私的担忧从未像现在这样严重过,我们甚至可能很难回忆起人们对数据隐私有过担忧。十年前,大数据还被认为是一种解决一系列社会问题的灵丹妙药。就像“助推理论”一样,大数据的潜力无疑被夸大了,但毫无疑问,在医疗保健方面,我们的个人医疗数据不仅能够改变人们的生活,而且还可能会挽救更多人的生命。来自真实世界的观测数据为多年来的重大医学突破铺平了道路,其中包括发现了萨利多胺和出生缺陷之间的联系,以及吸烟与癌症之间的联系。
但是,由于人们对个人隐私方面的担忧,患者医疗数据的强大力量仍然没有得到充分的利用。五年前,英国国家医疗服务体系(NHS)宣布将建立一个单一数据库care.data,用户可以自由地选择退出,这个数据汇集了数以百万计的病人医疗记录。这些数据将以匿名形式(姓名和地址等个人信息将被抹去)提供给公共和私营部门的医学研究人员。
不过,这样的数据库存在着隐私泄露的风险,而且风险无法根除。即便数据通过匿名的方式经过了处理,但是如果有心人士用这些匿名信息与来自其他数据集的信息数据进行比对(例如保险公司持有的数据),也可以识别出患者的身份。英国政府账目委员会(public accounts committee)表示,发生在去年的NHS勒索软件攻击事件是由于相关机构在网络安全方面的投资不足而导致的,但这种说法并没有太大作用,人们还是对自己的数据隐私有所担心。
NHS会向每户家庭发放一份宣传单,来向人们解释捐献医疗记录的重要性。但这一行为“所导致的问题比它能够解决的问题还要多”。他们并没有向民众解释清楚,他们具体将采取何种保障措施来确保患者的个人医疗数据不会落入坏人之手。
因此,这一举动所导致的公众抗议几乎是不可避免的,而且导致整个活动在几年前被完全废除了。那么我们付出了哪些惨烈的代价呢?如果这个活动没有被彻底废除,我们可能已经研制出了治疗痴呆和癌症等疾病的新疗法。
如今,对于个人数据将会如何被恶意使用的例子,我们已经耳熟能详了。保险公司可以通过掌握我们的健康数据来根据我们生病的概率向我们收取保费。像Facebook这样的社交媒体巨头能够利用它收集到的大量用户数据(包括我们的喜好、私人消息和阅读习惯等)来预测用户对特定商业和政治广告的反应,并对用户进行针对式的营销,这也是开发人员需要不断磨砺的一种能力。
除此之外,其他公司也可以利用用户数据来逃避监管,协助违法行为。去年,据《纽约时报》披露,优步公司一直在利用乘客数据来欺骗当地执法人员。
对于大众对个人数据隐私泄露风险的明显低估,数据专家很多时候也是束手无策。但是,care.data上那可怜的一点点数据却显示了上述说法的不合理之处:如果数据收集方没有明确说明这些数据将带来哪些具体的益处,或者这些所谓的益处太过遥远而显得不切实际时,人们一定不会相信那些声称会保证个人数据安全性的人,从而对自己的个人数据采取非常谨慎的态度。
但是,我们对care.data和那些大型科技公司的反应存在着不合理的不对称性。
前些天披露的Facebook和Google收集了大量用户信息(包括用户都参与了哪些活动、使用哪些应用程序以及何时使用什么应用程序等)的事件并没有导致大量用户关闭其社交账户。对于那些管理不善的、收集了大量用户深度个人信息的全球科技巨头,大众似乎并没有那么介意,而对于一个相对正规的NHS机构,我们似乎是反应过度了。
当然,这种非平等对待并不奇怪,这只是人类非理性的另一个产物而已。我们可以为了某些短期收益(例如应用程序的便利性)而轻易交出自己的个人数据,但却因为些许风险而不愿意将这些数据用于长期的对全人类都有益的服务中(比如改进医疗护理水平以及开发疾病新疗法)。
人类要想打败癌症和痴呆症等疾病,就必须要克服这种非理性的行为。Tessa Jowell就迈出了第一步。我希望会有更多的人能够向她一样为人类的疾病研究做出自己力所能及的贡献。也许十年之后,我们可以看到人们跑步和烘焙蛋糕不仅仅是为了筹集研究资金,更是为了呼唤更多的朋友和家人来捐赠医疗数据。
- ?
从四方面推动大数据发展 支持前沿技术创新
Xia
展开
在23日于福州举行的“数字中国建设峰会”的“大数据分论坛”上,工信部副部长陈肇雄表示,接下来将从四个方面推动大数据发展。
一是推动大数据创新发展,支持前沿技术创新,加快关键产品研发,推进大数据与云计算的深度融合,促进产学研深度融合,造就一批明星企业和人才。
促进大数据创新发展
二是推动大数据融合发展,深挖融合潜力,加快工业互联网、工业大数据建设,培育数据驱动发展新模式、新业态。
三是激发市场活力,鼓励建立大数据公共服务平台,鼓励中小企业深挖细分市场,积极参与数据安全建设,推动大数据企业的国际化发展。
四是推动大数据安全发展、强化保障能力,加强大数据安防产品开发,维护数据的可靠性,构建安全保障体系,建立高效的数据安全管理机制。
- ?
大数据的重要性
Samuel
展开
21世纪是世界经济发展的时代,是科学力量加强的时代。在这个科技飞速发展的时代里,几乎每天都会有全新的概念提出。自从2016年底马云提出了新零售这个理念以后,国内的各行各业、特别是电商与实体店主们都绞尽脑汁想将其给研究透彻了,各大网站和媒体也纷纷发布了不同人士对新零售的分析。如何做到新零售的转变,在一段时间便成为了经营者和运营公司们最关心的事情。
当你仔细研究过新零售的概念和特征后不难发现,它其实是对以往零售中不足或鸡肋进行整改并升级的一种“加强版”。对于消费者:提高体验感;对于经营者:提升用户流量、精准营销……这都是关注新零售时最在意的几点要素。
国际商业机器公司(IBM)提出大数据拥有:大量、高速、多样、低价值密度、真实性的特点。而在2012年出版的《大数据时代》中也提出:大数据是指不利用抽样调查这种捷径,而选择使用所有数据分析处理。
大数据的重要意义不在于掌握了多少数量庞大的信息,而在于对这些信息数据的处理。从它的这种特点来分析便不难得知它在新零售中起到了什么关键性的作用。
进行营销的过程中需要调动大数据库内的用户信息,并进行技术分析,得出他们现在需要什么,甚至还可以得出日后可能需要什么样的消费。比如:一个用户购买了大量的婴儿衣物,便可由数据得出他家有新生儿,并且分析接下来还很有可能需要婴儿的奶粉,便可以通过这些数据分析给他推荐相关商品。若要通俗点来说的话便是和“猜你喜欢”非常相似了。
想要真正做到新零售,大数据是不可或缺的一项技术支持。但很多平台不是无法保证数据的数量或精准性就是对这些数据的独享,这导致经营者们无法从根本上解决对大数据的需求,而且在进行针对性宣传的时候无法达到理想的效果。
但团卖物联却将大数据沉淀在商圈,让商圈能够自主调动信息库中所需的信息,让这些信息能够真正的功能最大化。这都是为了让合作店家能够享受在大数据支持下的新零售带来的好处。
- ?
数据中心——人工智能背后的数据支撑
Joe
展开
人工智能产品正在走入人们的生活,智能手环和体脂称在记录并分析着我们的健康状况,智能空气净化器和扫地机器人在清洁着我们的环境,当然还有早已突破沟通交流范畴的智能手机,已经成为办公、购物、支付、娱乐的全新智能平台。如果说是数据赋予了这些智能产品以智慧,那么数据中心就可以说是这些智慧背后的支撑者了。18年新年伊始,我们有幸参观了斐讯北京云计算数据中心,初步了解到斐讯是如何为他们的智能产品提供专业数据支持的。
斐讯北京云计算数据中心位于北京市顺义区天竺综合保税区内,园区总占地面积33亩,总建筑面积2.1万平米,服务器总装机容量约3万台、3200个机柜。一期数据中心总建筑面积达10500平米,2000柜,机柜容量:平均3.5KW,机房等级:T3+。具备全国互联互通能力,并能提供云计算服务。
这个充满现代化气息的建筑就是斐讯北京云计算数据中心
高规格的“风火水电”
平均每18个月CPU就会产生一次升级,内存和存储的升级速度也同样快的惊人,性能可谓是一年更比一年强,三四年前还很先进的服务器,可能很快就面临着淘汰。况且数据中心服务器的配置也基本上大同小异,用“铁打的数据中心,流水的服务器” 来形容可能也不会为过,因此在对一个数据中心进行了解时,服务器规模固然重要,更重要的是要了解它的基础设施,也就是先看看它的“风、火、水、电”。
风
,是指空调制冷,专业服务器机房内温度常年保证22度左右,保证服务器长期稳定运行所需要的散热温度环境。传统的数据中心,基本上就是一个大“冷库”,不穿件厚衣服在里面根本待不住。过多的制冷为数据中心带来了能耗过高的问题,实际上数据中心的服务器及网络设备在设计时只要求进风口保持一定的温度范围,对出风口并没有过多的温度控制要求,只要及时的将出风口的热空气向外排出就好。因此当前高规格的数据中心设计时,首先要考虑的就是冷热风道分离。
在斐讯北京云计算数据中心未部署服务器的机房内,我们可以看到地板上有一道道非常整齐的“钢网”,这不是为了美观,在这些“钢网”下面部署的是数据中心机房散热冷风道。空气在经过地板下冷池中冷却水冷却后,通过这些冷风道输送到服务器机柜的进入口处,对机柜中的服务器进行降温。
由于未能拍摄到部署好服务器的机房全景,只能通过这个斐讯监控室的截图来展示一下了,图片左下角监控的是一条冷气通道,冷空气从地板下方输入到两两相对的服务器之间,并由服务器进风口进入对服务器进行冷却。冷却后的热空气,从机架后部排出,由机房上方的热风道排出。
火
,是消防,专业服务器机房内有大量服务器设备,有大量的强、弱电设备,服务器机房消防是相当重要的一部分。
在斐讯的数据中心机房内,不但具备着不同种类各式各样的消防设备,还部署了大量探头实时监控着数据中心内部的一举一动,一但发现险情可以及时报警并进行处理。
水
,湿度、防潮,专业服务器机房内大量服务器设备对环境湿度要求相当高,专业服务器机房要保证湿度达到专业的水准,而且服务器机房防止凝露、防止回潮,都是专业服务器机房建设的重点。另外,防水灾也是一个方面。
在斐讯的数据中心中,不但具有专业的防潮除湿设备,空调冷却水的管线也按温度的不同,被漆上了不同的颜色,以便于出现问题后的排查。
电
数据中心的正常运转,时刻离不开电力供应的支持。在斐讯数据中心中,电力供应的保障也是他们的重资产投入项目之一。
除了来自发电厂的双路供电之外,斐讯还集中储备了大量UPS设备,以防止可能十年难遇的双路供电全部中断情况。
UPS与变电设备也是高风险设备,在斐讯数据中心内,同样也对它们做好了周全的防护举措
但UPS只能解决短时供电和供电切换保障问题,在预防长时间供电中断问题时,还要靠柴油发电机。
为此斐讯特意准备了两台可以满足整个数据中心供电需求的大功率柴油发电设备。并在数据中心园区地下,储备了可以满足发电机数小时运转的柴油,并和附近加油站签订了紧急供油保障协议。通过这一系列的电力保障措施,切实保障了斐讯数据中心的电力供应。
AI让数据变成产品,产品变为数据
很明显人工智能将会引发出一场新的产品变革,让数据变成用户所需的产品,而产品又成为数据采集一种技术手段。因此,人工智能产品更需要为数据找一个稳定、安全、可靠的“家”。这次斐讯北京云计算数据中心的参观,虽然只是走马观花的对其“风火水电”的基础设施进行了了解,更加深入的数据中心网络架构是如何设计、计算资源是如何调度、存储资源的安全性和可扩展性能力如何?这些问题还有待今后更加深入进行了解。
但通过对斐讯北京云计算数据中心的参观,已经可以初步了解到,斐讯已经为自身的人工智能产品准备好了一个高规格、高可靠性的“家”。其它工人智能厂商,也把你们为人工智能产品准备好的“家”展示给我们来看一下吧。
- ?
数据中心如何支持深度学习
吉它弦
展开
导读深度学习是人工智能的研究方向之一,是一种基于多层神经网络技术的机器学习。目前深度学习是非常热门的技术,已经在诸多领域尝试展开应用,尤其是数据中心。
深度学习(Deep Learning),又叫Unsupervised Feature Learning或者Feature Learning,是人工智能的研究方向之一,是一种基于多层神经网络技术的机器学习。目前深度学习是非常热门的技术,已经在诸多领域尝试展开应用,尤其是数据中心。
深度学习是把机器要学习的东西看成一大堆数据,把这些数据丢进一个复杂的、包含多个层级的神经网络中,然后检查经过这个网络处理得到的结果数据是不是符合要求——如果符合,就保留这个网络作为目标模型,如果不符合,就一次次地、锲而不舍地调整网络的参数设置,直到输出满足要求为止。
显然,数据中心是最适合深度学习施展拳脚的地方,数据中心拥有超强的计算能力和海量数据,这些都是深度学习必须依赖的东西,深度学习理应最先在数据中心里生根发芽,不少的数据中心也开始意识到,将深度学习技术引入数据中心的确能带来前所未有的益处,于是两者一拍即合。
深度网络学习
传统的网络,全部由手工做好各种设备初始化配置,各种扩容、变更、部署业务都需要人工手工完成,效率极低且容易出错,严重依赖个人的技能经验水平。发展到现在,可以通过控制器自动下发一些预配置,然后由控制器进行网络监控和管理的工作,控制器的指令是预先设计好的,只是将人工工作交由控制器来完成,这大幅提升了工作效率。不过,这时的网络仍不够智能,控制器根本离不开人来自己工作,尤其是接到一些复杂变更业务,突发故障时,处理不了。
如何让控制器更加智能,能够按照人的思路来思考和工作,这样才能将人从网络的运维管理中释放出来,此时深度学习来了。深度学习让网络控制器可以自己完成网络的所有日常变更和突发故障的处理,深度学习以来的大数据就是以往所有数据中心发生的故障和经验,将这些信息统统输入到控制器中,通过深度学习让控制器形成自己的网络管理实施,当网络出现故障时,就能在毫秒级的时间内做出判断和应对,这种效率是人无法企及的,深度网络学习的目的就是让网络更加智能。
深度安全学习
网络安全已经成为一个多维度问题,随着业务的多元化,漏洞,数量和种类急剧增加。为了防止网络被攻破,数据中心必须要及时发现并解决这些漏洞。数据中心的安全员每天需要处理的安全报警数量一直都在增长,报警的处理涉及到多个系统,相当乏味且很耗时。
引入深度学习,能否自动而又连续地从各种各样的源中收集有关安全的数据,并对可能存在的攻击和漏洞进行甄别,不仅能及时发现漏洞,还能自动修复,输出安全风险评估报告。及时更新全球和行业特定威胁的最新知识,也就是说每天或每周最新的威胁,这样才能及时发现网络漏洞。通过深度学习,可以大幅提升数据中心的网络安全,做好安全防护,避免遭受攻击。
深度流量识别
传统的流量识别是将流量准确地映射到某种协议或应用,其实就是按照流量特征进行识别和分类,达到流量统计和过滤的目的,这个工作对于网络安全和统计非常有益。传统流量识别的方法无非是通过镜像或者Netstream等监控手段,将抓取的全部流量的协议特征统计出来,这个过程既耗时又费力,有时还需要投入大量的资金购买专用设备才能完成。
深度学习可以基于行为特征和机器学习,识别过程自动化,先根据少量的数据样本进行训练,训练完毕后开始对整个数据中心网络流量进行识别,完成识别工作。这种方式将大大提升流量识别的效率,尤其适用于语音和图像这类流量中。比如:要对某个网站的流量进行监控,看是否有涉黄部分的图片或者视频,现在大部分的网站还是靠人工观察,效率极低,采用深度学习就好了,能够自动识别流量中的涉黄内容,直接拦截,达到自动识别和拦截的目的。
深度降耗
数据中心是能耗大户,节能减排是一项长期工作。除了提升单位面积内的设备运行效率外,还可以对能耗情况进行深度学习。
谷歌就将深度学习的技术用在了数据中心的节能降耗上。谷歌的数据中心可以通过深度学习,实现各种设备内的风扇、数据中心的空调与环境温湿度情况联动,既保证所有设备的散热,又最大限度的降低能源消耗。
通过深度学习,数据中心节省大约15%的能源开销,每年为谷歌节省数百万美元的成本。采用深度学习降耗,就是利用现有数据中心的资源,在保证所有设备正常运转的情况下,使用最低能耗,这是一个十分复杂的过程,需要采集数据中心内部所有设备的运转状态和空调环境情况,通过深度学习,做出准确判断,再通过控制系统,将判断结果执行下去。
除了以上这些方面,数据中心其它所有的方面也可以引入深度学习,让整个数据中心成为智能数据中心,成为一个会自我思考,自我管理的自治数据中心。深度学习将遍及数据中心内的每一个元素,深度学习正在成为保持数据中心业务发展的必要手段。从自主运营、降耗、执行预测性维护到持续的工作负载调整。没有深度学习,想要实现数据中心的稳定持续的盈利运营几乎是不可能的。深度学习将为数据中心提供更智能的基础设施和相关资产,以监控、优化和改善运营,这些将包括存储,计算和网络。人工智能的时代来了,数据中心也是人工智能的重要实践场地,作为人工智能的重要技术之一的深度学习,必将在数据中心大放异彩。
原文地址:https://linuxprobe/deep-datacenter.html
- ?
西瓜数据排行榜支持自定义!谁敢说数据监测会困难?
难摧
展开
关注公众号的列表在增加……
监测公众号的列表也在增加……
到底要如何迅速获知他们的数据?
难道真的只能一个个点开关注吗?
噢!西瓜数据作为公众号大数据服务商针对该需求上线了新功能“自定义榜单”,该功能支持用户自由选号生成榜单。
用户在创建“自定义榜单”后,在选号时可自由查看相关竞品,迅速捕获更多公众号。
创建自定义榜单可让用户迅速获知公众号的数据,接下来让我们一起具体操作
如以下三种情况
1、我想创建上海地方号榜单
2、我想创建装修类榜单
3、我想创建短视频榜单
通过以上操作大家是否对公众号对比功能更加了解的呢?希望此次更新的功能能够让你们花最少的钱获得最理想的投放效果呢!
只要按下图步骤登入西瓜数据官网就可以使用啦!
- ?
“大数据+人工智能”,打造个性化学习支持平台
雷之桃
展开
6月11日,科大讯飞智学网与温州市第二十一中学达成战略合作协议,共建浙江省首个大数据教学支持中心。中心将基于科大讯飞全球领先的人工智能核心技术,深度挖掘学生学习测评数据,通过提供高频大数据服务、人工智能算法推荐、网络专家团队辅助等服务,完成对学生学习评测数据的精准纠错,支持教师帮助学生实现个性化学习。
温州市教育局副局长王剑波,教育评估院院长赵桂芳,教育教学研究院副院长马玉斌,教育信息化领导小组办公室副主任张向东,温州市第二十一中学校长徐海龙,副校长厉园光、金森林,研训处主任兼校办主任陈春如,总务处主任钱伦波,教务处副主任王永康,政务处副主任蔡筱慧,初中基础学部主任马学江,高中基础学部主任许光军,科大讯飞浙江教育行业总监陈韬,科大讯飞浙江教育运营总监叶陈,科大讯飞浙江教育城市经理王程辉等共同出席了签约仪式。
▲科大讯飞智学网与温州市第二十一中学签订合作协议
温州市第二十一中学校长徐海龙为签约仪式致辞,他说:“温州市第二十一中学建校近20年,经历改制扩容、国际化办学、质量提升等阶段,2016年进入发展瓶颈期,如何走好创新特色发展之路成为整个管理团队和全校师生的共同愿景。经过对学校办学的重新梳理,认定走两轮驱动的路径:第一条为现代学校治理体系,第二条为智能个性化学习体系,以与科大讯飞智学网共同构建的大数据教学支持中心为抓手,通过大数据+人工智能,唱响学校个性化学习的主旋律。”
▲温州市第二十一中学校长徐海龙介绍二十一中发展情况
徐校长提出,二十一中已经逐步开展基于“互联网+”的智慧校园实践,并且取得了良好的效果。未来大数据教学支持中心将会致力于解决学习评价样本不够“大数据”,教学评测内容不够“高精准”,学习纠错指导不够“个性化”等问题,最终达成让大数据+人工智能支持教师,成就学生个性化学习的目标。
随后,科大讯飞浙江教育行业总监陈韬详细介绍了人工智能技术产业最新进展与科大讯飞人工智能在教育行业中的应用。陈韬说:“2017年7月国务院发布人工智能规划——2020年部分并跑,2025年部分领跑,2030年全球领先。科大讯飞一直以来专注于人工智能技术,并且有幸成为科技部人工智能四大平台之一。2017年国家首个认知智能国家重点实验室落户科大讯飞,目前科大讯飞的智能语音识别技术、图文识别技术和机器阅读理解技术处于世界领先水平。”
▲科大讯飞浙江教育行业总监陈韬介绍科大讯飞语音合成技术最新进展
陈韬指出,人工智能改变行业离不开三个重点要素:核心技术、行业数据和行业专家。依托科大讯飞全球领先的人工智能技术,科大讯飞已经与专业机构共建国家级教育大数据项目,与教育部考试中心共建联合实验室,积极集合行业专家的力量,推动人工智能在教育领域的创新集成应用。
陈韬介绍,目前科大讯飞智慧教育构建了以教、学、考、管为核心的业务架构,同时建立了从课堂到学校再到区域的系统架构,创建了基于大数据的个性化学习系统,采集与分析动态大数据,最终应用于大数据精准教与学。
科大讯飞浙江教育运营总监叶陈详细介绍了科大讯飞智学网个性化提分方案,即智提分服务体系在教学中的应用。他介绍说,智提分是依托校内每周测练数据定制化的为每个学生推荐举一反三的错题巩固学习手册,内容全部来源于学生自己的考试、作业数据,直击学生薄弱知识点,将学生的错题按照知识点、难度进行分层分类,同时根据学生的不同学习情况推送变式题。学生可以依据复习时间长短选择不同的复习内容,真正做到针对不同学生的个性化学习。
▲科大讯飞浙江教育运营总监叶陈介绍智提分服务体系在教学中的应用
与以往的错题练习以知识点推题不同,智提分是以题推题,结合了知识点与题型进行推题。不仅如此,智提分的推题通过人工智能、科大讯飞背后的师资力量和学校老师的层层筛选,摆脱题海战术,帮助学生减少教辅材料,而且更加针对性做题,有效提高准确率。
在整个智提分服务体系中,科大讯飞智学网会派专人专校驻点服务,试卷批改完成之后,快速制作发放教师讲义和学生个性化提分作业,帮助学校快速有效地解决教学实际问题,实现周周清,月月清。同时老师可以随时调取智学网提供的教学报告,有利于各个学科组之间开展教学研讨和制定教学计划。
温州市教育局教育信息化领导小组办公室副主任张向东从整个区域层面对大数据精准化教学提出了建议,他提出希望大数据教学支持中心能够与在线答疑平台结合,完善学生解答的环节,同时跟现有的阅卷平台相结合,进一步为教师减负。
▲温州市教育局教育信息化领导小组办公室副主任张向东发言
温州市教育教学研究院副院长马玉斌表示,大数据是未来教育发展的趋势,大数据教学支持中心的建立有利于解决教育乐学、乐教和乐课这三个问题。2017年浙江省联合科大讯飞开展大数据精准教学项目,温州市已经走在大数据+教育的前沿。建立大数据教学支持中心必须树立教育教学质量服务的信心,帮助学生随时看到学习问题,随时获得学习帮助,促进学习动力。
▲温州市教育教学研究院副院长马玉斌发言
温州市教育评估院院长赵桂芳肯定了建立大数据教学支持中心对教育教学精准分析诊断改进的推进作用。她说:“在当今的人工智能大数据时代,数据挖掘已经成为教育教学改革研究不可缺少的重要手段。大数据教学支持中心的建立实现了教育教学精准分析诊断改进从区域层面到学校层面的落地,提升了精准性,缩短了执行过程。”同时,赵院长也提出了建议,一是要基于数据,但不能迷信数据,要树立正确的教育观;二是关注学生学业的同时,更要关注学生的综合素质,进行学科背后的背景分析。
▲温州市教育评估院院长赵桂芳发言
温州市教育局副局长王剑波进行总结讲话。他首先对科大讯飞智学网联合温州市第二十一中学共同建立大数据教学支持中心表示祝贺,他说:“建立大数据教学支持中心是顺应教育信息化发展的潮流,教育信息化正在从1.0时代向2.0时代发展,未来的教育信息化工作将会呈现五个基本特征,即更以体验为依归,更以数据为基础,更以连接为要义,更以开放为策略,更以智能为目标。信息技术之于教育在于流程的再造和体系的重组,未来二十一中要以从集体诊断到个人诊断,从集体学习走向个性化学习,从集体教学走向个性化教学为目标,创造可借鉴的经验,成为全市乃至全省精准化教学的典范。”
▲温州市教育局副局长王剑波总结讲话
最后,温州市教育局副局长王剑波、温州市第二十一中学校长徐海龙和科大讯飞浙江教育行业总监陈韬共同为中心揭牌,签约仪式圆满成功。
▲揭牌仪式
人工智能助力教育,因材施教成就梦想,科大讯飞智学网将以温州市二十一中为中心,与浙江区域开展多方位、深层次的交流与合作,推动人工智能+教育的发展进程。
- ?
如何从大量的“数据”中产生支持决策的“智能”?(三)
Elvis
展开
【编者按】本文是观远数据创始人苏春园与《数据的本质》作者车品觉在数据分析与智能商业方面的分享、思考之谈的第三篇。关注前两篇文章请点击下面链接。
观远数据创始人苏春园:当数据驱动成为趋势,CEO该做何改变?(一)
观远数据创始人苏春园:数据分析与决策的关键词是“自动化”(二)
关于AI人工智能如何商业化应用的讨论如火如荼,从2016年的星星之火,2017年的燎原之势,到今年可以说是无孔不入了。现在要是哪个场子没有AI元素,主办方都不好意思邀请嘉宾出席。突然有一天,有人说了句玩笑话,说当前的人工智能应用,只见“人工”,不见“智能”。本来是调侃一下,但大家突然感觉好想还真是这么个意思,不经意之间点破了当前AI的现状,那就是呼声很高,但落地很少。
所以就这个话题,继续与品觉老师约茶聊天,这回主要探讨如何从“数据”产生“智能”。尤其我关心的视角是企业,如何应用数据进行商业分析与决策,如何从大量的“数据”中产生支持决策的“智能”。接下来是我和我们观远团队的一些实践与思考,抛砖引玉,大家多拍砖。
硅谷Palantir的例子
在《数据的本质》一书中,品觉老师提到了Palantir的例子。大家都知道,Palantir是全球AI领域的明星公司,被认为用算法解决了很多最为复杂的社会和商业问题。但与Palantir深度交流过之后,品觉发现实际上在他们的客户项目里面,大量的工作是在做数据ETL与数据整合,而基于AI的算法应用、关联分析,只是浮出水面的那一角冰山。
(Palantir示例场景 图片来源于网络)
两个案例看本土实践
在本土,我们也遇到很多类似的场景,今天也分享几个例子。
以一家行业领先的连锁零售品牌为例,这家客户在全国有数百家门店,主营有时效性的生鲜类产品。我们第一次讨论,确定的切入场景是门店销售预测以及基于此的智能订货,这是一个典型的AI与业务结合的应用场景。从这个场景切入,因为这是在业务这一侧表现出来的显著痛点,高层们都非常重视。
但正式对接之后,我们与客户IT团队一起很快意识到,第一层和第二层楼(“数据的基础”)还没有盖好,直接上马第三层楼(“AI应用”)是不切实际的。
具体来说,要对门店销售进行预测,需要对门店促销的历史数据以及销售数据进行关联建模。门店会对不同单品进行促销,并根据季节因素经常性的轮换推荐不同的产品。不同单品的促销与否以及推荐力度,毫无疑问会直接影响到单品销售额以及门店销售额的变化。更进一步,有些门店还会根据一些门店端非常特殊的原因,比如极端天气或者小区周边活动等,进行促销的调整。这些促销相关的数据,对于发现产品销售的关联性至关重要,是构建模型特征工程的关键变量。
我们与客户IT团队紧密合作,对相关促销数据进行了系统的梳理,发现历史数据有很大的缺失。算法团队花了大量的时间来构建与寻找合适的模型特征指,但由于关键数据的缺失,模型效果提升很缓慢。
更进一步追踪,为什么这些关键的促销数据在之前并没有很好的得到留存?一个关键原因是BI(商业智能)的应用还没有到位。
客户以往看数据做决策主要是去看POS、ERP系统里面自带的报表数据,以及加上OA里面有一些汇总类或者填报类的数据。而业务系统里面的报表数据,与真正的BI的应用还是有本质区别。
BI的各种应用帮助企业打通各个核心业务环节,倒逼企业构建扎实的数据基础。比如,通过BI里面的联动分析,分析某单品促销与销售的整体关联表现,再进一步进行BI的钻取分析,追踪到具体门店级别的,发现某单店的关联表现。
类似的这些分析场景都是非常经典的BI分析场景,如果有了这些分析,就能够第一时间发现,其实有些分析是无法进行下去的,原因是对应的原始数据并没有落下来,比如前面提到的促销数据。而这些发现是将进一步的倒逼IT系统的完善,以及相应业务流程的完善,及时补充数据完整性和一致性。
而这个层层倒逼的逻辑,在我们另一个500强客户身上也是出奇的一致。
这是一个FMCG快速消费品巨头的中国业务,我们的目标是将销售预测的准确率再提升5个百分点。
相对大部分国内客户而言,这家全球客户有更深入的BI投入和应用基础,有相对完备的数据沉淀,所以启动AI的应用容易很多。但是,当真正进入到最后1%就要落地的时候,我们遇到了很多“地雷”。
很有意思的是,这些“地雷”都不是AI算法直接相关,也基本都是数据不一致的问题。更进一步,我们发现这些数据基础问题,都是出现在相应的BI场景还没有覆盖的地方。比如该客户BI场景正要但还没有覆盖到品类促销的主题分析,所以这些场景背后存在很多的数据孤岛以及对应的数据口径不一致的逻辑。
为了进一步推动AI场景应用的落地,我们与客户讨论发现,最快的办法是先回到BI层面,快速的把缺失的分析场景进行敏捷的构建。
这个构建的过程本身带来了数据孤岛的打通、指标体系与统计口径的一致,以及确认了各业务部门的统一视角。所以,BI的不断完善,本质上是为AI场景的落地夯实了基础。
“无BI,不AI”
在《数据的本质》里面,品觉老师把“数据”与“智能”两者比喻为气宗与剑宗。剑宗强调犀利快速,而气宗强调底子扎实和后劲十足。两者的关系是以气御剑,剑气兼修。这个比喻非常形象。
我们观远数据提了一个说法叫:“无BI,不AI”。也许有些绝对,但这个理念我们在与大量客户合作的沟通中确实发现很有普适性。
BI与AI两者相辅相成,当构建的BI分析场景越来越成熟、完善,能够进行算法和模型的AI应用越多,而反之,则不断倒逼基础分析和数据的完善,形成良性的闭环。
从BI分析到AI应用,不断倒逼升级数据基础。从数据出发,反复迭代,最终构建企业的决策大脑。
本文作者观远数据创始人兼CEO苏春园,卡内基梅隆大学信息技术与管理专业硕士,曾担任纳斯达克上市公司MicroStrategy微策略全球高管&中国研发总裁,为多家500强客户提供商业智能与大数据分析产品与方案。
观远数据是一家数据分析公司,获得红杉资本等多家VC投资,为新零售、金融以及泛互联网客户通过AI+BI的一站式智能分析平台,让企业决策更智能。
- ?
大数据时代,数字媒体需要何种数据支持
之玉
展开
其实与传统媒体相比,数字媒体有更大的价值。谁能定义大数据时代,那么谁就将获得新的话语权。
我们在商场里看到一台广告机,你需要知道它面前经过多少人,有多少人关注,都是些什么人?投放效果如何?从广告机发展至今,这些问题也没有得到很好的解决。在其它媒体都有各自统一的效果测量标准之时,数据的缺乏已然成为阻碍线下广告行业进一步发展的瓶颈。
现在,数据缺乏的问题还没得到初步解决,大数据时代已经到来,数字媒体是否能够抓住机遇,实现行业跨越式的发展,取决于我们自己的选择。
数字媒体现在在使用什么样的一些大数据呢?国外的数字媒体程序化购买平台所涉及的数据来源,系统设有强大的消费者分析和数据整合工具。它们结合消费者的心理和行为数据,进行数据分析、关注用户进行标签化分类。
星宏视界智慧广告机则是来自于自身数字用户和实时场景受众,星宏视界可以根据实时的消费场景,对关注用户的年龄、性别、表情、关注度等数据进行收集,并且对这些信息进行便签化分类和数据匹配,最终将合适的内容展现在受众面前。
智慧广告机打破行业限制,让人人都参与到数字媒体中来,为购机者带来实实在在的收益,为广告投放者提供全方位精准投放,从根本上实现广告生态新模式。彻底改变传统媒体的价格高、覆盖范围小、精准度低的缺点。数字媒体是以点对点的连接,对于广告投放者可以进行“全域”或者是“区域”的定点投放,充分贴合广告投放者的曝光需求,让投放更精准。
大数据时代已经到来,这些涵盖数字媒体所有影响人群位置、年龄、性别、心理、习惯等因素的数据信息,才能称之为本文我们所谓的数字媒体大数据。
数据支持
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并