- ?
这些利用大数据做工业设备监测的公司,你都应该关注一下
雍以筠
展开
工业互联网、工业4.0、中国制造2025......各种各样关于“智能制造概念”的相继提出,让世界的目光再次聚焦于工业制造领域。
第一次工业革命的大幕由蒸汽机拉开,让世界进入了"蒸汽时代",第二次工业革命电力成为了生产力的主角,将人类带入了"电气时代",第三次科技革命计算机及互联网粉墨登场,让世界迈入了"信息时代"。如今,云计算、物联网、大数据、人工智能等新概念与新技术的提出,将延续科技革命的力量推动人类进入"智能时代"。
本次,小猿君向大家介绍几家工业领域利用大数据做设备监测的公司,通过这冰山一角窥探“大数据”如何在工业领域实现价值落地和大数据如何改变“第四次工业革命”的进程。
树根互联
说起工业大数据就不得不提脱胎于三一重工物联网部门的树根互联。树根互联成立于2016年6月,是三一重工内部创业孵化项目,其总经理是三一重工高级副总裁贺东东。依托在三一重工期间积累的力量,树根互联的“根云”平台已经可以和GE的Predix相媲美。目前,树根互联的解决方案覆盖了风电行业、发电机、缝纫设备、工地设备、光伏行业,并在半年时间内拓展了42个细分行业,其工业互联网平台“根云”平台已接入能源设备、纺织设备、专用车辆、港口机械、农业机械及工程机械等各类高价值设备超40万台,包括45个国家和地区,形成了全球化服务能力。
“根云”可进行多个行业和领域的设备监测,例如,在风电机组的故障预警和诊断领域,“根云”基于风机历史和实时运行数据、故障数据、环境数据,通过数据预测增强风电场运行的计划性和效率,整体提高风电场运行效率、效益,在充分利用数据和知识的基础上,实现风电机组的远程故障预警及诊断。在光伏行业,可实现分布式光伏电站的集中化、远程化监控,及时发现并解决故障隐患,实现无人值班或少人值守。
日前,树根互联宣布在2017年已完成数亿元首轮融资,由国投创新、经纬创投联合领投,中移基金、海捷资本跟投,发展势头一路向好。
观为监测
观为监测是一家专注于工业运维领域的大数据预知性维护服务机构,为企业提供全生命周期设备健康预警和诊断分析服务,有自己的注册服务品牌“设备健康体检中心(MachineHealthcare Center, 简称MHCC)”。
观为监测的M9000在线状态监测系统可以对在运行状态的设备提供7x24小时的不间断监测和诊断分析服务,通过随时监测评估设备的运行状态,提早发现设备早期故障隐患,并及时发出建立在标准化基础上的分级预警和报警,为进一步的故障分析、设备性能评估提供信息和数据。其位于无锡的MHCC设备健康体检远程诊断中心(MHRDC)远程接入的关键机组设备近2400台,数据中心容量超过20TB,每年向各行各业出具上万份设备健康诊断分析报告,并提供诊断回溯机制,2017年该平台成功入选工信部全国大数据50家优秀解决方案。
观为监测目前所服务的行业涉及风力发电、水和污水处理、煤炭、石油石化、港口地铁以及军工等,公司服务过的客户有中国华能、通用电气、西门子、中船重工、中航油、中航工业、海军总装备部等央企、外企和军工单位,长期服务于美国雪佛龙、神华、华润、中船重工等世界500强标杆型企业。
观为监测还是国内首家经国际标准化认证组织授权的ISO国际振动分析培训认证基地,是国际标准化认证组织MiBOC 授权的ISO 18436-2 国际振动分析培训和认证基地,已先后为国内一批具有重要影响力的企业集团培训了近两百名取得国际振动分析师认证的高级专业人才,是国内第一个取得培训和认证ISO 18436-2三级(高级)国际振动分析师资质的培训中心。
观为监测于2016年8月登陆新三板。
寄云科技
寄云科技是一家年轻的工业互联网平台厂商,其开发的工业互联网平台NeuSeer能够支持海量工业数据存储和查询的时序数据库,包括大量预处理算法、故障诊断、性能评估和故障预测算法和模型的工业大数据建模和分析平台,同时还提供工业应用开发、分析的框架和服务,支持客户或者合作伙伴在应用开发框架上进行深度二次开发。
寄云NeuSeer工业互联网平台有三大重点服务行业:轨道交通、电力能源、装备制造。
寄云利用历史数据、检测数据建立关键零件和设备的失效模型,准确预测其剩余使用寿命,大大减少了因未预知的零件和设备的失效导致的非计划停机等带来的损失。以电力能源行业为例,寄云通过工业物联网网关,实时采集电厂关键设备的传感器数据,并将这些数据存储于大数据平台之中,帮助电厂实现运行设备的实时监测(实时温度场、应力场的监测)、运行状态统计分析(残余寿命分布)、风险及故障预警(寿命下限报警),并对关键部件的维修、更换及检验提出建议。在某工程公司管控中心项目中,寄云科技以大数据分析平台为基础,建立故障分析模型,对设备运营数据流进行统计分析,找到了在施工过程中重型设备出现故障的根本原因,为该工程公司节省了上千万的故障和维修投入。
2016年5月11日,寄云科技宣布完成Pre-A轮千万级融资,投资方是丰厚资本和爱数。
普奥
普奥成立于2015年8月,是一家工业互联网产品和服务提供商,有ProudLink(无线传感网关),ProudThink(工业互联网平台),ProudArk(工业互联网搜索)三款平台级产品。
普奥ProudThink智能管控平台通过传感器,控制系统,原有监测系统,离线监测设备等采集生产设备的状态数据和工艺数据,将数据清洗计算之后存到基于hadoop的大数据平台上。工厂设备检测人员可以通过平台提供检测报告,同时可以在平台构建设备服务平台,将设备管理和维保管理集中在一个平台上管控,然后通过不断的数据积累和数据分析,将专家经验固化成故障预测模型,同时不断地训练模型,让设备故障预测更加准确,减少设备非计划性停机。
普奥是百度开放云、微软云的工业云合作伙伴,与中电数据、昆仑海岸等物联网上下游厂商达成了战略合作。
2015年成立的普奥“年纪轻轻”就已经有30项专利技术“傍身”,还参与制定了《2016年信息物理系统白皮书》、《2016年中国工业互联网标准体系框架》等7项行业标准,也是国际工业互联网联盟、中国工业互联网产业联盟、中国智能制造产业国际合作委员等10个行业联盟的理事、会员,团队的核心成员均来自艾默生、西门子、IBM、HP等知名企业,在工业大数据、工业云、工业物联网等技术领域积累了丰富的经验与能力。
应势科技
应势科技运用AI与机器学习的技术,通过自动、持续的数据学习、发现模式,构建可验证的预测模型,从而实现对大型工业设备的故障预警。
应势科技成立于2014年5月,成立至今一直在打磨产品、研发算法和培育种子用户。由应势科技研发、拥有我国自主知识产权的拳头产品Dataneuro目前已正式落地,功能包括数据清洗与预处理、数据参数敏感度评估、数据参数敏感度评估、数据特征挖掘与建模、历史状态评估、实时状态预警监测,对特征数据挖掘中存在的噪音数据进行删除、转换、填充;指导用户去除庞大的传感器数据中不敏感的参数,提高特征挖掘和数据分析的效率;快速从大量数据中提取有价值的状态特征和建立特征模型;通过对数据特征分布等的分析,快速发现设备或过程历史上的不稳定时间区段与特点,定位设备故障或过程不稳定的预警特征;基于已建立的数据特征模型,实现对设备或过程的实时传感器融合数据的预警监测。Dataneuro技术可广泛适用于设备制造和流程生产行业,如电力、石化、航天航空、精密加工、高端设备制造等行业的设备或过程的智能监测。
应势和国内外多家知名企业建立了合作关系,如中石化、Magna、CarnaudMetalbox、宝洁等。
容知日新
容知日新成立于2007年, 是一家在工业监测领域拥有完全核心自主知识产权的公司,也是中国设备管理协会下设的装备智能服务中心。成立10年来,一直致力于利用无线传感器网络和大数据技术为工业企业提供装备智能服务解决方案,产品和服务实现了走出去,已服务于美国、法国、俄罗斯、意大利、巴西、智利等35个国家和地区。目前公司产品已获得3项发明专利、2项实用新型专利、3项外观设计专利。
容知日新的智能全无线数据采集产品,借助低频加速度传感器、振动传感器和在线油液监测技术匹配使用的策略,使数据采集能力得到极大提高。
容知日新公司的远程诊断中心可以远程监测8000余台分布全国的大型工业机械设备,为中石油、中石化、中国海油、中国化工等大型化工集团提供关键机泵24小时不间断状态监测。
以容知与天津石化的长期预测性维护服务合作为例。天津石化从2010年12月开始,现场共计105台机泵设备接入容知装备健康智能诊断平台。截至2017年12月,系统为天津石化现场推送月度设备状态报告70多份,成功为现场诊断设备故障案例60多起。容知日新的装备智能诊断运维服务有效减轻了现场设备管理压力,通过对设备状态的实时掌控,避免因某一部件失效导致对设备的严重伤害。
2016年9月20日,容知日新远程诊断中心通过了德国劳氏船级社(GL)认证。这是继2015年6月容知日新CMS系统全国首家通过GL认证后,公司再次获得该认证。目前,容知日新是国内唯一一家产品与服务都获得GL认证的公司。
- ?
制造业生产数据采集的作用与意义
思柔
展开
制造业生产数据采集的作用与意义导读:制造业是我国国民经济的支柱产业,也是推动工业化的原动力,现代制造业已经并且正在深刻地改变着人们的生产方式、生活方式甚至社会文化。全球经济一体化的趋势愈演愈烈,国际竞争不断加剧,制造业的发展必须不断提高在质量保障、品种多样化、快速设计制造、快速检测响应以及快速重组等方面的要求。于是,“以信息化带动工业化,以工业化促进信息化”被提到了前所未有的高度、深度和广度。
制造业生产数据采集的作用与意义
众所周知,制造业的信息化主要包括设计数字化、生产数字化、装备数字化、管理数字化、企业数字化等。信息化的大趋势使世界各国争先恐后的把先进技术和信息化引进到传统工业和制造业。1990 年,美国 AMR(Advanced Manufacturing Research)所提出的制造行业的ERP(Enterprise Resources Planning,企业资源规划)/MES(Manufacturing Execution System,制造执行系统)/PCS(Process Control System,过程控制系统)三层结构,已经成功地在许多行业得到了应用,并被越来越多的企业所认可.
美国 AMR 研究公司对MES 的定义表述为:MES 是一个常驻工厂层的信息系统,介于企业领导层的计划系统与生产过程的直接工业控制系统之间,它以当前视角向操作人员、管理人员提供生产过程的全部资源(人、设备、材料、工具和客户要求)的数据和信息,其着重点是将信息技术运用于改善制造过程。
而作为MES中低层的数据采集功能,可以实现对生产现场各种数据的收集、整理工作,是进行物料跟踪、生产计划、产品历史记录维护以及其它生产管理的基础。它可以为企业中其他例如ERP等管理信息系统提供实时数据。另一方面,MES也要从其它管理系统中获取相关的数据以保证MES自身正常运行。因此要满足MES快速、实时的要求,作为各种功能模块运行基础的数据就显得十分重要。一个迅速而可靠的数据采集系统是整个MES能够正常稳定工作的有力保证。
制造企业面临的数据采集现状
作为车间底层的数据采集系统,在企业实际生产过程中却存在着许多困难,尤其是在离散企业中由于自动化程度较低,往往存在着以下特点:
生产过程不可视:主要体现在不能实时了解生产现场中在制品、人员、设备、物料等制造资源和加工任务状态的动态变化。
生产过程复杂性:由于产品结构和加工工艺的复杂性,造成生产过程中各制造过程的关联性强,生产环境复杂多变(临时插单、材料短缺等) 。
制造过程信息集成度低:制造过程中的各种信息不能有效进行集成,导致产能不能得到充分利用。
信息不能有效与上层管理系统进行集成:这种隔断造成生产过程不透明,生产进度、在制品状况、设备利用状况等关键数据不能到达管理层,增加了过程管理和生产决策的复杂性。
制造过程信息的真实性差:现场数据信息过多依赖人机交互界面通过人工录入,增加了出错的机率。
制造过程信息的实时性低:作业任务随市场需求的频繁调整变化,不利于制造过程信息的实时采集,再加上制造过程信息交互的速度和效率低下,造成企业对市场变化的响应速度慢。
企业设计层和管理层到车间层特别是车间设备层的信息采集困难,一方面车间设备层的重要信息难于采集和上传,无法达到对生产过程的监控。另一方面上层系统难以深入到车间和设备层,从而影响管理信息系统的准确运行,使动态信息成为脱离实际的无源之水难于及时下达,从而使整个企业信息化难以产生更大的效益。
上述特点反映了制造车间迫切需要对制造过程进行信息化的数据采集管理,从而建立一个完整高效的离散制造车间数据采集及其分析处理系统是实现离散车间信息化的基础。数据采集及其分析处理系统的主要功能就是将车间的各种离散数据完整实时的采集到车间数据库中,并进行初步的分析处理,将车间生产的信息实时准确的反馈到车间的管理层,加强管理人员对车间生产现场的监控和管理,并为企业管理人员制定生产计划提供依据。
华磊迅拓科技专业提供SCADA数据采集监控系统,OrBit-SCADA(Supervisory Control And Data Acquisition)系统是"制造业物联网信息总线"的具体实现,它包含两个层次的含义:一是分步式的实时数据采集系统,即工业通讯与控制的PC上位机系统 ;另一个是生产现场的场景建模和显示系统。
- ?
智能工厂:你一定不知道的企业数据智能采集与处理办法!
棱角
展开
1787年第一架纺织机的出现,第一次工业革命正式拉开序幕。随着蒸汽驱动机械制造设备的出现,人类进入机械时代。
火车喷出的浓烟在英格兰风景如画的旷野中升起,19世纪末至20世纪初,第二次工业革命将人类带入自动化世界。
从20世纪四五十年代以来,原子能、电子计算机、微电子技术、航天技术等领域取得重大突破,第三次的工业革命到来,世界格局发生重组改变。
现在,工业4.0已经到来,第四次工业革命的目标是工厂智能化,是基于信息融合,大数据、物联网等实现智能制造。
工业4.0离你的企业实务有多远?智能信息化究竟会给你的企业带来什么样的影响?
比如,制造企业在进行数据采集和处理时经常会遇到类似的问题:
数据采集效率低;例如:采购收货采用的是打印送货单的方式收货。数据采集耗时长;例如:从到货点收到数据录入系统耗时长。数据处理不智能;例如:库存不足时系统不会自动预警或者智能性的自动转采购订单。
制造企业只有软硬件完美结合,用智能信息化系统结合智能硬件设备,最终才能实现工厂智能化。
采购入库通过扫描送货单上的二维码或者条形码,采集送货单号后匹配后台的采购订单信息,自动抓取采购单信息进行数量确认收货,保存后实时上传后台。生产领料生产领料时,可实时查看现有库存及库位,通过扫描库位上的二维码或者条形码进行智能领料。生产入库生产完成后,录入物料信息自动带出库位信息,将货物移转到仓库后扫描库位上的二维码或者条形码进行智能入库。销售出货销售出货时,通过扫描库位上的二维码或者条形码进行物料及数量的匹配后,进行智能出库。盘点仓库盘点时,采用PDA的方式扫描库位上的二维码或者条形码进行快速盘点。简易报工扫描制令单上的二维码,自动带出工序讯息后维护数量,轻松完成报工。简便追溯客户发现品质疑问产品,用手机或二维码扫描设备扫码产品二维码,即显示该产品的生产相关信息,如:公司,生产班组、作业员、检验员、出厂日期。
经过信息化管理之后,企业数据实现快速收集以及智能处理。正如正航智能制造解决方案,帮助企业搭建智能管理平台,提升企业生产效率、提高产能、规避错误、放大管理力,通过快速,智能的工作方式帮助企业实现流程的规范化,智能化,最终实现工厂智能化。
- ?
大数据企业100强
Woodrow
展开
互联网时代,最明显的一个特征就是绝大多数信息都是以数据的形式进行记录,可以说数据就是信息的载体,也是知识的来源。数据体量呈现出爆发式增长,人们在笑谈大数据时代“你的信息只值五毛钱”的时候,不得不重新认真思考它的价值。
大数据有没有价值,在于是否应用得当
随着国家将大数据战略提升到国家战略高度,将大数据视为经济发展和转型的重要科技依据,越来越多的企业组织已将数据视为重要资产,着手开展数字化转型的系列举措,以期全面提升客户体验,推动经济增长。
无疑,大数据时代,数据资产已成为一个企业的核心竞争力。但数据在手,不会运用它,就会毫无价值。在当下企业数字化浪潮中,数据是企业转型的基础元素,如何将企业不同业务、类型的数据应用起来,推动企业运营,增加收入、降低成本、提高效率,控制风险等,是企业现在面临的难点。
用友云分析服务针对企业数据分析的关键技术及应用场景等推出了《分析云技术白皮书》,助力企业走出数据分析的盲区,实现数据化管理与运营。用友云分析服务支持将多个不同的数据源汇总到数据共享中心的大数据平台。通过内置的用友DI数据集成平台将企业各业务系统的数据进行采集,再加载到用友云分析服务的大数据平台。经过元数据管理系统的比对、校验、转换得到一致的数据。从而进行数据整合,根据不同的需求,提供差异化服务。
应用越广泛,受到的安全挑战越大
大数据技术,悄然渗透到各个行业领域,逐渐成为一种生产要素并发挥着重要作用。然而,大数据技术使得产率提高和改变生活方式的同时,随之而来的安全挑战也日益显现。
例如,政务大数据覆盖行业范围广泛、数据结构多样、关联关系复杂,而且涉及大量个人隐私数据、国家敏感数据等重要数据。因此在开展政务大数据应用的同时,数据和平台安全尤为重要。
值得一提的是,3月25日,华为云数据库安全服务正式上线,以期打造高效云上数据防护体系。华为云数据库安全服务,通过三步走的数据库安全防护设计,保障数据系统安全。第一步:定位敏感数据在数据库中所处的位置,通过构建安全策略来提早防护。第二步:通过定义基于多维度的策略,阻止应用直接访问数据、利用操作系统和第三方应用程序漏洞的攻击。第三步:一旦发现入侵行为,采取必要措施进行封堵,以回溯和确认攻击源头,还原恶意行为的蛛丝马迹,从而进行管理措施。
大数据与人工智能携手发展
大数据与人工智能相互依托,有着紧密的联系。巨大的数据量为人工智能提供了发展空间。从早期的支持向量机、决策树,到近期的人工智能神经网络,数据越多越有助于人工智能的发展。同时,大数据也需要更新的模式来处理它,通过这个过程发现更多隐含规律。
在当下,在未来,或许人们已经不能忽略“大数据与人工智能”这两个重要的技术协同运用所带来的具大效应。人心齐,泰山移。独脚难行,孤掌难鸣。在互联网时代,一味地竞争已经没有未来。只有携手共求发展,或许才能创造出一个大国品牌。
(文/红薯)
- ?
盘点丨2017年国内最酷的10家大数据创业公司
保镖
展开
【IT168 专稿】导语:IDC发布的预测报告显示,到2021年中国数字经济的比重将达55%。中国的人口和经济规模决定了中国的数据资产规模冠于全球。这不仅为大数据技术的发展提供了演练场,同时也提出了更多、更高的要求。
大数据领域每年都会涌现出大量新的技术,成为大数据获取、治理、存储、分析或可视化的有效手段。而创业公司正在成为大数据技术创新的中坚力量,他们正在不断开发更多更加先进的软件或系统来满足这些大数据需求。
2017年,国内大数据领域就有这样10家创业公司吸引了我们的注意。(排名不分先后)
星环
▲CEO:孙元浩
星环的研发团队是国内最早的大数据Apache Hadoop发行版团队,专注于大数据和人工智能基础平台研发,主打产品一站式大数据综合平台(TDH)和通用人工智能平台Sophon。产品虽然源于Hadoop,但超越了Hadoop,特别是在分析型数据库、流处理技术、大规模分析型搜索引擎以及图形化的大数据开发工具套件方面,已经完全重构。
通过自主研发,星环实现了多项技术的突破, 如基于Hadoop平台构建数据仓库,实现利用Hadoop技术替代传统数据仓库案例;实时计算引擎,融合了低延时的事件驱动机制和复杂批处理编程模型的流处理引擎,支持复杂SQL、CEP复杂时间规则和机器学习,和Spark Streaming相比,星环Slipstream延时低至10ms;大规模搜索引擎,实现PB数量级上秒级延迟,同时具备搜索和统计分析能力。
2017年发布的TDH5.0,让基于容器化进行部署大数据平台成为可能。Sophon支持图形化拖拽式的统计分布式机器学习和深度学习的模型开发以及自动建模。
TDH社区版目前向所有人免费开放,在星环官网或腾讯云上都可以下载使用。
星环成立于2013年,总部位于上海。在Gartner发布的2016版数据仓库及数据管理解决方案市场的魔力象限中,星环是唯一上榜的中国公司。今年10月,在IDC发布的《IDC MarketScape:中国大数据管理平台厂商评估,2017》报告中被评为领导者。
融资方面,2017年5月,星环完成了由腾讯领投的C轮2.55亿融资。 6月在全球著名的第三方评测组织TPC上发布的TPCx-HS10TB测试结果,位列全球第一。
百分点
▲CEO:苏萌
百分点成立于2009年,总部位于北京,是一家大数据与人工智能解决方案提供商。产品线全面涵盖大数据技术、管理、应用各个层面,其核心产品包括技术层的大数据操作系统(BD-OS),管理层的用户画像标签管理系统,以及应用层的推荐引擎、分析引擎和营销引擎。
2017年12月百分点发布Deep Matrix AI决策系统,通过该系统,用户可以进行复杂业务问题的自动识别、判断并做出前瞻或实时决策。
从百分点公开案例数据显示, 国家质检总局凭借这套智能决策系统进行召回判断,由每季度组织十多名专家耗费数百小时的会商制度转变为“1人+机器协同”的实时决策。上线1年,百分点这款产品已经处理了1000多起汽车召回案例,也协助完成了5000多万辆汽车的召回。
在Gartner发布的“2016 China Cool Vendor”评选榜单中,百分点曾作为唯一一家大数据公司入选。2017年,又被APAC CIO Outlook杂志评选为2017年亚太区大数据企业25强。
在融资方面,百分点已完成D轮融资,累计融资额10亿元人民币,创企业级大数据领域融资最高记录。2017年12月29日,百分点还宣布,全资并购在线调研公司极速洞察。
与大部分大数据创业公司业务都在国内不同,百分点还在积极开拓海外市场,其产品在非洲、拉美以及更多国家和地区都有落地。
明略数据
▲CEO:吴明辉
明略数据成立于2014年,总部位于北京,是行业大数据和行业人工智能的解决方案提供商,技术能力较强,无论是大数据还是人工智能,都有自己的核心产品,并由这些产品构成自己的解决方案。
2017年上半年,明略数据发布了行业人工智能大脑“明智系统”,知识图谱数据库“蜂巢”和智能决策支持问答系统“小明”。通过以上产品,用户可以较为容易的构建特定行业领域的知识图谱,并实现人机交互,从而提高企业决策的精度、速度、敏捷度,降低知识劳动力成本。
明略数据核心业务有三个板块:公安、金融、工业。虽然不多,但每一个行业做得都很深, 2017年,明略数据获“德勤—华兴中国明日之星”,其公安情报大数据系统还入选数博会“十佳大数据案例”等。
在融资方面,据了解,明略数据2017年已经完成C轮融资,但并未对外发布,具体金额不详。
天眼查
▲CEO:柳超
天眼查成立于2014年,是一个以公开数据为切入点,以关系为核心的大数据产品平台。其使命是“通过技术让每个人公平地看清这个世界”。
目前,天眼查收录了全国超1.4亿家市场主体,80多种数据维度信息。不仅可以可视化呈现复杂的商业关系,还能深度挖掘和分析相关数据,预警风险等。其核心功能为“查公司”、“查老板”、“查关系”。
天眼查产品能广泛服务于政府机构、泛金融、泛法律、泛商务等领域,应用于金融信贷、风险控制、 项目尽调、商业合作、信用评级、精准决策、客户营销等各类场景。
融资方面,2017年3月,天眼查完成A轮1.3亿人民币融资,这超过了世界上95%的A轮融资额度,也是商业调查工具行业至今最高额度的投资。
神策数据
▲CEO:桑文锋
神策数据成立于2015年,总部位于北京,是一家大数据分析服务公司。主打产品神策分析(Sensors Analytics),是一款用户行为分析产品,主要针对营销渠道效果评估、精细化运营改进、产品功能及用户体验优化、辅助管理层决策等典型业务场景。提供私有化部署和SaaS两种部署方式、实现基础数据采集与建模,并可作为 PaaS 平台支持二次开发。
该公司特色是技术团队对众多开源技术平台进行了重写,如对Impala查询引擎等技术的重构,通过数十万的代码的重写实现了真正海量数据秒级查询,这在国内的大数据领域独树一帜。
神策分析能有效帮助企业用户节省数据团队与业务团队之间的沟通成本与人力成本,同时使一些不具备设立数据团队的创业公司有了自己的数据资产累积平台,从而提升了企业决策效率。
融资方面,2017年,神策数据完成1100万美元B轮融资。
PingCAP
▲CEO:刘奇
PingCAP 是开源的分布式关系型数据库提供商,核心产品 TiDB 是一款定位于在线事务处理/在线分析处理的融合型数据库产品,该产品从根本上解决了传统单机关系型数据库的水平扩展问题。
TiDB 模型参考了 Google 最新的全球分布式数据库 Spanner/F1,具备一键水平伸缩,强一致性的多副本数据安全,分布式事务,实时 OLAP 等特性,同时兼容 MySQL 协议和生态,迁移便捷,运维成本低。
据了解,目前准生产测试用户约 500 余家,其中摩拜单车、同程旅游、360 金融、游族网络,去哪儿网等数十家不同行业的领先企业已经应用在实际生产环境,涉及互联网、游戏、金融、政府、电信、制造业等多个领域,帮助企业解决了海量数据存储、超大规模并发访问及交易问题。
PingCAP 总部位于北京,成立于 2015 年。融资方面,2017 年,PingCAP 完成了 1500 万美元的 B 轮融资;2017年,PingCAP还完成与腾讯云、UCloud 等大型公有云平台深度集成。
爱可生
▲CEO:李恒
爱可生成立于2003年,总部位于上海,定位于开源数据库整体解决方案和行业数据应用。相关数据技术已服务于中国银行、招商银行、中国人保、航天科技、金风科技、中国移动等众多金融、智能制造、电力、电信等行业大型企业。
爱可生的云树产品系列具备自主研发的分布式技术和私有云数据库(RDS)核心技术, 并入围了央采2017年度软件招标名录。 产品满足了金融行业对开源数据库高可用、扩展性、容灾的严苛需求以及金融体系运维体系规范要求。产品已在线上系统中支撑了众多金融等行业的核心交易系统,并支持了数千个开源数据库实例的大体量运维管理。
行业数据应用方面,爱可生基于对智能制造、电力行业等工业互联网场景需求理解,融合结构化和非结构化的数据处理技术,帮助用户建立统一数据管理和服务平台,在多场景下的基于数据的决策或预测模型已形成可落地的解决方案。
融资方面,爱可生是新三板创新层企业,2017年完成了B轮融资,融资金额5065万元,投资方为达晨创投、毅达资本以及创合汇。
2017年,爱可生在“融资中国资本年会”上荣获 “年度最具投资价值新三板公司”。
瀚思科技
▲CEO:高瀚昭
瀚思科技成立于2014年,总部位于北京,是一家大数据安全公司,拥有整套自主研发的基于大数据的信息安全产品,通过以HanSight Enterprise产品为核心的各个产品相互配合、补充,形成完整的信息分析的平台,来满足用户信息安全需要。
基于大数据的安全分析, 机器学习的用户行为分析,深度学习的未知病毒木马检测引擎DeepSense等技术,瀚思科技能大量缩减企业威胁的发现和处置时间,并通过自动化分析处置流程提高威胁分析处理效率,帮助企业降低安全风险。
融资方面,2017年 ,瀚思科技获得国科嘉和、IDG领投资的人民币1亿元B轮融资。
2017年,瀚思科技入围央采2017年度软件招标名单,并连续三季度入选Cybersecurity Ventures2017网络安全全球500强,在入围的中国安全企业中排名第三,同期入围《安全牛》发布的2017中国网络安全企业50强,位列第38位。
SequoiaDB巨杉数据库
▲CEO:王涛
巨杉数据库成立于2011年,总部在广州,是分布式数据库提供商。主要产品有两个:企业级分布式数据库SequoiaDB巨杉数据库,以及分布式企业内容管理软件SequoiaCM。
其核心数据库产品目前实现了分布式OLTP,分布式对象存储以及分布式NoSQL实现全类型数据的覆盖。技术上具备分布式架构、多模数据管理(Multimodel)、标准化数据访问、数据安全双活容灾、与混合负载HTAP等几个重要的技术特性。
巨杉一大特点是坚持自主研发, 其产品在稳定性和企业级支持服务、开发应用友好度、性价比和高可用安全等方面的口碑不错。目前其产品不仅在超过20家银行用户上运行。还拥有近百家的企业用户。
2017年,巨杉数据库入选Gartner数据库报告,这是中国数据库产品的首次入选,一同入选的还有南大通用和阿里云。
据了解,目前,巨杉数据库除了国内市场外还在积极布局海外市场。
热云数据
▲CEO:白冬立
热云数据成立于2013年11月,总部在北京,是一家定位移动互联网领域的第三方大数据服务商。通过精准的人群定位、全面的用户画像及实时的广告效果监测来帮助广告主优化广告投放策略、投放质量、从而节约广告投放成本,提高运营效率。
自主开发了游戏运营支撑平台、防作弊监测技术、移动广告效果监测平台、用户流失预测模型、移动DMP、移动大数据标签系统、渠道数据分析系统等技术产品。
热云数据在数据分析技术方面较为领先,独创的防作弊技术、防刷量和去重等机制,能帮助移动互联网企业在投放过程发现作弊和刷量等点击数据,真实反馈用户的真实行为,减少投放浪费,高效获取真实的用户。
在融资方面,2017年5月热云数据完成B轮1亿元人民币融资。2017年,热云数据还牵头成立了“中国诚信移动广告联盟”-CMAA。
- ?
超实用:通过Excel进行数据采集
凌瑶
展开
前言
IBM大中华区总经理胡世忠曾说:数据构成了智慧地球的三大元素——智能化、互联化和物联化,而这三大元素又改变了数据来源、传送方式和利用方式,带来“大数据”这场信息社会的变革。
从上可见,时代的变革是源于对数据的利用,对企业而言,数据也同样是其发展、转型的命脉。在工作中,我的前辈不止一次地强调,数据是公司的资产,而且举足轻重。我们对待数据,一定要严谨,经得起考验,对自己的数据负责,这是一个数据人的基本要求。
数据资源
大数据时代,数据虽然很多,但是也不是随意得来的,需要利用各种渠道和方式获得。不管从哪个角度来说,数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的,我们应该对这些数据挖掘、收集有价值的东西,形成企业的数据资产。内部数据重在后期的处理和分析上。
下面先说外部数据的获取方式,以及通过Excel操作来获取外部数据。
外部数据获取方式
1、专业网站看数据(某一个行业、某一件产品)2、通过收费渠道买数据(第三方数据平台等)3、通过特殊形式引数据(网站爬虫,统计网站等)4、自身积累数据(时间久、跨度长)
Excel获取外部数据
作为一个数据分析师以及想更进一步成长为数据科学家,熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。
第1步:打开“新建web查询”框。新建Excel工作簿,在打开的工作表中单击“数据”选项卡,然后在“获取外部数据”组中单击“自网站”按钮,如下图。
第2步:输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址,然后单击“转到”,找到网站中的表格数据后单击表格左上角的箭头→,图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。
第3步:选择数据的放置区域。点击导入后,Excel会出现“导入数据”对话框,如下图,选中你想放置的单元格,单击“确定”开始导入。
第4步:美化导入的数据。由于导入的数据多且乱,要调整格式使数据规范,并启用冻结窗格功能方便浏览。如下图。
好了,上面就是通过Excel操作来获取网站上的外部数据,很简单吧,但网站中的数据并非都是以表格的形式呈现,现在大部分是以json格式呈现,Excel不是万能的,而且现在很多网站需要付费才能导数据(上面说过数据就是企业的资产)。
小结
希望通过上面的操作能帮助大家。如果你有什么好的意见,建议,或者有不同的看法,我都希望你留言和我们进行交流、讨论。
End.
- ?
小公司收集大数据的5种创新方式
罗切斯特
展开
在尝试应对收集和分析大数据的挑战时,小型企业可能会觉得自己陷入了困境。不过,即使财富500强的IT预算比小企业过去的十年的收入还要多,小企业也不会被这些大公司远远地甩在后面。
而目前小企业利用大数据的机会从来没有这么好。多家企业已经在SaaS(软件即服务)平台上推出了大型数据收集和分析工具。这意味着小企业不需要投资昂贵的硬件,聘请昂贵的数据专家,然后自行部署复杂的算法。
但即使是SaaS大数据平台,企业仍然需要高质量的数据来帮助达成数据驱动的决策。再次,深吸一口气。虽然很多企业收集了大量的数据,但必须认识到要让信息能够为未来的分析进行正确分类。
1.交易数据
数据存储中最重要的一件事是场景数据。这些是包含多个变量的数据点。当顾客为你支付货物和服务时,企业需要知道:
他们消费了多少他们购买了什么他们什么时候购买什么促销或优惠券促使他们购买他们是如何支付的。如果企业部署了正确的POS软件,将能够自动将这些信息存储在CRM(客户关系管理)软件中。虽然存储客户支付细节有些不当,但是为了方便支付处理,除了在加密的数据库中,企业可以创建一个详细的非支付工具交易数据库,以便将来进行挖掘。
2.店内运营监控
大数据分析正在改变零售商经营店铺的方式。随着企业采用部署运动传感器的安全系统,可以跟踪客户在整个商店中移动的位置。企业将无法确定哪个客户的身份,但是企业能够了解每个部门有多少客户购物。
这些数据可以用来创建可以指导员工选择的趋势。对于没有部署特定人员的小型商店,需要的只是门口的柜台。
3.在线营销分析
当客户访问企业商店的网站时,谷歌分析应该能够为每位访客提供人口统计数据。这些信息可以帮助指导企业如何准备营销活动,以及网站的哪些方面最受关注。
网站热点图可以帮助企业了解网站上每个网页的哪些部分有着最多的鼠标者,强大的Facebook营销工具可以帮助企业向读者反映当前的关注点。
可以从网上与企业的品牌互动收集的数据量几乎是无限的。企业明智的做法是指导在线营销团队安装和定制插件和程序,将这些数据收集并存储在安全的地方供将来分析是明智之举。
4.客户回报计划
有没有想过为什么大型超市愿意给顾客提供折扣,只需要输入其电话号码或扫描奖励卡?因为客户购物档案对他们很有价值。根据其地址和消费习惯,他们可以估计顾客的年收入。
商家需要为自己的客户创建一个奖励计划。奖励计划将通过鼓励重复购物来提高商家的整体销售额。此外,还可以获取客户级别的数据,了解客户的购买方式、时间和内容。如果商家可以与电子商务网站同步,就可以获得额外的点数,以便在网上或在网上进行最终购买之前了解客户浏览商品的更多数据。
5.第三方促销
企业可以创建多个第三方忠诚计划,并与自己的个人会员计划配合使用。例如,Shopkick在进入商店时会以积分奖励购物者,拍摄赞助产品的照片,并使用链接的借记卡或信用卡来完成参与商店的购物。
首先,许多企业这些类型的节目愿意支付费用,以促进他们的商店和产品的销售。其次,所有这些数据都可以从管理移动应用程序的公司购买,这些数据将包括参与该计划的每家商店的旅行习惯和购买习惯。
这种数据可以帮助商家更好地分析未来的促销活动和捆绑优惠。
个性化是最终目标
当企业开始建立一个客户档案时,其营销团队深入到统计数据中是很重要的。企业对客户了解得越多,其个性化推广就越有效。采用电子邮件推销,以及采用标准化的线上和线下促销现在很难有更好的效果。
当客户感觉正在谈论自己的独特需求时,企业将体验到消费水平、购买频率,以及整体客户价值的巨大增长。这将有助于将投资于大数据收集和分析工具的成本分摊到大量的客户交易中,从而创建一个数据驱动的指导系统。
总之,各种规模的商店和企业可以采集大量数据。而得益于大数据SaaS平台,企业不再需要拥有内部数据收集和分析团队。通过配置现代POS软件来收集客户的非财务数据,可以将这些数据与所有其他数据源相关联。
随着客户与厂商进行互动,从研究到最终购买,企业将深入了解如何提供个性化的报价,这是产生客户忠诚度的关键因素。随着企业的发展与所观察到的市场需求进行对话,将发现扩展或将企业的产品和服务集中在对赢利产生最大影响的机会。
来源:互联网
- ?
企业进入大数据信息采集时代
惜雪
展开
做网络营销
不论是个人还是公司都想要实现产品的渠道拓展和推广宣传
但绝大多数的企业都不能达成想要的效果
其实原因有很多
一、想要做好网络营销
客户是王道
没有强大的客户群做后盾
网络营销的销量不过是空想罢了
当下客户渠道大多以网络大数据信息采集的方式来获取
如云速数据挖掘
通过输入行业关键字
就能一键采集指定区域的客户信息和联系方式
省时高效
二、通过客户信息
从分考虑分析目标群体的生活轨迹和习惯
来预测客户下一步的消费行为
以正确的时间正确的方式传达产品信息
从而完成营销活动
三、产品文案的策划一定要以客户需求为重点
并且简单易懂、快速吸引客户眼球
才能使转化率达到最佳
采集数据的公司
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并