中企动力 > 商学院 > tsv文件
  • ?

    APACHE的AB压力测试

    格罗斯滕

    展开

      AB压力测试功能的安装

      centos安装apachebench

      yuminstallhttpd-tools

      WIN下ab测试工具在apache安装目录的bin目录下的ab.exe文件,请使用doc命令打开到“bin/”目录。

      AB压力测试的常用参数

      -n在测试会话中所执行的请求个数。默认时,仅执行一个请求。

      -c一次产生的请求个数。默认是一次一个。

      -t测试所进行的最大秒数。其内部隐含值是-n 50000,它可以使对服务器的测试限制在一个固定的总时间以内。默认时,没有时间限制。

      -p包含了需要POST的数据的文件。

      -P对一个中转代理提供BASIC认证信任。用户名和密码由一个:隔开,并以base64编码形式发送。无论服务器是否需要(即, 是否发送了401认证需求代码),此字符串都会被发送。

      -TPOST数据所使用的Content-type头信息。

      -v设置显示信息的详细程度-4或更大值会显示头信息,3或更大值可以显示响应代码(404,200等),2或更大值可以显示警告和其他信息。

      -V显示版本号并退出。

      -i执行HEAD请求,而不是GET。

      -X对请求使用代理服务器。

      -C对请求附加一个Cookie:行。其典型形式是name=value的一个参数对,此参数可以重复。

      -H对请求附加额外的头信息。此参数的典型形式是一个有效的头信息行,其中包含了以冒号分隔的字段和值的对(如,"Accept-Encoding:zip/zop;8bit")。

      -A对服务器提供BASIC认证信任。用户名和密码由一个:隔开,并以base64编码形式发送。无论服务器是否需要(即,是否发送了401认证需求代码),此字符串都会被发送。

      -h显示使用方法。

      -e产生一个以逗号分隔的(CSV)文件,其中包含了处理每个相应百分比的请求所需要(从1%到100%)的相应百分比的(以微妙为单位)时间。由于这种格式已经“二进制化”,所以比'gnuplot'格式更有用。

      -g把所有测试结果写入一个'gnuplot'或者TSV(以Tab分隔的)文件。此文件可以方便地导入到Gnuplot,IDL,Mathematica,Igor甚至Excel中。其中的第一行为标题。

      -i执行HEAD请求,而不是GET。

      -k启用HTTP KeepAlive功能,即在一个HTTP会话中执行多个请求。默认时,不启用KeepAlive功能。

      -q如果处理的请求数大于150,ab每处理大约10%或者100个请求时,会在stderr输出一个进度计数。此-q标记可以抑制这些信息。

      AB压力测试实例

      通常AB测试只用到-c、-n两个参数,假如我们本地有个a.php的文件,则可执行如下命令:ab-n1000-c100http://127.0.0.1/a.php

      此命令表示模拟每次执行100个请求,总共执行1000次,也可以表示为100人同时在线,每人同一时间发起一个请求,一共发送10次请求。效果如下图:

      可以看到每次请求的数量为100个,请求了10次,总请求为1000个。DocumentPath:请求的文件Requestspersecond:每秒钟可以接收多少个请求。Timeperrequest:用户平均请求等待时间Timeperrequest(acrossallconcurrentrequests):服务器平均请求等待时间Transferrate:平均每秒网络上的流量,吞吐量,越大抗压越强

      ConnectionTimes:网络上消耗的时间的分解

      分别有连接、处理、等待的值

      PercentageOfTheRequestsServedWithinACertainTime:整个场景中所有请求的响应情况

      在场景中每个请求都有一个响应时间,其中50%的用户响应时间小于25毫秒,66%的用户响应时间小于27毫秒,最大的响应时间小于37毫秒。

      由于对于并发请求,cpu实际上并不是同时处理的,而是按照每个请求获得的时间片逐个轮转处理的,所以基本上第一个Timeperrequest时间约等于第二个Timeperrequest时间乘以并发请求数。

      有了上述的各项指标,我们可以进行多次请求,不断修改-c、-n的值来取得apache的最佳请求数量,从而进行优化配置。需要注意的是每个请求连接得出的结果均不一样。测试的时候可以对多个进行测试。

      更多性能测试文章,请前往51Testing软件测试网。(http://51testing)

  • ?

    王尼玛都会的~机器学习系统设计(二)--第一个机器学习应用

    伊斯奈斯

    展开

    王尼玛都会~呵呵呵~他看了也会学会的???。。。。。。。。。

    我们这节将通过一个机器学习实例来亲自体验一下 Python这门语言的伟大,上可九天揽月,下可五洋捉鳖,嘿嘿嘿。

    前言

    假设我们是一个卖面包的小店(Datapig)(呵呵哒~,这年头卖面包也快比程序员赚钱了),客户每天对面包的需求数是不确定的(已知客户需求的面包数会受天气和季节影响),我们店是十分良心的,为保证质量当天卖不完的面包不会再卖给顾客,我们面包店(Datapig)的大厨每天要做多少面包才合适呢,避免做多了浪费,做少了满足不了客户需求。这里我们统计了上个月每天卖出的面包数,我们来以此预测我们下个月每天生产面包的最佳个数。

    读取数据

    我们把上个月每天的面包售出数记录到了sale_number.tsv中,当然我们也可以用txt来储存以上数据。它储存着每天卖出的面包数,第一列表示天数,第二列表示卖出的面包数。

    我们使用Scipy的genfromtxt()读tsv(以tab分割的数据).

    import scipy as spdata=sp.genfromtxt("E:/sale_number.tsv","delimiter="\t")#输出读取到的前10行数据print(data[:10[)

    结果如下:

    或者使用python内置的file.open()这个来读txt文件。

    try:

    f = open('E:/sale_number.tsv', 'r')

    print(f.read())

    finally:

    if f:

    f.close()

    #以下把读取的数据输出 for line in f.readlines(): print(line)

    在这里我们建议用scipy或者numpy的内置函数来更高效的读取数据。

    数据预处理和数据清洗

    我们可以通过Scipy的特殊索引来选择数据中特定的的列。

    x=data[:,0]y=data[:,1]

    Scipy还有很多数据处理方法,如索引,切割和迭代方法,可以在http://scipy.org/Tentative_NumPy_Tutorial上具体查看。

    上面输出的数据中,有大量的nan无效数据,说明某一天面包店没有准确统计到卖出的面包数,存在数据缺失。我们应该正确处理这些无效数据,否则会影响我们以后的机器学习算法设计。

    我们来统计数据总量与缺失数据量:

    print(data.shape, sp.sum(sp.isnan(y))

    输出如下:(30,3)

    可以看到30天的数据中有三天缺失了,因此我们可以把它们删除。sp.isnan(y)返回一个布尔型的数组,用来判断某个数组中的内容是否为数字。我们可以使用~在逻辑上对数据取反,以此来选取不为nan的合法数据。

    y=y[~sp.isnan(y)]

    接下来我们用Matplotlib的pyplot包做散点图,把数据直观的表现出来。

    import matplotlib.pyplot as myplotmyplot.scatter(x,y)myplot.title("")myplot.xlable("")myplot.ylable("")myplot.autoscale(tight=true)myplot.grid()myplot.show()

    我们可以看出,卖出的面包数在前几周保持平稳,但是在月底出现大幅上升。

    文章预告:王尼玛都会的~机器学习系统设计(三)--选择正确的算法模型

    关注我可及时获取文章更新。有任何疑问请在文章下评论。

  • ?

    Google这个企业,有着不为人知的强大

    诺言

    展开

    提到谷歌,想必大家都不会陌生,是一个强大的互联网科技公司,全世界有很多他的追捧者,但是或许你并不知道,这才是真正的谷歌:

    据估计,Google在全世界的数据中心内运营着上百万台的服务器,每天处理数以亿计的搜索请求和约二十四PB用户生成的数据。Google自创立起开始的快速成长同时也带动了一系列的产品研发、并购事项与合作关系,而不仅仅是公司核心的网络搜索业务。Google公司提供丰富的线上软件服务,如云硬盘、Gmail电子邮件,包括Orkut、Google Buzz以及Google+在内的社交网络服务。Google的产品同时也以应用软件的形式进入用户桌面,例如Google Chrome网页浏览器、Picasa图片整理与编辑软件、Google Talk即时通讯工具等。另外,Google还进行了移动设备的Android操作系统以及Google Chrome OS操作系统的开发。

    信息分析网站Alexa数据显示,Google的主域名google是全世界访问量最高的站点,Google搜索在其他国家或地区域名下的多个站点(google.co.in、google.de、google.hk等等),及旗下的YouTube、Blogger、Orkut等的访问量都在前一百名之内。其中,社交网络服务Orkut于2014年9月关闭。

    0.Google搜索引擎

    Google搜索是由Google公司推出的一个互联网搜索引擎,它是互联网上最大、影响最广泛的搜索引擎。Google每日通过不同的服务,处理来自世界各地超过2亿次的查询。

    除了搜索网页外,Google亦提供搜索图像、新闻组、新闻网页、视频的服务。2005年6月,Google已存储超过80亿的网页,1亿3千万张图片,以及超过1亿的新闻组消息 - 总计大概10亿4千万个项目。它也缓存了编入索引中的绝大多数网页的内容。

    谷歌搜索

    1.Google Chrome

    googlechrome图标

    Google Chrome是由Google开发的免费网页浏览器。Chrome是化学元素“铬”的英文名称,过去也用Chrome称呼浏览器的外框[9]。Chrome浏览器在网上曾被翻译成“铬浏览器”,后期中文名曾使用“酷容浏览器”。Chrome相应的开放源代码计划名为Chromium,因此Google Chrome本身是非自由软件,未开放源代码。

    Chrome代码是基于其他开放源代码软件所编写,包括Apple WebKit和Mozilla Firefox,并开发出称为“V8”的高性能JavaScript引擎。Google Chrome的整体发展目标是提升稳定性、速度和安全性,并创造出简单且有效率的用户界面。CNET旗下的Download网站评出的2008年6月最佳Windows应用程序,其中Google Chrome排名首位。

    chrome浏览器

    2.Google Drive

    google drive图标

    Google Drive是谷歌公司推出的一项在线云存储服务,通过这项服务,用户可以获得15GB的免费存储空间。同时,如果用户有更大的需求,则可以通过付费的方式获得更大的存储空间。用户可以通过统一的谷歌账户进行登录。Google Drive服务会有本地客户端版本、也有网络界面版本,后者与Google Docs界面相似。会针对GoogleApps客户推出,配上特殊域名。另外,Google还会向第三方提供API接口,允许人们从其它程序上存内容到Google Drive。

    google dirve

    3.Google Gmail

    Gmail(德国和英国称为:Google Mail,中文译为:谷歌邮箱)是Google公司在2004年4月1日发布的一个免费电子邮件服务。在最初推出时,新用户需要现有用户的电子邮件邀请。2007年2月7日google宣布将Gmail的注册完全开放。2009年7月7日正式取消了Beta标志,在推出5年多后终于转为正式版本。

    Gmail最初推出时有1GB的存储空间,大大的提高了当时免费邮箱容量的标准。目前Gmail用户已可以享有超过15GB的容量,并且可以通过付费获取更多空间。如果要另外租用更多的空间,可以以每月1.99美元的价格来获取100GB的存储空间。Gmail最令人称道的就是它的使用界面,不但容易使用而且速度很快,此外Gmail也是一个著名的AJAX应用。

    4.Google 地球

    Google地球(英语:Google Earth)是一款Google公司开发的虚拟地球仪软件, 它把卫星照片、航空照相和GIS布置在一个地球的三维模型上。

    谷歌地区

    5.Google Plus

    google plus

    Google+(念作以及有时称作Google Plus,简称:G+或GPlus)是Google公司推出的社交网站与身份服务;除社交网站身份外,Google也将Google+视为其旗下众多服务之间社交层面的补强,与传统社交网站仅能登录单一网站的概念不同。

    Google+开放的24天,便到达了2000万人次使用,而Twitter和Facebook则分别需要1035天和1152天达到2000万用户数目.据说这是 Google挑战社交网络竞争对手Facebook最有野心的一次企图,Facebook在2010年已经有超过五亿每月登录用户。Google+针对Facebook过于开放的缺点,以隐私功能作为区分点,让用户可以在不同的朋友圈里分享信息。Google+的圈子功能,能把好友分成不同的组群,分别发送不同的消息,也正中了Facebook的弱点,目前Facebook需要通过繁复的设置才能把在线好友分成不同组群。Google+还提供视频聊天功能,最多支持10人的电话会议。Google+开放的第一日,由于过多用户被邀请加入,引致Google开放当天就关闭了用户的邀请功能。

    在2013年一月历经多次改版后,超越Twitter,成为世界上第二大的社交网站。

    6.Google 地图

    谷歌地图

    Google地图(英语:Google Maps;前称:Google Local)是Google公司向全球提供的电子地图服务,地图包含地标、线条、形状等信息,提供矢量地图、卫星照片、地形图等三种视图。其姊妹产品包括Google地球、Google月球、Google火星、Google星空、Google海洋。

    Google地图于2005年2月8日在谷歌博客上首次公布,并于2005年6月20日将覆盖范围从原先的美国、英国、加拿大扩大至全球。目前在全球多国开通了“街景”(Street View)服务,用户可以通过由Google甲虫车在街道上拍到的视频查看街景。2011年10月7日,Google地图新增了3D鸟瞰功能。

    Google和北京图盟科技有限公司(Mapabc)于2005年9月合作出版中国大陆的Google本地,后被重命名为Google地图。台湾的图资是由勤崴国际科技所提供,并于2007年10月11日推出台湾版地图。Google地图的香港版本于2008年7月推出。

    7.Blogger

    blogger

    是Pyra Labs公司创建的面向个人的基于因特网的博客书写和发布服务网站,也是全球最大、最为知名的个人网志服务提供商。Pyra Labs和Blogger目前已经被Google公司收购,成为其旗下的一项服务内容。

    Blogger服务使得网络日志的发布更加容易。Blogger提供免费主机Blogspot存放博客,用户不必写任何代码或者安装服务器软件或脚本,通过WYSIWYG界面轻松地创建、发布、维护和修改自己的网志。但Blogger也允许有经验的用户自由地设计博客界面,并在在线帮助页面提供了详细的资料和指南。

    Blogger与其他的博客提供的显著优势在于有强大的模板编辑功能,对于HTML及CSS的高手Blogger无疑是最好的选择,模板完全支持HTML编辑,你可以把Blogger打造成一个专业的站点,而Blogger就好像空间提供商,而这个服务是非常稳定的。

    另外,使用Blogger你可以注册一个GoogleAdSense帐号,然后就可以在您的个人博客上投放Google的广告,从而营利。

    8.G Suite

    Google Apps for Work(先前称为 Google Apps for Business)是 Google 在订阅基础上提供的一套云计算生产力和协作软件工具和软件。

    它包含 Google 广受欢迎的网上应用,包括 Gmail、Google 云端硬盘、Google 环聊、Google 日历和 Google 文档。 虽然这些产品都可供消费者免费使用,但是 GoogleAppsfor Work 增加了特定于业务的功能部件,例如客户域中的定制电子邮件地址(@yourcompany),至少 30GB 的文档和电子邮件存储空间,以及 7x24 小时的电话和电子邮件支持。 作为云计算解决方案,它采用不同于现成的办公生产力软件的方式:在 Google 的安全数据中心网络中托管客户信息,[3]而不是在位于公司内的传统内部服务器中。

    9.Google Adwords

    Google AdWords 中文含义:是一种通过使用Google 关键字广告或者Google遍布全球的内容联盟网络来推广网站的付费网络推广方式。可以选择包括文字、图片及视频广告在内的多种广告形式。

    10.Google办公软件

    Google办公室套件(已集成成云硬盘),是Google的一个网络硬盘、在线文字处理、电子制表和演示程序。2006年10月10日Google将Writely与旗下Google Spreadsheets集成为Google文档(Google Docs & Spreadsheets),它的第三个组件,演示功能(幻灯片),在引入Tonic Systems所开发的而技术之后于2007年9月17日发布。在2012年10月31日更加入了调查软件。

    创建在线文档:从头开始创建新文档,或从您的计算机上传已保存的文档。从任一台接入互联网的计算机修改文档。

    实时协作:即使您与您邀请的其他人处在不同位置,您也能与他们同步处理文档。

    修订历史记录:各项修改记录都会予以保留,让您看到什么人在什么时间添加和删除了什么内容。

    搜索工具: 就像 Gmail 一样,有了 Google 文件,您就可以利用 Google 的搜索能力,来查找已数月未修改过的文档。

    安全和隐私: 由您选择可查看您文档的对象和时间。只有当您将用户添加至协作者或查看者的列表或者决定将文档公开时,其他用户才能访问您的文件。管理员能够对内部和外部文档共享设定限制。

    集成:用户从贵组织机构的初始页即可访问其 Google 文件。Google 电子表格数据 API 还允许其他应用程序显示和更新电子表格的内容。

    文件[ 编辑]

    支持的文件格式[ edit ]

    以下格式的文件可以查看并转换为文档,表格或幻灯片格式:[49]

    对于文档:.doc(如果比Microsoft Office95更新),.docx,.docm .dot,.dotx,.dotm,.html,纯文本(.txt),.rtf,.odt对于电子表格:.xls(如果比Microsoft Office 95更新),.xlsx,.xlsm,.xlt,.xltx,.xltm .ods,.csv,.tsv,.txt,.tab对于演示文稿:.ppt(如果比Microsoft Office95更新),.pptx,.pptm,.pps,.ppsx,.ppsm,.pot,.potx,.potm对于图纸:.wmf对于光学字符识别:.jpg,.gif,.png,.pdf

    文件限制

    有文件类型的限制,如下所示:

    文件(Google文件)

    最多102万个字符,无论页数或字体大小。转换为.gdoc文档格式的文档文件不能大于50 MB。插入的图片不能大于50 MB,且必须为.jpg,.png或非动画.gif格式。

    试算表(Google试算表)高达2百万个细胞。

    简报(Google简报)演示文件转换为.gslides幻灯片格式不能大于100 MB。插入的图片不能大于50 MB,且必须为.jpg,.png或非动画.gif格式。

    11.Google Cloud Platform(谷歌云服务)

    Google云平台(英语:Google Cloud Platform)是一项使用了Google核心基础架构、数据分析和机器学习技术的云计算服务。提供用于Google搜索和YouTube等终端用户产品的相同支持基础设施托管和开发人员产品,用于构建从简单网站到复杂应用程序的一系列程序,并提供一系列模块化的基于云的服务和大量开发工具,例如托管和计算、云存储、数据存储、翻译API、预测AP

    谷歌云服务

    12.Google 环聊 hangouts

    Google环聊(英语:Google Hangouts)是Google的即时通讯和视频聊天应用,在2013年5月15日期间的Google I/O发布,替换Google Talk(Gtalk)。支持Android、iOS以及Chrome多平台,并在Gmail、Google+中集成Google环聊网页版。Google环聊与Gmail的消息在默认情况下可以被美国执法有关部门访问并监控。

    hangous

  • ?

    Pytext简介:facebook的基于PyTorch的NLP框架

    惜珊

    展开

    自然语言处理(NLP)在现代深度学习生态中越来越常见。从流行的深度学习框架到云端API的支持,例如Google云、Azure、AWS或Bluemix,NLP是深度学习平台不可或缺的部分。尽管已经取得了令人难以置信的进步,但构建大规模的NLP应用依然还有极大的挑战,在学习研究和生产部署之间还存在很多摩擦。作为当前市场上最大的会话环境之一,Facebook已经面对构建大规模NLP应用的挑战有一些年头了,最近,Facebook的工程团队开源了第一个版本的Pytext,一个基于PyTorch的NLP框架,可以用来构建高效的NLP解决方案。

    PyText的最终目标是简化端对端的NLP工作流实现。为了实现这一目标,PyText需要解决当前NLP流程中的一些问题,其中最令人头疼的就是NLP应用在实验环境和生产环境的不匹配问题。

    更好地平衡NLP实验和生产部署

    现代NLP解决方案通常包含非常重的实验环节,在这个阶段数据科学家们将借鉴研究文件快速测试新的想法和模型,以便达成一定的性能指标。在实验阶段,数据科学家倾向于使用容易上手、界面简单的框架,以便快速实现高级、动态的模型,例如PyTorch或TensorFlow Eager。当需要部署到生产环境时,动态图模型的固有局限性就带了新的挑战,这一阶段的深度学习技术需要使用静态计算图,并且需要为大规模计算进行优化。TensorFlow、Caffe2或MxNet都属于这一类型的技术栈。结果是大型数据科学团队不得不为实验和生产部署使用不同的技术栈。

    PyTorch是最早解决了快速实验与规模化部署之间冲突的深度学习框架之一。基于PyTorch构建的PyText为NLP领域应用了这些解决实验环境与生产部署之间冲突的优化原则。

    理解PyText

    从概念角度触发,PyText被设计为实现以下四个基本目标:

    尽可能简单、快速的实现新模型简化将预构建模型应用于新数据的工作量同时为研究者和工程师定义清晰的工作流,以便构建和评估模型,并以最小的代价上线模型确保部署的模型在推理时具有高性能:低延迟、高吞吐量PyText的处理容量最终打造的建模框架,可供研究者和工程师构建端到端的训练或推理流水线。当前的PyText实现涵盖了NLP工作流声明周期中的基本环节,为快速实验、原始数据处理、指标统计、训练和模型推理提供了必要的接口。一个高层级的PyText架构图可以清晰地展示这些环节如何封装了框架的原生组件:

    如上图所示,PyText的架构包含以下组成部分:

    Task:将多个用于训练或推理的组件拼装为一个流水线Data Handler:处理原始输入数据,贮备张量批数据,以便送入模型Model:定义神经网络的架构Optimizer:封装模型参数优化过程,基于模型的前馈损失进行优化Metric Reporter:实现模型相关指标的计算和报表提供Trainer: 使用数据处理器、模型、损失和优化器来训练和筛选模型Predictor:使用数据处理器和模型对给定的数据集进行推理Exporter: ONNX8导出训练好的PyTorch模型到Caffe2图你可以看到,PyText利用ONNX(Open Neural Network Exchange Format)将模型从实验环境的PyTorch格式转换为生产环境的Caffe2运行模型。

    PyText预置了众多NLP任务组件,例如文本分类、单词标注、语义分析和语言模型等,可以快速实现NLP工作流。类似的,PyText使用上下文模型介入语言理解领域,例如使用SeqNN模型用于意图标注任务,或者使用一个上下文相关的意图槽模型用于多个任务的联合训练。

    从NLP工作流的角度来说,PyText可以快速将一个思路从实验阶段转换为生产阶段。一个PyText应用的典型工作流包含如下的步骤:

    用PyText实现模型,确保测试集上的离线指标正确将模型发布到打包的基于PyTorch的推理服务,在实时样本上执行小规模评估自动导出到Caffe2网络,不过在有些情况下,例如当使用复杂的流程控制逻辑时,或者使用自定义数据结构式,PyTorch 1.0还不支持如果第3步不支持,那么使用Py-Torch C++ API9重写模型,并封装为一个Caffe2操作符将模型发布为生产就绪的Caffe2预测服务并启动使用PyText

    上手PyText非常简单,按标准python包的方法安装框架:

    $ pip install pytext-nlp

    然后,我们就可以使用一个任务配置来训练NLP模型了:

    (pytext) $ cat demo/configs/docnn.json{ "task": { "DocClassificationTask": { "data_handler": { "train_path": "tests/data/train_data_tiny.tsv", "eval_path": "tests/data/test_data_tiny.tsv", "test_path": "tests/data/test_data_tiny.tsv" } } }}$ pytext train < demo/configs/docnn.json

    Task是PyText应用中的用来定义模型的核心部件。每一个任务都有一个嵌入的配置,它定义了不同组件之间的关系,如下面代码所示:

    from word_tagging import ModelInputConfig, TargetConfigclassWordTaggingTask(Task):classConfig(Task.Config): features: ModelInputConfig = ModelInputConfig() targets: TargetConfig = TargetConfig() data_handler: WordTaggingDataHandler.Config = WordTaggingDataHandler.Config() model: WordTaggingModel.Config = WordTaggingModel.Config() trainer: Trainer.Config = Trainer.Config() optimizer: OptimizerParams = OptimizerParams() scheduler: Optional[SchedulerParams] = SchedulerParams() metric_reporter: WordTaggingMetricReporter.Config = WordTaggingMetricReporter.Config() exporter: Optional[TextModelExporter.Config] = TextModelExporter.Config()

    一旦模型训练完毕,我们就可以对模型进行评估,也可以导出为Caffe2格式:

    (pytext) $ pytext test < "$CONFIG"(pytext) $ pytext export --output-path exported_model.c2 < "$CONFIG"

    需要指出的是,PyText提供了可扩展的架构,可以定制、扩展其中任何一个构建模块。

    PyText代表了NLP开发的一个重要里程碑,它是最早解决实验与生产匹配问题的框架之一。基于Facebook和PyTorch社区的支持,PyText可能有机会称为深度学习生态中最重要的NLP技术栈之一。

    汇智网翻译整理,转载请标明出处。Pytext简介

    著作权归作者所有

  • ?

    电子化学品(二):上海新阳涨停别忘了并购暴雷

    德天

    展开

    上海新阳2011年上市,从半导体封装所需的去毛刺溶液、PCB电镀所需的无铅纯锡电镀添加剂等产品起家。当前市值48亿元,近期走势强于同业,已有一二个涨停板。

    去毛刺

    一、现有产品及收入

    公司有三大类产品,电子电镀产品主要用于芯片之间、芯片与PCB电路板之间的链接,如晶圆级封装制程所需的超高纯甲基磺酸铜电镀液、超高纯度硫酸铜;电子清洗产品主要用于半导体封装过程中去毛刺、电镀前后清理处理等环节,如铜制程清洗液和铝制程清洗液;镍基划片刀用于芯片封装及硅片切割。

    不过公司产品收入占比较大的,是收购而来的考普乐氟碳涂料业务,2017年报收入占比45%、净利润占比48%,而电子化学品收入占比38%、净利润占比42%,划片刀及设备收入不足2千万元,即使投资4千万元扩产划片刀业务,预计2020年增加收入2200万元。

    2、现有技术及演进

    公司已形成半导体电子电镀、电子清洗技术核心技术。

    电子电镀产品从上市时生产PCB电镀添加剂,提升至芯片之间、芯片与PCB之间的镀铜,最新产品可以满足凸块链接技术所需。其技术路径沿着芯片技术节点迁徙,由2008年、2010年、2016年分别承担的,国家科技重大“极大规模集成电路制造装备及成套工艺专项”即“02专项”中的三个子任务,“高速自动电镀线研发与产业化”课题、“65-45nm芯片铜互连超高纯电镀液及添加剂研发和产业化”课题、“20-14nm铜互连电镀工艺技术及产品的研发”课题实现。芯片铜电镀液已实现28nm技术节点应用,20-14nm技术节点的部分相关产品尚在客户现场进行测试和验证。

    互连镀铜液等

    公司电子清洗产品,从上市时的去毛刺、电镀前后处理产品,到目前已能提供铜铝制程清洗液等。新产品主要集中于干法蚀刻清洗液、干膜剥离液等,均不包括光刻胶清洗剥离产品,公司2017年报披露干法蚀刻清洗液已取得突破。

    镍基划片刀仅提供普通划片刀,纳米镍基(nickel bonding)划片刀技术上已实现突破,等待量产。

    3、技术水平评价

    上海新阳电子电镀的技术水平与国际先进的硅通孔技术存在代差。目前,公司的凸块链接技术能满足28nm技术节点应用,20-14nm技术节点还有待突破;国际实用的硅通孔技术(TSV,Through -Silicon-Via)是在芯片和芯片之间制作垂直导通孔实现互连,TSV能够使芯片在三维方向堆叠的密度最大,外形尺寸最小,能够很大程度上增加I/O的数量,大大改善芯片性能。

    公司并未披露其铜铝制程清洗液产品所能适用的技术节点,估计是中低水平的清洗产品。

    镍基划片刀生产技术上已实现从普通划片刀向纳米镍基(nickel bonding)划片刀迭代的能力,已向日本Disco的成熟技术看齐,10μm纳米镍基(nickel bonding)划片刀有待产业化。

    芯片

    二、业务拓展跌跌撞撞

    1、首发募投项目投入即供过于求

    2011年6月首发募集资金2亿元主要用于现有业务的技改扩能,其中的“半导体封装化学材料技术改造项目”、“半导体封装表面处理设备技术改造项目”实际使用募集资金1.2亿元,已于2014年6月30日建设完成;两个项目因产能未能释放未达到预期效益,2016年产生收益1100万元,2017年仅增加8000万元,招股书预计可新增收入1.5亿元,首发募集资金收益不足预期的50%。

    剩余首发募集资金约9000万元闲置5年,变更用途用于上海新昇半导体300mm硅片切割项目。

    2、浪费3亿元市值收购

    上市第二年的2012年收入即下滑。2013年中,估值约3.8亿元发行股票收购考普乐氟碳涂料业务,收购仅给当年带来增长,业绩承诺期结束即变脸。

    3、2016年非公开发行3亿元投入总投资达68亿元的项目

    2014年推出非公开发行预案,2016年3月募集2.9亿元,加上首发变更1亿元,出资及受让的股权合计持有上海新昇半导体27.56%股权,以此进入300毫米大硅片切割领域,可研计划出货量月15万片,年均收入约12.5亿元;至2018年中报,上海新昇半导体已向中芯国际等提供样品认证,预计至2018年底可达10万片/月。

    在非公开发行预案文件中,言之凿凿项目总投资18亿元,2018年引入国家大基金时投资总额升至68亿元,大基金旗下硅产业投资公司增资及受让股权,目前持有上海新昇62.82%的股权。

    4、变更募投项目投向光刻胶

    2018年3月,公司与国内光刻胶专家、国家千人计划专家邓海博士技术团队,设立持股80%的上海芯刻微材料公司,研发193nm光刻胶项目,变更大硅片项目投资额1.6亿元募集资金用于该光刻胶项目,2018年中报坦诚投入强度存不确定性,项目还处在研发阶段,且是193nm制程的光刻胶;依其规划2020年才有1000万元收入,2022年收入5000万元。

    另外,2018年12月公告,耗资5600万元受让生产平板显示用光刻胶产品的博砚电子10%的股权。可见其对光刻胶技术的渴望。

    三、收购粉饰业绩

    有理由推测,2013年收购考普乐可能是为了粉饰业绩,否则2016年非公开发行都会面临业绩压力。2015年报、2016年报,扣除考普乐的净利润,公司电子化学业务净利润仅为410万元、1346万元,仅有上市时2011年净利润的八分之一、三分之一。

    考普乐业绩承诺最后一年是2017年,电子化学品和考普乐业务均创新高,其中,电子化学品收入、净利润分别约1.79亿元、3788万元,占比分别约38%、42%,考普乐氟碳涂料业务净利润3452万元,占公司净利润的48%,收入占比45%。考普乐2018年上半年净利润较上年同期下降41%,计提44%的商誉减值准备约5958万元,中报亏损1876万元,三季报亏损收窄。

    粉饰

    四、有限的技术进步未改产品低端现状

    上海新阳不缺钱,管理层集中资源于电子化学品的技术进步的意愿有限,自研进入其他领域的能力似乎也有限。首发及非公开发行合计募集现金约5亿元,投向多次变更,至2018年中报,除开已永久补充流动资金的4000万元以外,还有1.6亿元闲置等待处在研发阶段的光刻胶项目花出去,依其规划2022年达产,二三年能花完就不错了;进入新领域主要依赖投资合作。

    公司20-14nm技术节点的电子电镀类产品还未量产,有限的技术进步没能摆脱低端产品的窘况,盈利能力利益下滑,半导体化学品毛利率已由最高时的59%下降十三个百分点。2010年完成02专项产业化,业绩在7年之后的2017年才有低幅度增长,2015年电子化学品的净利润仅为上市当年2011年的八分之一,2017年电子化学品净利润3788万元也仅比2011年增加50万元而已。

    从收入结构看,上海新阳微电子化学品的名头不实,应该是氟碳涂料生产商;2013年收购的考普乐,已偏离半导体化学品核心领域。。

    五、增长及股价预判

    公司管理层的创业激情有消退迹象,团队技术自研能力有限。2013年并购考普乐在业绩承诺期满次年2018年计提44%的减值准备,而2014年至2017年大股东带头,持股5%以上股东、董事纷纷减持,竞价交易减持、大宗交易减持双管齐下,价格可以相差20元,至2017年大股东减持金额约4亿元,其中仅用巧合解释,是不是太善良了?!上市八年来没有发现公司依靠自身研发进入新的子行业的能力,寄希望于投资突围。

    预计2019年主业盈利能力不会有多大变化,如有增长也是自甩包袱后的低基数,况且考普乐商誉还有56%。大股东持股比例约45%,质押占比较低,股价已迫使补充质押;因四五千万回购、预期业绩见底,股价收获三个涨停板,预计股价与估值关系陷入“双杀”的可能性较大。期待注入大硅片切割业务也不现实,岂不是要期待财务投资人的国家大基金借壳上市?

    减持

  • ?

    Adobe全家桶之PR、AE2019新增功能详解

    何谷冬

    展开

    上一期已经给大家很全面的介绍了Adobe家族的PS和AI两大软件的最新版本新增功能,本期继续给大家介绍另外两大软件PR和AE,这两个软件可以说是我们平时工作当中用得比较多的,音频、视频的剪辑,各种酷炫效果的制作,功能强大到小编无法想象!最典型的复仇者联盟系列,速度与激情系列等等,想必大家一部不落的都看过吧,影片中各种酷炫爆炸镜头几乎都是这些软件制作渲染出来的。

    本期小编连夜加班整理,拿好你的马扎~来吧~~~!

    (需要视频剪辑制作教程的友友们可以下方评论留言,当然后期也会分享给大家)

    Adobe Premiere2019新增功能

    1、性能改进

    H264和HEVC基于硬件的编码和解码,提升MacBook Pro工作站的性能。图形处理的改进可提供相应速度更快的播放、渲染和Lumetri Color性能。

    2、显示颜色管理

    从After Effects和Premiere Pro,以及在rec202和P3显示器上,在整个工作流程中精准的呈现色彩并保持色彩保真度。

    3、适用Team Projects的群组邀请

    无需键入地址即可邀请企业通讯录中的群组和团队成员,实现更高效地沟通。

    4、Adobe Stock增强功能

    直接在“基本图形”面板中搜索和排序Adobe Stock电影素材和经过专业设计的动态图形模板。

    5、沉浸式媒体的空间标记

    在Adobe沉浸式环境中看媒体时您不再需要取下头盔,现在您可以放置空间标记,作为返回桌面时间轴的参考。

    6、端到端VR180

    提供对180VR的沉浸式视频支持,包括经过优化的收录和效果。在YouTube或其他平台上以Google VR格式发布完成后的视频。

    7、数据驱动的信息图动态图形模板

    将电子表格拖放到新的信息图动态图形模板中,生成动态可视化内容。如果对电子表格进行任何更新,信息图也会自动更新。

    8、有选择的色彩分级

    创新的Lumetri Color工具可进行有选择的色彩分级,在进行曲线调整时再也不需要进行摸索。每条曲线的两个轴都提供成对的值,可轻松地进行精确的色彩微调。

    9、音频智能清理

    利用Essential Sound面板中的全新降噪和DeReverb滑块及时调低或去除背景噪音,或进行混响。

    10、利用Premiere Rush进行编辑

    利用全新推出、适用于所有设备的Premiere Rush扩展您的视频编辑平台。无论是移动设备还是桌面设备,均可拍摄、编辑和发布视频。如果希望执行更多操作,还可以把作品直接发送到Premiere Pro中。

    11、扩展的格式支持

    支持全新的原生格式,包括ARRI Alexa LF、Sony Venic v2以及iphone8和iphone X所有的HEIF(HEIC)拍摄格式。

    12、Creative Cloud库改进

    将Illustrator和Photoshop文件等资源拖放到CC库面板中,可以快速访问您的Premiere序列。与团队成员分享库,或导出并存储到项目中。

    13、澳大利亚隐藏式字幕标准

    现在提供对澳大利亚OP4T2隐藏式字幕标准的支持。

    14、键盘快捷键的语言支持

    键盘快捷键的布局菜单中现已支持本地化语言。

    15、Adobe沉浸式环境中的影院模式

    使用虚拟放映室与导演或制片人针对2D内容或沉浸式内容(或二者的结合)进行协作。

    Adobe After Effects新增功能

    1、“学习”面板

    After Effects新手?全新的“学习”面板可通过交互式教程向你介绍时间轴和控件,帮助你快速开始创建合成。

    2、性能和GPU优化

    主属性现已支持更加先进的工作流程,支持折叠变换、时间重新映射、音频效果、运动模糊、蒙版和形状路径表达式、3D摄像机和灯光。

    3、在VR180中创造,使用头盔预览

    支持180VR,让你完全投入沉浸式视频的世界。添加VR效果,处理可互换的180和360材料。在YouTube或其他平台上以Google VR 180格式发布完成的视频。你可通过全新的影院模式选项使用头盔式显示屏(HMD)预览线框内容。

    4、Mocha AE插件

    利用GPU加速的Mocha AE插件快速、精准地进行平面跟踪。它已更新为经过简化的界面,包括视网膜/高DPI支持,可在After Effects之内以本机方式运行。

    5、改进与Premiere Pro的文件交换

    在Premiere Pro中访问、修改或替换CSV和TSV电子表格数据,创建数据驱动的动态模板。将控件分组,这样就容易在你的动态图形模板中找到可编辑的属性。解锁字体设置,这样编辑就可以更改字体。

    6、显示颜色管理

    从After Effects到Premiere Pro,以及在rec709、rec202和P3显示器上,在整个工作流程中精准地呈现色彩并保持色彩保真度。

    7、用Lumetri Color进行色彩分级

    创新的Lumetri Color工具可进行有选择的色彩校正,在进行曲线调整时再也不需要进行摸索。每条曲线的两个轴都提供成对的值,可轻松地进行精确的色彩微调。

    8、响应式设计-时间

    创建可以适应并更改长度的动态图形,同时保留受保护关键帧的完整性。将你的设计导出为动态图形模板,增加编辑灵活性。

    9、更加快速轻松地撰写表达式

    全新的JavaScript表达式引擎,可强化动画工作流程,表达式的处理速度最多可加快6倍。利用全新的编辑器更轻松地撰写表达式。

    10、原生CD深度效果

    利用Aftre Effects 3D或INEMA 4D渲染器生成深度效果。在3D空间中快速轻松地合成对象。应用景深、3D迷雾、深度遮罩等深度效果,让元素看上去非常自然,或使用深度数据模拟3D外观。

    11、用于进行网格雕刻的人偶工具

    你可以利用全新的高级和弯曲大头针精准地将动画扭转、弯曲、缩放。

    12、与Animate和XD更加紧密地集

    将Animate.fla文件作为分层合成直接导入After Effects。将你的XD设计发送至After Effects,保留高保真度,已添加高级动画或将它们构建到你的动态图形项目中。

    13、适用Team Projects的群组邀请

    无需键入地址即可邀请企业通讯录中的群组和团队成员,实现更高效地沟通。

    14、对格式支持的改进

    凭借最新的支持获得Panasonic、RED和Sony摄像机格式的更出色表现。

    15、Creative Cloud库改进

    将Illustrator和Photoshop文件等资源拖放到CC库面板中,可以快速访问您的After Effects合成。与团队成员分享库和资源,或导出并存储到项目中。

    16、以及更多功能

    还包括查找经过GPU加速的效果、安装脚本、快速启用或禁用表达式的更简便方法。

    更多精彩干货欢迎关注,互动交流,我分享,我快乐!

  • ?

    2018年ETL工具比较

    霍芯

    展开

    提取,转换和加载(ETL)工具使组织能够在不同的数据系统中访问,有意义且可用的数据。通常情况下,企业在了解试图编写代码和构建内部解决方案的成本和复杂性时,首先会意识到对ETL工具的需求。

    当选择正确的ETL工具时,您有几种选择。您可以尝试组装开源ETL工具来提供解决方案。这种方法适用于某些情况,但公司经常发现自己需要更多功能/功能,更多灵活性和更多支持。

    下一个选择是与现任供应商合作:一种能够很好地处理当今流行的数据源和数据流的解决方案。现任供应商提供一个大品牌或知名品牌的稳定性和舒适度。

    第三类ETL工具是现代ETL平台。这些通常是基于云的解决方案,并为ETL从现有数据源到云数据仓库的数据提供端到端支持。它们也是为了支持日益增长的基于网络的数据流列表而构建的。

    对于这篇文章,我们将深入现有ETL工具的世界 - 通常的嫌疑犯,优点和缺点 - 然后快速浏览一下现代ETL平台。

    现任ETL工具概述

    现有的ETL工具构成了ETL工具市场的大部分 - 这是合理的。他们的时间最长,很多都是由非常大的公司设计的(微软,IBM等),所以预装的客户群非常庞大。

    其中一些工具由一套一起使用的工具组成,可以根据具体问题进行定制。由于许多公司将其数据存储在传统的单一数据库和系统中,因此制造商可以提供工具来迁移该数据并支持现有的批处理方法。

    流行的现任ETL工具

    这不是一份完整的清单,但它确实涵盖了主要产品。

    IBM InfoSphere Information Server

    IBM InfoSphere Information Server是一个ETL工具,是IBM Information Platforms Solutions套件和IBM InfoSphere的一部分。它使用图形符号来构建数据集成解决方案,并提供各种版本(服务器版,企业版和MVS版)。

    Informatica PowerCenter

    Informatica PowerCenter是ETL产品套件的通用名称,包括PowerCenter客户端工具,服务器和存储库。

    数据存储在由客户端工具和服务器访问的存储库中。操作在服务器上执行,服务器连接到源和目标以获取数据,应用所有转换并将数据加载到目标系统中。

    iWay软件

    Information Builders的iWay Integration Suite提供了应用程序和数据集成功能。客户使用它们来管理结构化和非结构化信息。该套件包括iWay DataMigrator,iWay服务管理器和iWay通用适配器框架。

    Microsoft SQL Server集成服务

    Microsoft SQL Server Integration Services(SSIS)是构建高性能数据集成解决方案的平台,包括用于数据仓库的ETL包。

    OpenText公司

    该OpenText的集成中心是一个整合的平台,让组织中提取,提升,改造,整合,以及一个或多个存储库迁移数据和内容,任何新的目标的能力。

    Oracle GoldenGate

    Oracle GoldenGate是一个全面的软件包,用于在异构IT环境中进行实时数据集成和复制。

    普及软件

    Pervasive的Data Integrator平台是一种企业数据集成软件解决方案,使公司能够在任何类型的数据源和应用程序之间建立连接。Data Integrator支持实时集成方案。

    必能宝软件

    Pitney Bowes提供大量针对数据集成的工具和解决方案。Sagent Data Flow是一个灵活的整合引擎,整合来自不同来源的数据并提供一套全面的数据转换工具,以增强其业务价值。

    SAP Business Objects数据服务

    以前称为Business Objects Data Integrator,SAP BusinessObjects Data Services(BODS)是用于数据集成,数据质量,数据分析和数据处理的ETL工具。它允许您整合和转换可信的数据到数据仓库系统以进行分析报告。

    SAS数据管理

    SAS Data Management建立在SAS平台之上,是SAS进入ETL的工具市场。该平台由大型套件(20多种)SAS工具和服务组成。

    Sun Java复合应用程序平台套件

    Sun的ETL和数据集成工具是大型Java复合应用程序平台套件(CAPS)的一部分。CAPS或Java CAPS是Oracle公司基于标准的企业服务总线软件套件。Java CAPS有几个组件可帮助整合现有应用程序并在面向服务的体系结构环境中提供新的业务服务。

    SYBASE

    Sybase ETL包括Sybase ETL Development和Sybase ETL Server。

    Sybase ETL Development是用于创建和设计数据转换项目和作业的GUI工具。该工具提供了一个完整的模拟和调试环境,旨在加速ETL转换流程的开发。Sybase ETL Development包含一个ETL开发服务器,用于控制实际的处理,例如连接到数据库和执行过程。

    Sybase ETL Server是一种可伸缩和分布式的网格引擎,它使用转换流(使用Sybase ETL Development设计)连接到数据源并将数据提取并加载到数据目标。

    Syncsort公司

    SyncSort云解决方案可访问和整合来自各种来源的数据,并有助于将数据移至云存储库。

    现有ETL工具的局限性

    现有工具最大的局限性在于它们被设计为批量工作:收集一些数据,上传数据,收集更多数据,上传数据等。批量加载数据在某些情况下起作用; 但是,仅使用批次方法存在问题。

    批处理数据转换工具对于跨平台数据源很难实现,特别是在涉及变更数据捕获(CDC)的情况下。当批量数据上传出现问题时,您需要跟踪问题,排除故障并快速重新提交作业。这种错误处理是至关重要的,因为如果数据仓库中的数据超过了24小时API调用的分配数量,或者传入的数据得到备份以及CDC信息的情况下丢失的数据可能是一个巨大的问题丢失或被覆盖。

    那么越来越多的数据流和其他类型的数据源呢?它们不太适合设计和建立在批处理过程中的工具集,尤其是在今天需要尽快提供最新数据的情况下。

    现代ETL工具概述

    现代的ETL工具套件是以实时流数据处理和云计算为基础构建的。这些最新的条目诞生了,能够与先进的云数据仓库良好集成,并支持日益增多的数据源和数据流。

    今天的趋势继续指向云,而将IT和ETL移到云只是有道理的。基于云的ETL服务是自然而然的下一步。他们支持与他们的前辈相同的批处理模型,但他们正在将ETL带到下一个阶段,通常提供对实时数据,智能模式检测等的支持。

    对ETL过程的现代要求使批处理方法几乎过时。随着公司及其客户要求最新的数据,每晚的财务或库存更新的日子一去不复返了。跟上不断增长的数据流列表的公司需要实时ETL处理。

    随着对实时数据访问的需求的出现,体系结构发生了根本性的变化。今天的模型基于流处理和分布式消息队列,如Kafka。像Alooma和其他公司的现代方法将这些新技术结合起来,提供SaaS平台和内部解决方案。作为流的一部分,现代ETL平台提供不同级别的转换,从几乎没有转换(相反,转换发生在数据仓库中,加载后,AKA ELT)到通过代码(Python,Java等)完全控制。

    最后一块难题是数据完整性。如果部分流程滞后或失败会发生什么?通过管道传输的数据会发生什么?任何真正现代化的ETL平台都需要内置强大的安全网络来进行错误处理和报告。

    流行的现代ETL平台和工具

    这里列出了最常见的现代ETL平台和工具。

    Alooma

    Alooma是为云构建的企业数据管道平台。Alooma为数据团队提供了一个现代的,可扩展的基于云的ETL解决方案,可以实时将来自任何数据源的数据汇集到任何数据仓库中。

    错误处理:处理,监控/报告,重新定义转换:支持Python转换的ETL

    Confluent

    Confluent是一个基于Apache Kafka的全面数据流平台,能够在数据流中发布和订阅以及存储和处理数据。Confluent提供了其平台的开源版本。

    错误处理:仅监控转换:ETL,Kafka Streams API

    Fivetran

    Fivetran是一款SaaS数据集成工具,可从不同的云服务,数据库和商业智能(BI)工具中提取数据,并将其加载到数据仓库中。

    错误处理:仅监控转型:ELT,有限

    FlyData

    FlyData是一款SaaS数据迁移工具,可用于管理MySQL,PostgreSQL,MariaDB,Percona中的数据加载过程,并以CSV / TSV / JSON格式记录到Amazon Redshift数据仓库。

    错误处理:是,缓冲转型:ELT,有限

    Matillion

    Matillion提供专门为Amazon Redshift,Google BigQuery和Snowflake构建的云数据集成ETL工具。

    错误处理:通过代码支持,不是内置的转换:ETL,图形化构建器

    SnapLogic

    SnapLogic提供数据集成平台即服务工具,用于连接云数据源,SaaS应用程序和本地商业软件应用程序。

    错误处理:支持,但不是内置转换:ETL,图形化构建器

    Stitch Data

    Stitch是一款云端优先开发者专用工具,用于快速移动数据。

    错误处理:手动,记录记录在拒绝表中转型:准ETL,有限

    StreamSets

    StreamSets是云本地产品集合,用于控制数据漂移; 数据,数据源,数据基础设施和数据处理方面的变化问题。

    错误处理:是(错误记录处理)转换:ETL,代码和GUI

    Striim

    Striim(发音为“stream”)是一个实时的流媒体分析和数据集成平台。

    错误处理:仅监控转换:ETL,内置和Java功能

    Wrapping Up

    当今对高级数据分析的需求需要现代的数据集成方法。无论您是希望整合来自数据库,流媒体服务,文件还是其他来源的数据,选择合适的工具集都至关重要。一个内置于云中的现代化平台可以为您的企业提供所需的优势。

  • ?

    干货 | 这是一份完整的大数据处理技术总结与分析

    noname

    展开

    一 数据分析处理需求分类

    1 事务型处理

    在我们实际生活中,事务型数据处理需求非常常见,例如:淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

    这类系统数据处理特点包括以下几点:

    一是事务处理型操作都是细粒度操作,每次事务处理涉及数据量都很小。

    二是计算相对简单,一般只有少数几步操作组成,比如修改某行的某列;

    三是事务型处理操作涉及数据的增、删、改、查,对事务完整性和数据一致性要求非常高。

    四是事务性操作都是实时交互式操作,至少能在几秒内执行完成;

    五是基于以上特点,索引是支撑事务型处理一个非常重要的技术。

    在数据量和并发交易量不大情况下,一般依托单机版关系型数据库,例如ORACLE、MYSQL、SQLSERVER,再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

    在数据量和并发交易量增加情况下,一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等,如银行系统、运营商计费系统、证卷系统)来支撑。

    事务型操作在淘宝、12306等互联网企业中,由于数据量大、访问并发量高,必然采用分布式技术来应对,这样就带来了分布式事务处理问题,而分布式事务处理很难做到高效,因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

    2 数据统计分析

    数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据,以辅助企业管理层来进行运营决策。典型的使用场景有:周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应的营销策略等。

    数据统计分析特点包括以下几点:

    一是数据统计一般涉及大量数据的聚合运算,每次统计涉及数据量会比较大。

    二是数据统计分析计算相对复杂,例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

    三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多的用户希望能做做到交互式实时统计;

    传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型,通过预计算等方法,把数据整理成适合统计分析的结构来实现高性能的数据统计分析,以支持可以通过下钻和上卷操作,实现各种维度组合以及各种粒度的统计分析。

    另外目前在数据统计分析领域,为了满足交互式统计分析需求,基于内存计算的数据库仓库系统也成为一个发展趋势,例如SAP的HANA平台。

    3 数据挖掘

    数据挖掘主要是根据商业目标,采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

    数据挖掘主要过程是:根据分析挖掘目标,从数据库中把数据提取出来,然后经过ETL组织成适合分析挖掘算法使用宽表,然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件,一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

    数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性,导致数据挖掘会涉及大量衍生变量计算,衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂,计算量就很大,特别是大量机器学习算法,都是迭代计算,需要通过多次迭代来求最优解,例如K-means聚类算法、PageRank算法等。

    因此总体来讲,数据分析挖掘的特点是:

    1、数据挖掘的整个计算更复杂,一般是由多个步骤组成计算流,多个计算步骤之间存在数据交换,也就是会产生大量中间结果,难以用一条sql语句来表达。

    2、计算应该能够非常灵活表达,很多需要利用高级语言编程实现。

    二 大数据背景下事务型处理系统相关技术

    在google、facebook、taobao等大互联网公司出现之后,这些公司注册和在线用户数量都非长大,因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

    为了解决该问题,从目前资料来看,其实没有一个通用的解决方案,各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点:

    (1)数据库分片,结合业务和数据特点将数据分布在多台机器上。

    (2)利用缓存等机制,尽量利用内存,解决高并发时遇到的随机IO效率问题。

    (3)结合数据复制等技术实现读写分离,以及提高系统可用性。

    (4)大量采用异步处理机制,对应高并发冲击。

    (5)根据实际业务需求,尽量避免分布式事务。

    1相关系统介绍

    1) 阿里CORBAR系统

    阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统,属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过),由于陈思儒离开阿里去了盛大,阿里当心“变形虫”稳定性等问题,重新开发该项目。

    该系统主要采用数据库分片思路,实现了:数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可,因此相对真正并行数据库集群(例如TeraData等),此类系统提供操作没有也不需要提供一些复杂跨库处理,因此该系统存在以下限制:

    (1)不支持跨库的join、分页、排序、子查询。

    (2)insert等变更语句必须包括拆分字段等。

    (3)应该不支持跨机事务(以前变形虫不支持)。

    说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

    另外此类系统的在实际应用的关键问题是,根据什么对数据进行切分,因为切分不好会导致分布式的事务问题。

    2) 阿里OceanBase系统

    该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下:

    (1)他们发现在实际生成环境中,每天更新的数据只占总体数据的1%不到,因此他们把数据分为:基线数据和增量更新数据。

    (2)基线数据是静态数据,采用分布式存储方式进行存储。

    (3)只在一台服务器上存储和处理增量更新数据,并且是在内存中存储和处理更新数据。

    (4)在系统负载轻的时候,把增量更新批量合并到基线数据中。

    (5)数据访问时同时访问基线数据和增量更新数据并合并。

    因此这样好处是:

    (1)读事务和写事务分离

    (2)通过牺牲一点扩展性(写是一个单点),来避免分布式事务处理。

    说明:该系统虽然能处理高并发的事务型处理,号称很牛逼,但其实也只是根据电商的事务处理来定制开发的专用系统,个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等,因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

    在目前的大数据时代,一定是基于应用定制才能找到好的解决方案!

    3) 基于Hbase的交易系统

    在hadoop平台下,HBASE数据库是一个分布式KV数据库,属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

    HBASE数据库接口是非SQL接口,而是KV操作接口(基于Key的访问和基于key范围的scan操作),因此HBASE数据库虽然可扩展性非常好,但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中,关键点是key的设计,要根据需要支持的应用来设计key的组成。

    可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案,二级索引维护将会比较麻烦。

    2并发和并行区别

    并发是指同时执行通常不相关的各种任务,例如交易型系统典型属于高并发系统。

    并行是通过将一个很大的计算任务,划分为多个小的计算任务,然后多个小计算任务的并行执行,来缩短该计算任务计算时间。

    两者主要区别在于:

    (1)通讯与协调方面:在并行计算中,由于多个小任务同属一个大的计算任务,因此小任务之间存在依赖关系,小任务之间需要大量通讯和协调;相反,并发中的多个任务之间基本相互独立,任务与任务之间相关性很小。

    (2)容错处理方面:由于并发任务之间相互独立,某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务,因此某个子任务的失败,如果不能恢复(粗粒度容错与细粒度容错),则整个任务都会失败。

    3本章总结

    数据量大不一定需要并行计算,虽然数据量大,数据是分布存储,但是如果每次操作基本上还是针对少量数据,因此每次操作基本上都是在一台服务器上完成,不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

    三 大数据背景下数据统计分析技术介绍

    随数据量变大,和事务处理不同的是,单个统计分析涉及数据量会非常大,单个统计分析任务涉及数据会分散在多台服务器上,且由于计算量大,采用单台服务器进行计算,会导致计算时间非常长,单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

    1并行查询与并行计算技术介绍

    在大数据背景下的数据统计分析技术门类很多,常见的有:

    n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

    n 基于MapReduce并行计算框架的数据仓库:

    HIVE(Hadoop平台) 、Tenzing(Google公司)

    n 基于Hbase的Phoenix系统

    n HadoopDB系统

    n EMC公司的hapt系统

    n MPP分布式查询引擎: Dremel、Impala、Presto、Shard query、Citusdb。

    n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

    n 基于hadoop+index的JethroData系统

    n 基于内存计算的Druid系统

    这些系统都解决了海量数据下的数据统计分析的问题,并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

    为了能够较好研究这些系统,我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

    首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算,并负责把该计算翻译成底层并行计算引擎可以执行的执行计划,并由并行计算引擎来执行,最下面一层是分布式存储层。

    对于提供类SQL接口并行计算系统,语义层可以认为是SQL解析层。

    1) 语义层

    SQL语言是一种声名式语言,SQL只是表达了要做什么,而没有表达怎么做。为此,SQL解析层主要作用是:将用户提交的基于SQL的统计分析请求,转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

    SQL解析层工作主要包括两个大方面:

    (1) 通过语法分析技术来理解要做什么。在关系数据库中,一般会把SQL语言分析后,形成树型结构的执行计划。

    (2) 在语法分析技术上,利用各种优化技术和算法,找出一种最经济物理执行计划。

    优化可以分为两个方面:一是逻辑层面优化、二是物理执行层面优化。

    (1) 逻辑层优化

    逻辑层面个人认为主要是因为同样表达一个分析请求,有的人SQL写的好,有的人SQL写的烂,因此在逻辑层面可以通过一些等价关系代数变换,实现查询重写,将写的比较烂的sql变换为好的写法。

    比较典型优化是:“把投影和过滤下沉,先执行过滤和投影操作”,减少中间结果。

    (2) 物理层优化

    物理层面优化是在逻辑优化后,结合实际物理执行过程,找出最优的物理执行计划。生成物理查询计划的工作包括:

    ü 增加一些操作符: 包括扫描和排序等。

    ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

    ü 确定操作符之间的数据流转方法:物化还是流水线方式。

    ü 采用基于代价估算方法确定最优的物理执行计划,目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库,则还要考虑通讯代价,即尽量减少数据在各个机器之间的传递。

    在物理层优化的代价估算过程中,代价估算需要依靠很多统计信息,如表有多大,表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

    需要指出是,由于imapla、Presto、HIVE等系统只是一个查询引擎,它们可以直接查询以普通文件方式存储在HDFS系统上的文件,因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化,这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文,SHARK系统支持根据前面一些节点计算获得的信息,来动态优化后面执行计划。

    (3) 物化与流水线执行方法

    一条SQL语句对开发人员而言,感觉只是一次调用,但是实际上在数据库内部,一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图:

    针对该计算流有两种执行方式:一是基于物化或者是实体化执行方式,另外一种是基于数据流的执行方式。

    第一种方法的过程是: 把各个操作运算排序,并把每个操作运算的输出的中间结果存储在磁盘上,直到被另外一个操作运算所...

  • ?

    20个免费和开源数据可视化工具

    长厮守

    展开

    数据可视化正在帮助全球的公司识别模式,预测结果并提高业务回报。可视化是数据分析的一个重要方面。简而言之,数据可视化以可视格式传达表格或空间数据的结果。图像有能力清晰地捕捉注意力并传达想法。这有助于决策并推动改进行动。

    通过使用正确的工具,您可以从原始数据中勾勒出令人信服的视觉故事。以下是一些用于数据可视化的免费和开源工具。

    1.Candela

    如果您了解JavaScript,那么您可以使用此开源工具进行丰富的数据可视化。Candela是一个开源的可互操作网络可视化组件。

    2.Charted

    Charted是一款免费的数据可视化工具,可让您从CSV文件和Google电子表格创建线形图或条形图。收费带有集成组件,包括LineUp组件,UpSet组件,OnSet组件,Vega可视化和GeoJS地理空间可视化。该工具不存储数据或操作它。纯粹基于可视化,它具有基本功能来创建带有标签和备注的线条或堆积图表。

    3.数据包装器

    Datawrapper是一款移动友好的数据可视化工具,可让您在几秒钟内创建图表和报告。该工具的免费版本适用于单个用户,支持每月10,000个月的图表视图。使用该工具,您可以创建不同类型的可视化效果,如条形图,分割图,堆积图,点图,箭头图,面积图,散点图,符号图和等值线图。您不需要编码或设计技能来使用该工具。

    4. Google Data Studio

    如果您拥有Gmail帐户,Google的数据可视化工具就可以免费且轻松地进行设置。您可以轻松将其与Google产品相关联,例如Google AdWords,Google Analytics,YouTube Analytics和Google表格。

    5.谷歌图表

    Google的另一个简单而免费的数据可视化工具是Google Charts 工具。该工具带有用于可视化的交互式图表和数据工具。

    6.Leaflet

    Leaflet是一个开源的JavaScript库,允许您制作适合移动设备的交互式地图。该工具有很多插件可用于添加功能,并可在各种桌面和移动平台上正常运行。

    7. MyHeatMap

    MyHeatMap是一款免费工具,可以交互式查看您的地理数据。该工具的免费版本只提供公共地图,您可以为每个这些免费地图添加20个数据点。该工具使用颜色编码的热图更容易理解数据。您也可以在同一张地图内的数据集之间切换。

    8. Openheatmap

    Openheatmap让你把你的电子表格变成一张地图。您可以上传CSV文件或Google表格,以在几秒钟内创建交互式在线地图。该工具可用于解释邮政编码等客户人口统计数据。

    9.Palladio

    Palladio是一款免费工具,旨在将复杂的历史数据可视化。它具有地图视图,图形视图,列表视图和图库视图等功能。您可以使用该工具可视化CSV,TAB或TSV文件中的数据。通过图表视图,您可以可视化数据维度之间的关系。数据显示为通过线路连接的节点。另一方面,列表视图允许您安排数据以制作自定义列表。该工具还具有图库视图以在网格中显示数据。

    10. RawGraphs

    RawGraphs是一个开源平台,可帮助您可视化TSV,CSV,DSV或JSON数据。免费工具使用简单,并有助于将数据转换为图表。

    11. Tableau Public

    Tableau Public是一款免费的商业智能工具,允许用户创建和共享交互式图表,图表,地图和应用程序。该工具的免费版本带有10 GB的存储空间。您可以将它连接到Google表格,Microsoft Excel,文本文件,JSON文件,空间文件,Web数据连接器,OData以及SAS(* .sas7bdat),SPSS(* .sav)和R等统计文件(* .rdata,* .rda)。

    12.时间表

    时间轴 是一款免费工具,可让您为报告创建时间表。您可以使用工具中提供的模板连接您的Google云端硬盘帐户,从Google电子表格创建时间表。使用JSON,您可以创建自定义安装。

    13. Chartist.js

    Chartist.js是一款免费的数据可视化工具,可让您快速轻松地创建响应式图表。

    该工具提供了很大的灵活性并且可以自定义。你甚至可以使用CSS动画和转换到你的SVG元素。

    14. ColorBrewer

    ColorBrewer是一款免费工具,可用于根据配色方案更好地制作地图。该工具可以轻松区分复杂地图上的颜色。

    15. D3.js

    D3.js 是一个免费的JavaScript库,可以帮助您使用数据创建图像。该工具使您能够将任意数据连接到文档对象模型(DOM),然后将数据驱动的转换应用于文档。通过DOM编程API,程序员可以将文档作为对象访问。

    16.Plotly

    Plotly是一款开放源代码工具,可用于撰写,编辑和共享交互式数据可视化。您可以使用该工具通过上传CSV文件或连接到SQL数据库来创建D3.js图表和地图。您也可以使用R或Python创建图表。

    17. Polymaps

    Polymaps是一个免费的JavaScript库,用于在浏览器中创建动态的交互式地图。您可以使用该工具在地图上显示多缩放数据集。该工具使用可缩放矢量图形(SVG)来显示图像,从而使您可以使用CSS定义设计。

    18.Weave

    Weave是一个免费的数据可视化平台,符合ADA标准。该工具带有全键盘和辅助设备导航以及完整的屏幕阅读器支持。该工具还自动实时描述图像。

    19. Dygraphs

    Dygraphs是一个基于JavaScript的开源图表库。这个免费的工具可以用来分析密集的数据集。该工具是高度可定制的,并适用于所有浏览器。该工具为错误栏/置信区间提供了强有力的支持。

    20.GanttPro

    除此之外,还有许多数据可视化工具可以在有限的时间内提供免费试用。 例如,项目管理工具GanttPro可帮助您在15天的试用期内免费创建项目图表。

    数据可视化对精确的数据分析至关重要。利用正确的工具,您可以轻松地向您的利益相关者总结和解释复杂的数据。通过利用数据产生的可操作的见解,公司可以获得巨额利润和储蓄。我们说的有多大?Netflix 在2017年 以其ML算法向用户推荐个性化电视节目和电影,节省了约 10亿美元。正确使用时,数据分析和可视化有能力改变人们的生活方式。

    点一下关注哦!~~

  • ?

    一道关于文件批量查找并替换内容并移动文件的面试题

    方海安

    展开

    一、题目

    指定目录from_dir下面有一些csv文件,要求找出这一类文件,并把文件内的Tab符替换成逗号,并将文件的扩展名改为.tsv并存放于to_dir目录。请写一个shell脚本。

    Linux

    二、思路

    1.找出扩展名为.csv的文件可以用find命令,注意是文件。

    find $from_dir/ -name "*.csv" -type f

    2.将文件内的Tab符替换为逗号,使用sed。

    sed -i 's\t/,/g' $Name

    3.把文件拓展名修改为tsv并存放于to_dir。

    mv $Name $to_dir/$str

    三、实现

    1.建立实验文件,文件内包括Tab符。

    方案1:

    #!/bin/bash

    from_dir="/root"

    to_dir="/opt"

    for Name in `find $from_dir/ -name "*.csv" -type f`

    do

    sed -i 's\t/,/g' $Name

    File=$(echo $Name|awk -F "/" '{ print $NF }')

    echo $File>FileName

    sed -i 's/.csv/.tsv/g' FileName

    str=`cat FileName`

    mv $Name $to_dir/$str

    rm -rf FileName

    done

    方案2:

    #!/bin/bash

    from_dir="/root"

    to_dir="/opt"

    cd $from_dir

    for File in `find -name "*.csv" -type f`

    do

    sed -i 's\t/,/g' $File

    done

    find -name "*.csv" -type f -exec mv {} $to_dir/{} ;

    rename .csv .tsv $to_dir/*.csv

    简直不要太简单!

    3.执行。

    方案1执行结果:

    [root@ChatDevOps ~]# source Script.sh

    [root@ChatDevOps ~]# ll

    总用量 8

    -rw-r--r--. 1 root root 215 5月 7 19:50 Script.sh

    -rw-r--r--. 1 root root 79 5月 7 18:52 test.sh

    [root@ChatDevOps ~]# ll /opt/

    总用量 24

    -rw-r--r--. 1 root root 2 5月 7 19:50 aa.tsv

    -rw-r--r--. 1 root root 2 5月 7 19:50 ab.tsv

    -rw-r--r--. 1 root root 2 5月 7 19:50 ac.tsv

    -rw-r--r--. 1 root root 2 5月 7 19:50 bb.tsv

    -rw-r--r--. 1 root root 2 5月 7 19:50 bc.tsv

    -rw-r--r--. 1 root root 2 5月 7 19:50 cc.tsv

    [root@ChatDevOps ~]# cat /opt/aa.csv

    ,

    目标实现,继续寻找其他方案。

    方案2执行结果:

    [root@ChatDevOps ~]# source Script.sh

    [root@ChatDevOps ~]# ll /opt/

    总用量 24

    -rw-r--r--. 1 root root 4 5月 7 20:31 aa.tsv

    -rw-r--r--. 1 root root 4 5月 7 20:31 ab.tsv

    -rw-r--r--. 1 root root 4 5月 7 20:31 ac.tsv

    -rw-r--r--. 1 root root 4 5月 7 20:31 bb.tsv

    -rw-r--r--. 1 root root 4 5月 7 20:31 bc.tsv

    -rw-r--r--. 1 root root 4 5月 7 20:31 cc.tsv

    [root@ChatDevOps ~]# cat /opt/aa.tsv

    ,

    再想一想,看看怎么写方案3,哈哈!

    四、总结

    1.在回答这道题的时候,容易陷入一种一个语句实现全部功能的怪圈,没理解清楚题目,文件名中是不可能有Tab符的。这道题目前可能还有Bug,我再考虑一下,其他实现方式我也再想想。

    2.方案2其实有个缺陷,万一$to_dir之前就存在.csv的文件呢?都全部被我们重命名了!需要改进一下,可以创建一个临时目录,把find到的文件先移动到这个空目录,然后重命名,最后再移到$to_dir。当然也可以用find命令加exec再次处理,判定修改时间小于2分钟,才重命名。

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。