中企动力 > 商学院 > mmap文件
  • ?

    Nginx、Apache工作原理及Nginx为何比Apache高效

    屈易巧

    展开

    【域名注册】小鸟云域名注册拥有超高的解析响应速度,30ms内访问到服务器,强大的域名自助管理平台,域名转入/转出自如,修改信息简单方便,同时提供免费域名隐私保护服务,防止注册人信息被盗号导致的骚扰和诈骗。

    Nginx才短短几年,就拿下了web服务器大笔江山,众所周知,Nginx在处理大并发静态请求方面,效率明显高于httpd,甚至能轻松解决C10K问题。

    在高并发连接的情况下,Nginx是Apache服务器不错的替代品。Nginx同时也可以作为7层负载均衡服务器来使用。根据我的测试结果,Nginx 0.7.14 + PHP 5.2.6 (FastCGI) 可以承受3万以上的并发连接数,相当于同等环境下Apache的10倍。

    一般来说,4GB内存的服务器+Apache(prefork模式)一般只能处理3000个并发连接,因为它们将占用3GB以上的内存,还得为系统预留1GB的内存。我曾经就有两台Apache服务器,因为在配置文件中设置的MaxClients为4000,当Apache并发连接数达到3800时,导致服务器内存和Swap空间用满而崩溃。

    而这台 Nginx 0.7.14 + PHP 5.2.6 (FastCGI) 服务器在3万并发连接下,开启的10个Nginx进程消耗150M内存(15M*10=150M),开启的64个php-cgi进程消耗1280M内存(20M*64=1280M),加上系统自身消耗的内存,总共消耗不到2GB内存。如果服务器内存较小,完全可以只开启25个php-cgi进程,这样php-cgi消耗的总内存数才500M。

    在3万并发连接下,访问Nginx 0.7.14 + PHP 5.2.6 (FastCGI) 服务器的PHP程序,仍然速度飞快。

    为什么Nginx在处理高并发方面要优于httpd,我们先从两种web服务器的工作原理以及工作模式说起。

    apache三种工作模式

    我们都知道Apache有三种工作模块,分别为prefork、worker、event。

    prefork:多进程,每个请求用一个进程响应,这个过程会用到select机制来通知。

    worker:多线程,一个进程可以生成多个线程,每个线程响应一个请求,但通知机制还是select不过可以接受更多的请求。

    event:基于异步I/O模型,一个进程或线程,每个进程或线程响应多个用户请求,它是基于事件驱动(也就是epoll机制)实现的。

    4.2 prefork的工作原理

    如果不用“--with-mpm”显式指定某种MPM,prefork就是Unix平台上缺省的MPM.它所采用的预派生子进程方式也是 Apache1.3中采用的模式。prefork本身并没有使用到线程,2.0版使用它是为了与1.3版保持兼容性;另一方面,prefork用单独的子进程来处理不同的请求,进程之间是彼此独立的,这也使其成为最稳定的MPM之一。

    4.3 worker的工作原理

    相对于prefork,worker是2.0版中全新的支持多线程和多进程混合模型的MPM。由于使用线程来处理,所以可以处理相对海量的请求,而系统资源的开销要小于基于进程的服务器。但是,worker也使用了多进程,每个进程又生成多个线程,以获得基于进程服务器的稳定性,这种MPM的工作方 式将是Apache2.0的发展趋势。

    4.4 event 基于事件机制的特性

    一个进程响应多个用户请求,利用callback机制,让套接字复用,请求过来后进程并不处理请求,而是直接交由其他机制来处理,通过epoll机制来通知请求是否完成;在这个过程中,进程本身一直处于空闲状态,可以一直接收用户请求。可以实现一个进程程响应多个用户请求。支持持海量并发连接数,消耗更少的资源。

    如何提高Web服务器的并发连接处理能力

    有几个基本条件:

    1.基于线程,即一个进程生成多个线程,每个线程响应用户的每个请求。

    2.基于事件的模型,一个进程处理多个请求,并且通过epoll机制来通知用户请求完成。

    3.基于磁盘的AIO(异步I/O)

    4.支持mmap内存映射,mmap传统的web服务器,进行页面输入时,都是将磁盘的页面先输入到内核缓存中,再由内核缓存中复制一份到web服务器上,mmap机制就是让内核缓存与磁盘进行映射,web服务器,直接复制页面内容即可。不需要先把磁盘的上的页面先输入到内核缓存去。

    刚好,Nginx 支持以上所有特性。所以Nginx官网上说,Nginx支持50000并发,是有依据的。

    Nginx优异之处

    传统上基于进程或线程模型架构的web服务通过每进程或每线程处理并发连接请求,这势必会在网络和I/O操作时产生阻塞,其另一个必然结果则是对内存或CPU的利用率低下。生成一个新的进程/线程需要事先备好其运行时环境,这包括为其分配堆内存和栈内存,以及为其创建新的执行上下文等。这些操作都需要占用CPU,而且过多的进程/线程还会带来线程抖动或频繁的上下文切换,系统性能也会由此进一步下降。另一种高性能web服务器/web服务器反向代理:Nginx(Engine X),nginx的主要着眼点就是其高性能以及对物理计算资源的高密度利用,因此其采用了不同的架构模型。受启发于多种操作系统设计中基于“事件”的高级处理机制,nginx采用了模块化、事件驱动、异步、单线程及非阻塞的架构,并大量采用了多路复用及事件通知机制。在nginx中,连接请求由为数不多的几个仅包含一个线程的进程worker以高效的回环(run-loop)机制进行处理,而每个worker可以并行处理数千个的并发连接及请求。

    Nginx 工作原理

    Nginx会按需同时运行多个进程:一个主进程(master)和几个工作进程(worker),配置了缓存时还会有缓存加载器进程(cache loader)和缓存管理器进程(cache manager)等。所有进程均是仅含有一个线程,并主要通过“共享内存”的机制实现进程间通信。主进程以root用户身份运行,而worker、cache loader和cache manager均应以非特权用户身份运行。

    在高连接并发的情况下,Nginx是Apache服务器不错的替代品

    Nginx 安装非常的简单 , 配置文件非常简洁(还能够支持perl语法),Bugs 非常少的服务器: Nginx 启动特别容易, 并且几乎可以做到7*24不间断运行,即使运行数个月也不需要重新启动. 你还能够 不间断服务的情况下进行软件版本的升级 。

    Nginx 的诞生主要解决C10K问题

    最后我们从各自使用的多路复用IO模型来分析:

    select模型:(apache使用,由于受模块等限制,用的不多)

    单个进程能够 监视的文件描述符的数量存在最大限制

    select()所维护的 存储大量文件描述符的数据结构 ,随着文件描述符数量的增长,其在用户态和内核的地址空间的复制所引发的开销也会线性增长

    由于网络响应时间的延迟使得大量TCP连接处于非活跃状态,但调用select()还是会对 所有的socket进行一次线性扫描 ,会造成一定的开销

    poll:poll是unix沿用select自己重新实现了一遍,唯一解决的问题是poll 没有最大文件描述符数量的限制

    epoll模型:(nginx使用)

    epoll带来了两个优势,大幅度提升了性能:

    基于事件的就绪通知方式 ,select/poll方式,进程只有在调用一定的方法后,内核才会对所有监视的文件描述符进行扫描,而epoll事件通过epoll_ctl()注册一个文件描述符,一旦某个文件描述符就绪时,内核会采用类似call back的回调机制,迅速激活这个文件描述符,epoll_wait()便会得到通知

    调用一次epoll_wait()获得就绪文件描述符时,返回的并不是实际的描述符,而是一个代表就绪描述符数量的值,拿到这些值去epoll指定的一个数组中依次取得相应数量的文件描述符即可,这里使用内存映射(mmap)技术, 避免了复制大量文件描述符带来的开销

    当然epoll也有一定的局限性, epoll只有Linux2.6才有实现 ,而其他平台都没有,这和apache这种优秀的跨平台服务器,显然是有些背道而驰了。

    简单来说epoll是select的升级版,单进程管理的文件描述符没有最大限制。但epoll只有linux平台可使用。作为跨平台的Apache没有使用

  • ?

    显示地图以及定位,一篇文章玩转高德地图

    飞鱼

    展开

    前言

    原文地址:http://apkbus/blog-904057-63610.html

    今天,我们一起来聊聊有关地图方面的内容吧。

    目前比较好的地图第三方分别如下:

    百度地图 API地址:http://lbsyun.baidu/ ;高德地图 API地址:http://lbs.amap/ ;腾讯地图 API地址:http://lbs.qq/;谷歌Baba的大地图 API地址:http://maps.googleapis/。

    LZ孤陋寡闻,暂时只知道以上这四种,如有其他好用地图,欢迎大家提供,LZ也更好的完善博文~

    经过网上简单搜索后,简单得出以下结论(仅仅LZ个人所见,欢迎打脸~):

    百度地图,功能齐全,牛掰,无奈地图更新不是很及时;高德地图,专注地图n余年,开发文档以及后续支持比较好,苹果手机内置地图也同样为高德地图(大高德666~);腾讯地图,没怎么使用过;谷歌Baba大地图,貌似需要翻墙,比较心累~

    So,经过简单了解后,让我们愉快的开启玩转高德地图之旅吧~

    开启高德地图探索之旅

    一. 查看官方攻略

    这个就很简单了,我们找到高德地图API,按照官方溜达溜达去。

    1.百度搜索高德地图api

    点击进入,选择 “开发与支持” 在点击”Android 地图 SDK”

    2.获取地图开发Key

    首先我们需要注册成为高德地图开发者,这里不做过多说明。

    接下来在控制台创建应用,如下图:

    之后点击创建Key,高德hint给的很全面,大家按照要求来即可。

    关于获取SHA1,大家可以参考LZ之前写的博文:AndroidStudio获取SHA1值

    获取到key,我们一起粗略了解下官方提供相关知识。

    3.了解官方干货

    谷歌官方将地图相关SDK区分为五大类,如下图:

    在这里,大家可能会疑问,2D地图 3D地图,这又是什么鬼?别急,下面为大家附上官方解释。

    LZ果断选择3D地图,不要问为什么,就是喜欢新的!!!

    4.下载SDK

    下载完成之后,运行的时候需要在高德上申请key,否则无法运行!

    最好还是下载SDK所有的,都看看,也耽误不了多少功夫。

    如下图,简介明了,大家根据需求去进行开发,这里就不做过多说明了。

    该了解的也差不多了,下面开启撸码之路~

    二. 编码路漫漫其修远兮,吾必将上下而求索。

    又是一个人在晚上孤军奋战,没办法,答应了别人。人嘛,在家,对得起父母;在外,对得起朋友;谁不想回来做个饭,喝点小酒,歇会儿,看看电视,吃饱溜达溜达。可惜呐。当年的事情无论如何都是一份回忆,没有过往,哪儿来的未来,愿我们一起成长!

    先来个小目标,实现显示高德地图

    第一步,配置AndroidManifest.xml,添加基本权限

    设置高德Key

    第二步,向工程中添加地图所需so库以及引入开发包

    首先添加so文件,在src/main/目录下新建jniLibs目录,并将文件放入其中,LZ这里只兼容armeabi以及arm64-v8a;

    有关armeabi简单知识,大家可查阅LZ之前总结的博文:

    Android 中arm64-v8a、armeabi-v7a、armeabi、x86简介~

    添加完成后,如下所示:

    接下来,配置dependencies,由于我们第一个目标是要实现显示地图,所以我们要在项目的build.gradle中添加如下一行地址即可。

    compile ‘com.amap.api:3dmap:latest.integration’

    如下图:

    之后点击右上方的sync now,万能的死丢丢会亲自下载相关包~

    第三步,初始化地图容器

    在我们的layout中,添加地图控件

    Activity管理地图生命周期

    package cn.hlq.gaodemapdemo.map;import android.app.Activity;import android.os.Bundle;import com.amap.api.maps.AMap;import com.amap.api.maps.MapView;import cn.hlq.gaodemapdemo.R;/** * create by heliquan at 2017年5月4日23:26:59 */publicclassGaoDeLocationActivityextendsActivity{ private MapView mapView; private AMap aMap; @OverrideprotectedvoidonResume(){ super.onResume(); // 重新绘制加载地图 mapView.onResume(); } @OverrideprotectedvoidonCreate(Bundle savedInstanceState){ super.onCreate(savedInstanceState); setContentView(R.layout.activity_gao_de_location); initView(); // 创建地图 mapView.onCreate(savedInstanceState); } @OverrideprotectedvoidonPause(){ super.onPause(); // 暂停地图的绘制 mapView.onPause(); } @OverrideprotectedvoidonDestroy(){ super.onDestroy(); // 销毁地图 mapView.onDestroy(); } /** * 重写此方法,在activity执行onSaveInstanceState时执行mMapView.onSaveInstanceState (outState),保存地图当前的状态 * * @param outState */@OverrideprotectedvoidonSaveInstanceState(Bundle outState){ super.onSaveInstanceState(outState); mapView.onSaveInstanceState(outState); } privatevoidinitView(){ // 实例化地图控件 mapView = (MapView) findViewById(R.id.id_gaode_location_map); }}

    在这里也简单为大家拓展下小知识。

    第四步,显示地图

    privatevoidinitView(){ // 实例化地图控件 mapView = (MapView) findViewById(R.id.id_gaode_location_map); if (aMap == null) { // 显示地图 aMap = mapView.getMap(); } }

    第五步,查看我们的成果

    到此,地图显示,我们已经完成了~

    接下来,开启定位之旅~

    接着,再来个小目标,实现高德地图定位

    第一步,引入定位依赖~

    compile ‘com.amap.api:location:latest.integration’

    第二步,添加高德地图定位服务

    第三步,实现定位监听,重写三个方法

    implementsLocationSource, AMapLocationListener

    LZ在这里就直接贴代码了,相关注释也写的很明确了~!

    @TargetApi(Build.VERSION_CODES.N) @OverridepublicvoidonLocationChanged(AMapLocation aMapLocation){ // 解析AMapLocation对象// 判断AMapLocation对象不为空,当定位错误码类型为0时定位成功if (aMapLocation != null) { if (aMapLocation.getErrorCode() == 0) { aMapLocation.getLocationType(); // 获取当前定位结果来源,如网络定位结果,详见定位类型表 aMapLocation.getLatitude(); // 获取纬度 aMapLocation.getLongitude(); // 获取经度 aMapLocation.getAccuracy(); // 获取精度信息 aMapLocation.getAddress(); // 地址,如果option中设置isNeedAddress为false,则没有此结果,网络定位结果中会有地址信息,GPS定位不返回地址信息。 aMapLocation.getCountry(); // 国家信息 aMapLocation.getProvince(); // 省信息 aMapLocation.getCity(); // 城市信息 aMapLocation.getDistrict(); // 城区信息 aMapLocation.getStreet(); // 街道信息 aMapLocation.getStreetNum(); // 街道门牌号信息 aMapLocation.getCityCode(); // 城市编码 aMapLocation.getAdCode(); // 地区编码 aMapLocation.getAoiName(); // 获取当前定位点的AOI信息 aMapLocation.getBuildingId(); // 获取当前室内定位的建筑物Id aMapLocation.getFloor(); // 获取当前室内定位的楼层 aMapLocation.getGpsAccuracyStatus(); // 获取GPS的当前状态// 获取定位时间 SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Date date = new Date(aMapLocation.getTime()); df.format(date); // 设置缩放级别 aMap.moveCamera(CameraUpdateFactory.zoomTo(17)); // 将地图移动到定位点 aMap.moveCamera(CameraUpdateFactory.changeLatLng(new LatLng(aMapLocation.getLatitude(), aMapLocation.getLongitude()))); // 点击定位按钮 能够将地图的中心移动到定位点 mListener.onLocationChanged(aMapLocation); } else { // 定位失败时,可通过ErrCode(错误码)信息来确定失败的原因,errInfo是错误信息,详见错误码表。 Log.e("HLQ_Struggle", "location Error, ErrCode:" + aMapLocation.getErrorCode() + ", errInfo:" + aMapLocation.getErrorInfo()); } } } @Overridepublicvoidactivate(OnLocationChangedListener onLocationChangedListener){ mListener = onLocationChangedListener; } @Overridepublicvoiddeactivate(){ mListener = null; }

    第四步,初始化高德地图以及基本配置并开启定位

    aMap.getUiSettings().setZoomControlsEnabled(false); // 设置地图默认的指南针是否显示 aMap.getUiSettings().setCompassEnabled(true); // 设置定位监听 aMap.setLocationSource(this); // 设置默认定位按钮是否显示 aMap.getUiSettings().setMyLocationButtonEnabled(true); // 设置为true表示显示定位层并可触发定位,false表示隐藏定位层并不可触发定位,默认是false aMap.setMyLocationEnabled(true); aMap.setMyLocationType(AMap.LOCATION_TYPE_LOCATE);

    初始化高德地图,开启定位

    /** * 初始化高德地图 */publicvoidinitGaoDeMap(){ // 初始化定位 mLocationClient = new AMapLocationClient(getApplicationContext()); // 设置高德地图定位回调监听 mLocationClient.setLocationListener(this); // 初始化AMapLocationClientOption对象 mLocationOption = new AMapLocationClientOption(); // 高精度定位模式:会同时使用网络定位和GPS定位,优先返回最高精度的定位结果,以及对应的地址描述信息// 设置定位模式为AMapLocationMode.Hight_Accuracy,高精度模式 mLocationOption.setLocationMode(AMapLocationClientOption.AMapLocationMode.Hight_Accuracy); // 低功耗定位模式:不会使用GPS和其他传感器,只会使用网络定位(Wi-Fi和基站定位);//设置定位模式为AMapLocationMode.Battery_Saving,低功耗模式。// mLocationOption.setLocationMode(AMapLocationClientOption.AMapLocationMode.Battery_Saving);// 仅用设备定位模式:不需要连接网络,只使用GPS进行定位,这种模式下不支持室内环境的定位,自 v2.9.0 版本支持返回地址描述信息。// 设置定位模式为AMapLocationMode.Device_Sensors,仅设备模式。// mLocationOption.setLocationMode(AMapLocationClientOption.AMapLocationMode.Device_Sensors);// SDK默认采用连续定位模式,时间间隔2000ms// 设置定位间隔,单位毫秒,默认为2000ms,最低1000ms。 mLocationOption.setInterval(3000); // 设置定位同时是否需要返回地址描述//设置是否返回地址信息(默认返回地址信息) mLocationOption.setNeedAddress(true); // 设置是否强制刷新WIFI,默认为强制刷新。每次定位主动刷新WIFI模块会提升WIFI定位精度,但相应的会多付出一些电量消耗。// 设置是否强制刷新WIFI,默认为true,强制刷新。 mLocationOption.setWifiActiveScan(true); // 设置是否允许模拟软件Mock位置结果,多为模拟GPS定位结果,默认为false,不允许模拟位置。// 设置是否允许模拟位置,默认为false,不允许模拟位置 mLocationOption.setMockEnable(false); // 设置定位请求超时时间,默认为30秒// 单位是毫秒,默认30000毫秒,建议超时时间不要低于8000毫秒。 mLocationOption.setHttpTimeOut(50000); // 设置是否开启定位缓存机制// 缓存机制默认开启,可以通过以下接口进行关闭。// 当开启定位缓存功能,在高精度模式和低功耗模式下进行的网络定位结果均会生成本地缓存,不区分单次定位还是连续定位。GPS定位结果不会被缓存。// 关闭缓存机制 mLocationOption.setLocationCacheEnable(false); // 设置是否只定位一次,默认为false mLocationOption.setOnceLocation(false); // 给定位客户端对象设置定位参数 mLocationClient.setLocationOption(mLocationOption); // 启动高德地图定位 mLocationClient.startLocation(); }

    撸了一会儿码,现在来瞅瞅效果吧~

    咦,这个时候大家可能会问了,怎么移动别的地方之后还是会定位到当前...

  • ?

    kafka使用原理介绍

    天真

    展开

    Kafka

    Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。

    1.前言

    消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度,分析Kafka是如何实现高效文件存储,及实际应用效果。

    1.1 Kafka的特性:

    - 高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。

    - 可扩展性:kafka集群支持热扩展

    - 持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失

    - 容错性:允许集群中节点失败(若副本数量为n,则允许n-1个节点失败)

    - 高并发:支持数千个客户端同时读写

    1.2 Kafka的使用场景:

    - 日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer,例如hadoop、Hbase、Solr等。

    - 消息系统:解耦和生产者和消费者、缓存消息等。

    - 用户活动跟踪:Kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后订阅者通过订阅这些topic来做实时的监控分析,或者装载到hadoop、数据仓库中做离线分析和挖掘。

    - 运营指标:Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告。

    - 流式处理:比如spark streaming和storm

    - 事件源

    1.3 Kakfa的设计思想

    - Kakfa Broker Leader的选举:Kakfa Broker集群受Zookeeper管理。所有的Kafka Broker节点一起去Zookeeper上注册一个临时节点,因为只有一个Kafka Broker会注册成功,其他的都会失败,所以这个成功在Zookeeper上注册临时节点的这个Kafka Broker会成为Kafka Broker Controller,其他的Kafka broker叫Kafka Broker follower。(这个过程叫Controller在ZooKeeper注册Watch)。这个Controller会监听其他的Kafka Broker的所有信息,如果这个kafka broker controller宕机了,在zookeeper上面的那个临时节点就会消失,此时所有的kafka broker又会一起去Zookeeper上注册一个临时节点,因为只有一个Kafka Broker会注册成功,其他的都会失败,所以这个成功在Zookeeper上注册临时节点的这个Kafka Broker会成为Kafka Broker Controller,其他的Kafka broker叫Kafka Broker follower。例如:一旦有一个broker宕机了,这个kafka broker controller会读取该宕机broker上所有的partition在zookeeper上的状态,并选取ISR列表中的一个replica作为partition leader(如果ISR列表中的replica全挂,选一个幸存的replica作为leader; 如果该partition的所有的replica都宕机了,则将新的leader设置为-1,等待恢复,等待ISR中的任一个Replica“活”过来,并且选它作为Leader;或选择第一个“活”过来的Replica(不一定是ISR中的)作为Leader),这个broker宕机的事情,kafka controller也会通知zookeeper,zookeeper就会通知其他的kafka broker。

    这里曾经发生过一个bug,TalkingData使用Kafka0.8.1的时候,kafka controller在Zookeeper上注册成功后,它和Zookeeper通信的timeout时间是6s,也就是如果kafka controller如果有6s中没有和Zookeeper做心跳,那么Zookeeper就认为这个kafka controller已经死了,就会在Zookeeper上把这个临时节点删掉,那么其他Kafka就会认为controller已经没了,就会再次抢着注册临时节点,注册成功的那个kafka broker成为controller,然后,之前的那个kafka controller就需要各种shut down去关闭各种节点和事件的监听。但是当kafka的读写流量都非常巨大的时候,TalkingData的一个bug是,由于网络等原因,kafka controller和Zookeeper有6s中没有通信,于是重新选举出了一个新的kafka controller,但是原来的controller在shut down的时候总是不成功,这个时候producer进来的message由于Kafka集群中存在两个kafka controller而无法落地。导致数据淤积。

    这里曾经还有一个bug,TalkingData使用Kafka0.8.1的时候,当ack=0的时候,表示producer发送出去message,只要对应的kafka broker topic partition leader接收到的这条message,producer就返回成功,不管partition leader 是否真的成功把message真正存到kafka。当ack=1的时候,表示producer发送出去message,同步的把message存到对应topic的partition的leader上,然后producer就返回成功,partition leader异步的把message同步到其他partition replica上。当ack=all或-1,表示producer发送出去message,同步的把message存到对应topic的partition的leader和对应的replica上之后,才返回成功。但是如果某个kafka controller 切换的时候,会导致partition leader的切换(老的 kafka controller上面的partition leader会选举到其他的kafka broker上),但是这样就会导致丢数据。

    - Consumergroup:各个consumer(consumer 线程)可以组成一个组(Consumer group ),partition中的每个message只能被组(Consumer group )中的一个consumer(consumer 线程)消费,如果一个message可以被多个consumer(consumer 线程)消费的话,那么这些consumer必须在不同的组。Kafka不支持一个partition中的message由两个或两个以上的同一个consumer group下的consumer thread来处理,除非再启动一个新的consumer group。所以如果想同时对一个topic做消费的话,启动多个consumer group就可以了,但是要注意的是,这里的多个consumer的消费都必须是顺序读取partition里面的message,新启动的consumer默认从partition队列最头端最新的地方开始阻塞的读message。它不能像AMQ那样可以多个BET作为consumer去互斥的(for update悲观锁)并发处理message,这是因为多个BET去消费一个Queue中的数据的时候,由于要保证不能多个线程拿同一条message,所以就需要行级别悲观所(for update),这就导致了consume的性能下降,吞吐量不够。而kafka为了保证吞吐量,只允许同一个consumer group下的一个consumer线程去访问一个partition。如果觉得效率不高的时候,可以加partition的数量来横向扩展,那么再加新的consumer thread去消费。如果想多个不同的业务都需要这个topic的数据,起多个consumer group就好了,大家都是顺序的读取message,offsite的值互不影响。这样没有锁竞争,充分发挥了横向的扩展性,吞吐量极高。这也就形成了分布式消费的概念。

    当启动一个consumer group去消费一个topic的时候,无论topic里面有多个少个partition,无论我们consumer group里面配置了多少个consumer thread,这个consumer group下面的所有consumer thread一定会消费全部的partition;即便这个consumer group下只有一个consumer thread,那么这个consumer thread也会去消费所有的partition。因此,最优的设计就是,consumer group下的consumer thread的数量等于partition数量,这样效率是最高的。

    同一partition的一条message只能被同一个Consumer Group内的一个Consumer消费。不能够一个consumer group的多个consumer同时消费一个partition。

    一个consumer group下,无论有多少个consumer,这个consumer group一定回去把这个topic下所有的partition都消费了。当consumer group里面的consumer数量小于这个topic下的partition数量的时候,如下图groupA,groupB,就会出现一个conusmer thread消费多个partition的情况,总之是这个topic下的partition都会被消费。如果consumer group里面的consumer数量等于这个topic下的partition数量的时候,如下图groupC,此时效率是最高的,每个partition都有一个consumer thread去消费。当consumer group里面的consumer数量大于这个topic下的partition数量的时候,如下图GroupD,就会有一个consumer thread空闲。因此,我们在设定consumer group的时候,只需要指明里面有几个consumer数量即可,无需指定对应的消费partition序号,consumer会自动进行rebalance。

    多个Consumer Group下的consumer可以消费同一条message,但是这种消费也是以o(1)的方式顺序的读取message去消费,,所以一定会重复消费这批message的,不能向AMQ那样多个BET作为consumer消费(对message加锁,消费的时候不能重复消费message)

    - Consumer Rebalance的触发条件:(1)Consumer增加或删除会触发 Consumer Group的Rebalance(2)Broker的增加或者减少都会触发 Consumer Rebalance

    - Consumer: Consumer处理partition里面的message的时候是o(1)顺序读取的。所以必须维护着上一次读到哪里的offsite信息。high level API,offset存于Zookeeper中,low level API的offset由自己维护。一般来说都是使用high level api的。Consumer的delivery gurarantee,默认是读完message先commmit再处理message,autocommit默认是true,这时候先commit就会更新offsite+1,一旦处理失败,offsite已经+1,这个时候就会丢message;也可以配置成读完消息处理再commit,这种情况下consumer端的响应就会比较慢的,需要等处理完才行。

    一般情况下,一定是一个consumer group处理一个topic的message。Best Practice是这个consumer group里面consumer的数量等于topic里面partition的数量,这样效率是最高的,一个consumer thread处理一个partition。如果这个consumer group里面consumer的数量小于topic里面partition的数量,就会有consumer thread同时处理多个partition(这个是kafka自动的机制,我们不用指定),但是总之这个topic里面的所有partition都会被处理到的。。如果这个consumer group里面consumer的数量大于topic里面partition的数量,多出的consumer thread就会闲着啥也不干,剩下的是一个consumer thread处理一个partition,这就造成了资源的浪费,因为一个partition不可能被两个consumer thread去处理。所以我们线上的分布式多个service服务,每个service里面的kafka consumer数量都小于对应的topic的partition数量,但是所有服务的consumer数量只和等于partition的数量,这是因为分布式service服务的所有consumer都来自一个consumer group,如果来自不同的consumer group就会处理重复的message了(同一个consumer group下的consumer不能处理同一个partition,不同的consumer group可以处理同一个topic,那么都是顺序处理message,一定会处理重复的。一般这种情况都是两个不同的业务逻辑,才会启动两个consumer group来处理一个topic)。

    如果producer的流量增大,当前的topic的parition数量=consumer数量,这时候的应对方式就是很想扩展:增加topic下的partition,同时增加这个consumer group下的consumer。

    - Delivery Mode : Kafka producer 发送message不用维护message的offsite信息,因为这个时候,offsite就相当于一个自增id,producer就尽管发送message就好了。而且Kafka与AMQ不同,AMQ大都用在处理业务逻辑上,而Kafka大都是日志,所以Kafka的producer一般都是大批量的batch发送message,向这个topic一次性发送一大批message,load balance到一个partition上,一起插进去,offsite作为自增id自己增加就好。但是Consumer端是需要维护这个partition当前消费到哪个message的offsite信息的,这个offsite信息,high level api是维护在Zookeeper上,low level api是自己的程序维护。(Kafka管理界面上只能显示high level api的consumer部分,因为low level api的partition offsite信息是程序自己维护,kafka是不知道的,无法在管理界面上展示 )当使用high level api的时候,先拿message处理,再定时自动commit offsite+1(也可以改成手动), 并且kakfa处理message是没有锁操作的。因此如果处理message失败,此时还没有commit offsite+1,当consumer thread重启后会重复消费这个message。但是作为高吞吐量高并发的实时处理系统,at least once的情况下,至少一次会被处理到,是可以容忍的。如果无法容忍,就得使用low level api来自己程序维护这个offsite信息,那么想什么时候commit offsite+1就自己搞定了。

    - Topic & Partition:Topic相当于传统消息系统MQ中的一个队列queue,producer端发送的message必须指定是发送到哪个topic,但是不需要指定topic下的哪个partition,因为kafka会把收到的message进行load balance,均匀的分布在这个topic下的不同的partition上( hash(message) % [broker数量] )。物理上存储上,这个topic会分成一个或多个partition,每个partiton相当于是一个子queue。在物理结构上,每个partition对应一个物理的目录(文件夹),文件夹命名是[topicname]_[partition]_[序号],一个topic可以有无数多的partition,根据业务需求和数据量来设置。在kafka配置文件中可随时更高num.partitions参数来配置更改topic的partition数量,在创建Topic时通过参数指定parittion数量。Topic创建之后通过Kafka提供的工具也可以修改partiton数量。

    一般来说,(1)一个Topic的Partition数量大于等于Broker的数量,可以提高吞吐率。(2)同一个Partition的Replica尽量分散到不同的机器,高可用。

    当add a new partition的时候,partition里面的message不会重新进行分配,原来的partition里面的message数据不会变,新加的这个partition刚开始是空的,随后进入这个topic的message就会重新参与所有partition的load balance

    - Partition Replica:每个partition可以在其他的kafka broker节点上存副本,以便某个kafka broker节点宕机不会影响这个kafka集群。存replica副本的方式是按照kafka broker的顺序存。例如有5个kafka broker节点,某个topic有3个pa...

  • ?

    技术贴—Mongodb解析

    Jewel

    展开

    Mongodb简介

    MongoDB 是一个基于分布式文件存储的数据库。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。

    MongoDB将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档,数组及文档数组。

    Mongodb特点

    MongoDB的提供了一个面向文档存储,操作起来比较简单和容易。可以在MongoDB记录中设置任何属性的索引(如:FirstName="Sameer",Address="8Gandhi Road")来实现更快的排序。可以通过本地或者网络创建数据镜像,这使得MongoDB有更强的扩展性。如果负载的增加(需要更多的存储空间和更强的处理能力),它可以分布在计算机网络中的其他节点上这就是所谓的分片。Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记,可轻易查询文档中内嵌的对象及数组。MongoDb 使用update()命令可以实现替换完成的文档(数据)或者一些指定的数据字段 。Mongodb中的Map/reduce主要是用来对数据进行批量处理和聚合操作。Map和Reduce。Map函数调用emit(key,value)遍历集合中所有的记录,将key与value传给Reduce函数进行处理。Map函数和Reduce函数是使用Javascript编写的,并可以通过db.runCommand或mapreduce命令来执行MapReduce操作。GridFS是MongoDB中的一个内置功能,可以用于存放大量小文件。MongoDB允许在服务端执行脚本,可以用Javascript编写某个函数,直接在服务端执行,也可以把函数的定义存储在服务端,下次直接调用即可。MongoDB支持各种编程语言:RUBY,PYTHON,JAVA,C++,PHP,C#等多种语言。MongoDB安装简单。

    Mongodb应用场景

    Mongodb现阶段已被许多大型网站应用,例如:淘宝,京东,github,ebay等。许多网站并非完全将传统的关系型数据库替换为mongodb,而是选择性的在部分模块应用。在应用mongodb之前,要根据自身需求以及mongodb的特点、不足进行选择。目前,mongodb适用于以下一些场景:

    网站数据:mongo非常适合实时的插入,更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性。缓存:由于性能很高,mongo也适合作为信息基础设施的缓存层。在系统重启之后,由mongo搭建的持久化缓存可以避免下层的数据源过载。大尺寸、低价值的数据:使用传统的关系数据库存储一些数据时可能会比较贵,在此之前,很多程序员往往会选择传统的文件进行存储。高伸缩性的场景:mongo非常适合由数十或者数百台服务器组成的数据库。用于对象及JSON数据的存储:mongo的BSON数据格式非常适合文档格式化的存储及查询。

    Mongodb优缺点

    Mongodb相对关系型数据库有如下优点:

    高可扩展性分布式计算低成本架构的灵活性,半结构化数据没有复杂的关系

    在满足以上优点的同时,却没有关系型数据库那样严格的事物支持,通常情况下,mongodb这一缺点阻碍了人们对其的选择。对于习惯利用关系型数据库的开发人员来说,mongodb没有关联查询,这也是在做数据库选型时会考虑到的。

    在非关系型数据库中,mongdb拥有相对突出的优势,mongodb之所以是介于关系型数据库和非关系型数据库的产品,在于它提供了非常丰富的功能,例如MySQL中常用的数据增删改查,索引,聚合查询,分页这些功能,mongodb都提供了相应的能力,与hbase列存储相比,方便了数据的可操作性。

    Mongodb适用项目

    针对开发者在进行项目数据库选型时,根据mongodb的特点,优势,缺点综合考虑其适合性。例如在项目中进行的事务性操作比较多,那么mongodb就不是合适的选择。考虑到mongodb的数据存储结构比较灵活,并非固定结构,即扩展性高,那么在项目中经常出现需要扩展数据字段的情况,则可以选择mongodb。当然,项目中也可以利用不同的数据库,根据数据的性质选择存储的位置。

    Mongodb概念

    以下通过与MySQL对比介绍mongodb基本的术语:

    通过下图实例,我们也可以更直观的的了解Mongo中的一些概念:

    在mongodb中不存在表关联这一概念,但可以利用文档的内嵌达到数据的直接关联。

    数据库

    一个mongodb中可以建立多个数据库。 MongoDB的默认数据库为"db",该数据库存储在data目录中。 MongoDB的单个实例可以容纳多个独立的数据库,每一个都有自己的集合和权限,不同的数据库也放置在不同的文件中。

    集合

    集合就是MongoDB文档组,类似于RDBMS(关系数据库管理系统:RelationalDatabase Management System)中的表格。集合存在于数据库中,集合没有固定的结构,这意味着你在对集合可以插入不同格式和类型的数据,但通常情况下我们插入集合的数据都会有一定的关联性。

    文档

    文档是一组键值(key-value)对(即BSON)。MongoDB的文档不需要设置相同的字段,并且相同的字段不需要相同的数据类型,这与关系型数据库有很大的区别,也是 MongoDB 非常突出的特点。

    MongoDB 数据类型

    下表为MongoDB中常用的几种数据类型。

    Mongodb通用指令

    Mongodb的Linux安装比较简单,在安装完mongodb后,正常启动的情况下,进入应用的/bin目录下,执行命令./mongo便进入mongodb的后台管理shell,第一次进入shell时是默认选择test库。可通过exit或quit(),或trl+C退出shell。

    Mongodb中常用的shell指令

    以上简单介绍指令的用法,详细说明可参考官方文档:https://docs.mongodb/manual/mongo/

    在mongodb中创建索引时需要注意的事项:

    索引占据存储空间,存储在内存中,不能超过内存的限制,如果超过会自动删除索引,影响性能。集合中索引不能超过64个索引名的长度不能超过125个字符一个复合索引最多可以有31个字段

    MongoDB GridFS

    GridFS是MongoDB中的一个内置功能,可以用于存放大量小文件,以下简单介绍gridFS的用途特点:

    GridFS 用于存储和恢复那些超过16M(BSON文件限制)的文件(如:图片、音频、视频等)。GridFS 也是文件存储的一种方式,但是它是存储在MonoDB的集合中。GridFS 可以更好的存储大于16M的文件。GridFS会将大文件对象分割成多个小的chunk(文件片段),一般为256k/个,每个chunk将作为MongoDB的一个文档(document)被存储在chunks集合中。GridFS 用两个集合来存储一个文件:fs.files与fs.chunks。每个文件的实际内容被存在chunks(二进制数据)中,和文件有关的meta数据(filename,content_type,还有用户自定义的属性)将会被存在files集合中。

    fs.files 集合文档举例:

    "filename": "test.txt",

    "chunkSize": NumberInt(261120),

    "uploadDate": ISODate("2014-04-13T11:32:33.557Z"),

    "md5": "7b762939321e146569b07f72c62cca4f",

    "length": NumberInt(646)

    fs.chunks 集合文档举例:

    "files_id": ObjectId("534a75d19f54bfec8a2fe44b"),

    "n": NumberInt(0),

    "data": "Mongo Binary Data"

    详细说明可参考官方文档:https://docs.mongodb/manual/core/gridfs/

    Mongodb的存储引擎

    在mongodb3.0之前,存储引擎是MMAP,属于库级锁,所有数据库的集合文档,索引数据存入一个文件。

    Mongodb3.0,推出了MMAPV1,wiredtiger 。

    MMAPV1,适应于所有MongoDB版本,MongoDB3.0的默认引擎,属于集合级锁。相对于MMAP,并发性能有所提升,同时其空间预分配策略以2的N次方规则进行分配,优化了空间的利用。

    Wiredtiger,在mongodb3.2作为默认的存储引擎,通过多版本并发控制完成文档级别锁,并发量提高;数据压缩率高于MMAPV1,由于数据压缩率高,占用内存及CPU也增高;wiredtiger通过定期数据快照操作和预写日志完成数据的一致性,同时可作为数据恢复的依据。

    在mongodb3.2版本还推出了In-Memory存储引擎,其特点是数据存储于内存中,只将少量元数据和诊断日志存储到磁盘。

    Mongodb的存储引擎类型可通过参数进行配置,开发者可根据几个存储引擎的特点结合实际需求进行选择。

  • ?

    linux下SFTP用SecureCRT工具连接

    飞兰

    展开

    SecureCRT工具:

    1、 打开会话窗口

    2、 设置服务器设置本地PC的目录

    这个地址用于将该目录下的文件进行上传到linux服务器或把linux上的文件下载到该目录下

    3、 打开sftp窗口(或者使用Alt+P快捷键打开sftp窗口)

    查看本地路径:

    (大家点击的关注,就是小编的动力的来源)

    ======================================

    sftp> cd /home/oracle/app/oracle/admin/centorcl/dpdump/

    sftp>ls

    dp.log export.log sjzx.dmp;

    sftp> get -a sjzx.dmp;

    Downloading sjzx.dmp; from /home/oracle/app/oracle/admin/centorcl/dpdump/sjzx.dmp;

    100% 2752KB 2752KB/s 00:00:00

    /home/oracle/app/oracle/admin/centorcl/dpdump/sjzx.dmp;: 2818048 bytes transferred in 0 seconds (2752 KB/s)

    sftp>ls

    dp.log export.log sjzx.dmp;

    sftp>lpwd

    d:/Documents and Settings/zhangch/My Documents

    sftp>

    ===================================================

    4、 在sftp窗口执行命令help,查看sftp可使用的命令

    sftp>

    help

    Available commands:

    asciiSet transfer mode to ASCII (设置文件传输模式为ascii)

    binarySet transfer mode to binary(设置文件传输模式为二进制)

    cd path Change remote directory to 'path'(这个就不用说了吧~ )

    detail remote-path Display system information about remote

    file or folder(查看远程服务器上的文件夹详细信息咯)

    例子

    sftp> detail ~/huqin

    /home/mmap/huqin:

    Type: Directory

    Size: 280

    uid/gid: 500/500

    uid/gid: 500/500

    Last Modification Time: October 16, 2014 10:35:28

    Last Access Time : October 16, 2014 10:36:18

    Permissions: drwxrwxr-x

    sftp>

    ldetail local-path Display system information about local

    file or folder(查看本地pc上的文件夹详细信息咯)

    例子:

    C:/Users/Administrator/Desktop/snak:

    Type: Directory

    Size: 4096

    Create Time : October 14, 2014 14:31:54

    Last Modification Time: October 16, 2014 10:35:48

    Last Access Time : October 16, 2014 10:35:48

    File Attributes: no-attributes

    Link Count: 1

    sftp>

    lcd pathChange local directory to 'path'(专用于改变本地目录用的喽)

    例子:

    sftp>lpwd

    C:/Users/Administrator/Desktop/snak #当前本地目录

    sftp>lcd E:\Work #改变本地目录为E:\Work

    sftp>lpwd#当前本地目录

    E:/Work

    sftp>

    chgrp group path Change group of file 'path' to 'group'(改变path所属的组喽)

    chmod mode path Change permissions of file 'path' to 'mode'

    (这个也不用说了吧改变权限w/r/x之类的了)

    chown owner path Change owner of file 'path' to 'owner'(改变档案的拥有者咯)

    exitQuit sftp

    helpDisplay this help text

    include filename Include commands from 'filename'

    Alternate:< filename

    get [-a | -b] remote-path Download file

    forceascii (-a) or binary (-b) mode

    例子将我的linux服务器的~/testDir下的文件下载到本地pc上

    sftp>pwd

    /home/mmap

    sftp> cd ~/testDir

    sftp>pwd

    /home/mmap/testDir

    sftp>lpwd

    C:/Users/Administrator/Desktop/snak

    sftp>lls

    contral.txt worm.txt

    sftp>get -a testFile #-a :以ascii方式下载-b:以二进制方式下载

    Downloading testFile from /home/mmap/testDir/testFile

    100% 283 bytes 283 bytes/s 00:00:00

    /home/mmap/testDir/testFile: 283 bytes transferred in 0 seconds (283 bytes/s)

    sftp>lls #查看本地目录下多了个文件吧

    contral.txttestFileworm.txt

    sftp>

    ln [-s] existingpathlinkpathHardlink / symlink remote file(不说了就是个普通的链接命令)

    ls [options] [path] Display remote directory listing(不说了就是个ls命令)

    lls [options] [path]Display local directory listing(专门查看本地目录而用的啦)

    mkdir path Create remote directory(不说了就是个创建文件夹命令)

    lmkdir path Create local directory(专门创建本地目录而用的啦)

    mvoldpathnewpath Move remote file

    open [user@]host[:port] Connect to remote host

    put [-a | -b] local-path Upload file

    forceascii (-a) or binary (-b) mode

    例子:将本地pc上的文件以ascii方式上传到我的linux服务器的~/testDir下

    sftp>pwd#查看当前服务器路径

    /home/mmap

    sftp> cd ~/testDir #进入要上传到服务的路径

    sftp>pwd

    /home/mmap/testDir

    sftp>lpwd#查看当前本地pc的路径

    C:/Users/Administrator/Desktop/snak

    sftp>lls#查看本地pc路径下的文件

    contral.txt worm.txt

    sftp> put -a worm.txt

    #这里没有指定worm.txt的路径,因为会话窗口中已经配置了这个路径

    Uploading worm.txt to /home/mmap/testDir/worm.txt

    100% 0 bytes 0 bytes/s 00:00:00

    sftp>put -a C:/Users/Administrator/Desktop/snak/contral.txt

    Uploading contral.txt to /home/mmap/testDir/contral.txt

    100% 0 bytes 0 bytes/s 00:00:00

    sftp>ls -l w* c* #查看服务器下文件上传成功否

    -rw-rw-r-- mmapmmap 0 Oct 14, 2014 14:32 worm.txt

    -rw-rw-r-- mmapmmap 0 Oct 14, 2014 14:32 contral.txt

    sftp>

    pwdDisplay remote working directory

    lpwdPrint local working directory

    quitQuitsftp

    rmdir path Remove remote directory

    lrmdir path Remove local directory

    rm path Delete remote file

    lrm path Delete local file

    su username Substitutes the current user

    This is only supported with VShell for

    Windows 3.5 or later.

    type[transfer-mode] Display or set file transfer mode(查看文件传输方式ascii或二进制)

    view remote-path Download and open file

    versionDisplay protocol version

  • ?

    苹果电脑上用什么软件画思维导图好?

    海星

    展开

    思维导图是一种可以协助我们记忆知识、整理思绪的实用工具,近年来受到广大效率人士的喜爱。一般绘制思维导图方法可以分为手绘和电脑绘图,如果单从效率而言,电脑绘图更为便捷和高效。

    使用电脑绘制思维导图,就需要下载相应的软件。那如果你的电脑是macOS系统,该如何选择合适的软件呢?

    MindMaster思维导图软件,一款支持中文操作的Mac软件,它能满足你绘制思维导图的需求。

    MindMaster是深圳一家软件公司开发的专业软件,可以用于绘制思维导图、鱼骨图、时间线、组织架构图等。软件界面整洁清晰,功能丰富,是效率人士的好帮手。本文将详细介绍MindMaster Mac中文版软件的使用特性。

    Ps. MindMaster软件界面默认是简体中文,但它还支持英语、日语、德语、法语等多种语言,可以在【选项】的语言设置里修改。

    一、模板

    刚学会思维导图的使用者,希望能够借助模板来绘图。在MindMaster Mac中文版软件,有不少思维导图模板,一部分是软件自带的,一部分是用户自行上传发布的。

    软件自带的模板在【新建】页面,双击模板,即可免费使用。

    其他用户发布的模板被收录在【导图社区】页面,现已累计成百上千幅优质的原创导图。你可以通过搜索框,寻找自己想要的模板,也可以通过标签浏览相关的思维导图。一般情况下,【导图社区】里的模板,可以加收藏、克隆或点赞。

    二、编辑与样式

    从【新建】或【导图社区】页面进入思维导图画布,即可开启编辑模式。MindMasterMac中文版软件为使用者提供丰富的编辑和样式组件,想要什么效果,就点击什么按钮。除此以外,MindMaster还支持快捷键操作。

    选中画布中的某个主题,右侧将显示【主题格式】的面板。通过它,可以对主题的形状、图片、分支和字体做自定义编辑。你也可以直接利用软件自带的主题模板、布局模板和线条模板,实现一键换装的效果。

    MindMaster是一款功能丰富的软件,在绘制的时候,你还可以使用大纲、插入图标和插入剪贴画等工具。

    三、幻灯片

    MindMaster Mac中文版软件支持幻灯片演示,若选择【自动创建】,软件便自动拆解各一级主题;若选择【添加幻灯片】,即可手动选择主题进行拆解。

    在幻灯片模式下,你可以选择全屏演示、遍历演示、导出PPT、导出PDF或打印幻灯片。

    四、甘特图

    MindMaster Mac中文版软件支持思维导图一键转化为甘特图模式,赋予了思维导图更多的使用场景。MindMaster中的甘特图支持添加资源、添加优先级、设置进度等操作,可用于绘制项目管理相关的图表。

    五、导出

    除了可以在线打印和生成url分享链接外,MindMaster Mac中文版软件还支持导出为多种格式:

    图片格式:.jpg、.png、.bmp、.ioc、.pbm、.ppm、.pgm、.tif、.tiffOffice格式:.docx、.pptx、.xlsxPDF格式:.pdf、.ps、.epsHtml格式:.htmlMindManager格式:.mmap其他:印象笔记、有道云笔记六、跨平台协作

    MindMaster 不仅可以支持Mac电脑,还支持在Windows、Linux电脑上使用,也支持iPhone手机、安卓手机以及iPad安装使用。通过MindMaster免费的个人云,可以实现在不同的设备上同步存储思维导图文件。

    若不喜欢安装客户端,可以打开浏览器,免安装在线使用MindMaster思维导图。

    总之,MindMaster是一款不错的中文版思维导图软件,助你提升学习和工作效率。

  • ?

    iOS微信内存监控

    Monica

    展开

    商业转载请联系腾讯WeTest获得授权,非商业转载请注明出处。

    WeTest 导读

    目前iOS主流的内存监控工具是Instruments的Allocations,但只能用于开发阶段。本文介绍如何实现离线化的内存监控工具,用于App上线后发现内存问题。

    FOOM(Foreground Out Of Memory),是指App在前台因消耗内存过多引起系统强杀。对用户而言,表现跟crash一样。Facebook早在2015年8月提出FOOM检测办法,大致原理是排除各种情况后,剩余的情况是FOOM,具体链接:https://code.facebook/posts/1146930688654547/reducing-fooms-in-the-facebook-ios-app/。

    微信自15年年底上线FOOM上报,从最初数据来看,每天FOOM次数与登录用户数比例接近3%,同期crash率1%不到。而16年年初某东老大反馈微信频繁闪退,在艰难拉取2G多日志后,才发现kv上报频繁打log引起FOOM。接着16年8月不少外部用户反馈微信启动不久后闪退,分析大量日志还是不能找到FOOM原因。微信急需一个有效的内存监控工具来发现问题。

    一 实现原理

    微信内存监控最初版本是使用Facebook的FBAllocationTracker工具监控OC对象分配,用fishhook工具hook malloc/free等接口监控堆内存分配,每隔1秒,把当前所有OC对象个数、TOP 200最大堆内存及其分配堆栈,用文本log输出到本地。该方案实现简单,一天内完成,通过给用户下发TestFlight,最终发现联系人模块因迁移DB加载大量联系人导致FOOM。

    不过这方案有不少缺点:

    1、监控粒度不够细,像大量分配小内存引起的质变无法监控,另外fishhook只能hook自身app的C接口调用,对系统库不起作用;

    2、打log间隔不好控制,间隔过长可能丢失中间峰值情况,间隔过短会引起耗电、io频繁等性能问题;

    3、上报的原始log靠人工分析,缺少好的页面工具展现和归类问题。

    所以二期版本以Instruments的Allocations为参考,着重四个方面优化,分别是数据收集、存储、上报及展现。

    1.数据收集

    16年9月底为了解决ios10 nano crash,研究了libmalloc源码,无意中发现这几个接口:

    当malloc_logger和__syscall_logger函数指针不为空时,malloc/free、vm_allocate/vm_deallocate等内存分配/释放通过这两个指针通知上层,这也是内存调试工具malloc stack的实现原理。有了这两个函数指针,我们很容易记录当前存活对象的内存分配信息(包括分配大小和分配堆栈)。分配堆栈可以用backtrace函数捕获,但捕获到的地址是虚拟内存地址,不能从符号表dsym解析符号。所以还要记录每个image加载时的偏移slide,这样符号表地址=堆栈地址-slide。

    另外为了更好的归类数据,每个内存对象应该有它所属的分类Category,如上图所示。对于堆内存对象,它的Category名是“Malloc ”+分配大小,如“Malloc 48.00KiB”;对于虚拟内存对象,调用vm_allocate创建时,最后的参数flags代表它是哪类虚拟内存,而这个flags正对应于上述函数指针__syscall_logger的第一个参数type,每个flag具体含义可以在头文件找到;对于OC对象,它的Category名是OC类名,我们可以通过hook OC方法+[NSObject alloc]来获取:

    但后来发现,NSData创建对象的类静态方法没有调用+[NSObject alloc],里面实现是调用C方法NSAllocateObject来创建对象,也就是说这类方式创建的OC对象无法通过hook来获取OC类名。最后在苹果开源代码CF-1153.18找到了答案,当__CFOASafe=true并且__CFObjectAllocSetLastAllocEventNameFunction!=NULL时,CoreFoundation创建对象后通过这个函数指针告诉上层当前对象是什么类型:

    通过上面方式,我们的监控数据来源基本跟Allocations一样了,当然是借助了私有API。如果没有足够的“技巧”,私有API带不上Appstore,我们只能退而求其次。修改malloc_default_zone函数返回的malloc_zone_t结构体里的malloc、free等函数指针,也是可以监控堆内存分配,效果等同于malloc_logger;而虚拟内存分配只能通过fishhook方式。

    2.数据存储

    存活对象管理

    APP在运行期间会大量申请/释放内存。以上图为例,微信启动10秒内,已经创建了80万对象,释放了50万,性能问题是个挑战。另外在存储过程中,也尽量减少内存申请/释放。所以放弃了sqlite,改用了更轻量级的平衡二叉树来存储。

    伸展树(Splay Tree),也叫分裂树,是一种二叉排序树,不保证树是平衡,但各种操作平均时间复杂度是O(logN),可近似看作平衡二叉树。相比其他平衡二叉树(如红黑树),其内存占用较小,不需要存储额外信息。伸展树主要出发点是考虑到局部性原理(某个刚被访问的结点下次又被访问,或者访问次数多的结点下次可能被访问),为了使整个查找时间更少,被频繁查询的结点通过“伸展”操作搬移到离树根更近的地方。大部分情况下,内存申请很快又被释放,如autoreleased对象、临时变量等;而OC对象申请内存后紧接着会更新它所属Category。所以用伸展树管理最适合不过了。

    传统二叉树是用链表方式实现,每次添加/删除结点,都会申请/释放内存。为了减少内存操作,可以用数组实现二叉树。具体做法是父结点的左右孩子由以往的指针类型改成整数类型,代表孩子在数组的下标;删除结点时,被删除的结点存放上一个被释放的结点所在数组下标。

    堆栈存储

    据统计,微信运行期间,backtrace的堆栈有成百万上千万种,在捕获最大栈长64情况下,平均栈长35。如果36bits存储一个地址(armv8最大虚拟内存地址48bits,实际上36bits够用了),一个堆栈平均存储长度157.5bytes,1M个堆栈需要157.5M存储空间。但通过断点观察,实际上大部分堆栈是有共同后缀,例如下面的两个堆栈后7个地址是一样的:

    为此,可以用Hash Table来存储这些堆栈。思路是整个堆栈以链表的方式插入到table里,链表结点存放当前地址和上一个地址所在table的索引。每插入一个地址,先计算它的hash值,作为在table的索引,如果索引对应的slot没有存储数据,就记录这个链表结点;如果有存储数据,并且数据跟链表结点一致,hash命中,继续处理下一个地址;数据不一致,意味着hash冲突,需要重新计算hash值,直到满足存储条件。举个例子(简化了hash计算):

    1)Stack1的G、F、E、D、C、A、依次插入到Hash Table,索引1~6结点数据依次是(G, 0)、(F, 1)、(E, 2)、(D, 3)、(C, 4)、(A, 5)。Stack1索引入口是6

    2)轮到插入Stack2,由于G、F、E、D、C结点数据跟Stack1前5结点一致,hash命中;B插入新的7号位置,(B, 5)。Stack2索引入口是7

    3)最后插入Stack3,G、F、E、D结点hash命中;但由于Stack3的A的上一个地址D索引是4,而不是已有的(A, 5),hash不命中,查找下一个空白位置8,插入结点(A, 4);B上一个地址A索引是8,而不是已有的(B, 5),hash不命中,查找下一个空白位置9,插入结点(B, 9)。Stack3索引入口是9

    经过这样的后缀压缩存储,平均栈长由原来的35缩短到5不到。而每个结点存储长度为64bits(36bits存储地址,28bits储存parent索引),hashTable空间利用率60%+,一个堆栈平均存储长度只需要66.7bytes,压缩率高达42%。

    性能数据

    经过上述优化,内存监控工具在iPhone6Plus运行占用CPU占用率13%不到,当然这是跟数据量有关,重度用户(如群过多、消息频繁等)可能占用率稍微偏高。而存储数据内存占用量20M左右,都用mmap方式把文件映射到内存。有关mmap好处可自行google之。

    3.数据上报

    由于内存监控是存储了当前所有存活对象的内存分配信息,数据量极大,所以当出现FOOM时,不可能全量上报,而是按某些规则有选择性的上报。

    首先把所有对象按Category进行归类,统计每个Category的对象数和分配内存大小。这列表数据很少,可以做全量上报。接着对Category下所有相同堆栈做合并,计算每种堆栈的对象数和内存大小。对于某些Category,如分配大小TOP N,或者UI相关的(如UIViewController、UIView之类的),它里面分配大小TOP M的堆栈才做上报。上报格式类似这样:

    4.页面展现

    页面展现参考了Allocations,可看出有哪些Category,每个Category分配大小和对象数,某些Category还能看分配堆栈。

    为了突出问题,提高解决问题效率,后台先根据规则找出可能引起FOOM的Category(如上面的Suspect Categories),规则有:

    ● UIViewController数量是否异常

    ● UIView数量是否异常

    ● UIImage数量是否异常

    ● 其它Category分配大小是否异常,对象个数是否异常

    接着对可疑的Category计算特征值,也就是OOM原因。特征值是由“Caller1”、“Caller2”和“Category, Reason”组成。Caller1是指申请内存点,Caller2是指具体场景或业务,它们都是从Category下分配大小第一的堆栈提取。Caller1提取尽量是有意义的,并不是分配函数的上一地址。例如:

    所有report计算出特征值后,可以对它们进行归类了。一级分类可以是Caller1,也可以是Category,二级分类是与Caller1/Category有关的特征聚合。效果如下:

    一级分类

    二级分类

    5.运营策略

    上面提到,内存监控会带来一定的性能损耗,同时上报的数据量每次大概300K左右,全量上报对后台有一定压力,所以对现网用户做抽样开启,灰度包用户/公司内部用户/白名单用户做100%开启。本地最多只保留最近三次数据。

    二 降低误判

    先回顾Facebook如何判定上一次启动是否出现FOOM:

    1.App没有升级

    2.App没有调用exit()或abort()退出

    3.App没有出现crash

    4.用户没有强退App

    5.系统没有升级/重启

    6.App当时没有后台运行

    7.App出现FOOM

    1、2、4、5比较容易判断,3依赖于自身CrashReport组件的crash回调,6、7依赖于ApplicationState和前后台切换通知。微信自上线FOOM数据上报以来,出现不少误判,主要情况有:

    ApplicationState不准

    部分系统会在后台短暂唤起app,ApplicationState是Active,但又不是BackgroundFetch;执行完didFinishLaunchingWithOptions就退出了,也有收到BecomeActive通知,但很快也退出;整个启动过程持续5~8秒不等。解决方法是收到BecomeActive通知一秒后,才认为这次启动是正常的前台启动。这方法只能减少误判概率,并不能彻底解决。

    群控类外挂

    这类外挂是可以远程控制iPhone的软件,通常一台电脑可以控制多台手机,电脑画面和手机屏幕实时同步操作,如开启微信,自动加好友,发朋友圈,强制退出微信,这一过程容易产生误判。解决方法只能通过安全后台打击才能减少这类误判。

    CrashReport组件出现crash没有回调上层

    微信曾经在17年5月底爆发大量GIF crash,该crash由内存越界引起,但收到crash信号写crashlog时,由于内存池损坏,组件无法正常写crashlog,甚至引起二次crash;上层也无法收到crash通知,因此误判为FOOM。目前改成不依赖crash回调,只要本地存在上一次crashlog(不管是否完整),就认为是crash引起的APP重启。

    前台卡死引起系统watchdog强杀

    也就是常见的0x8badf00d,通常原因是前台线程过多,死锁,或CPU使用率持续过高等,这类强杀无法被App捕获。为此我们结合了已有卡顿系统,当前台运行最后一刻有捕获到卡顿,我们认为这次启动是被watchdog强杀。同时我们从FOOM划分出新的重启原因叫“APP前台卡死导致重启”,列入重点关注。

    三 成果

    微信自2017年三月上线内存监控以来,解决了30多处大大小小内存问题,涉及到聊天、搜索、朋友圈等多个业务,FOOM率由17年年初3%,降到目前0.67%,而前台卡死率由0.6%下降到0.3%,效果特别明显。

    四 常见问题

    UIGraphicsEndImageContext

    UIGraphicsBeginImageContext和UIGraphicsEndImageContext必须成双出现,不然会造成context泄漏。另外XCode的Analyze也能扫出这类问题。

    UIWebView

    无论是打开网页,还是执行一段简单的js代码,UIWebView都会占用APP大量内存。而WKWebView不仅有出色的渲染性能,而且它有自己独立进程,一些网页相关的内存消耗移到自身进程里,最适合取替UIWebView。

    autoreleasepool

    通常autoreleased对象是在runloop结束时才释放。如果在循环里产生大量autoreleased对象,内存峰值会猛涨,甚至出现OOM。适当的添加autoreleasepool能及时释放内存,降低峰值。

    互相引用

    比较容易出现互相引用的地方是block里使用了self,而self又持有这个block,只能通过代码规范来避免。另外NSTimer的target、CAAnimation的delegate,是对Obj强引用。目前微信通过自己实现的MMNoRetainTimer和MMDelegateCenter来规避这类问题。

    大图片处理

    举个例子,以往图片缩放接口是这样写的:

    但处理大分辨率图片时,往往容易出现OOM,原因是-[UIImage drawInRect:]在绘制时,先解码图片,再生成原始分辨率大小的bitmap,这是很耗内存的。解决方法是使用更低层的ImageIO接口,避免中间bitmap产生:

    大视图

    大视图是指View的size过大,自身包含要渲染的内容。超长文本是微信里常见的炸群消息,通常几千甚至几万行。如果把它绘制到同一个View里,那将会消耗大量内存,同时造成严重卡顿。最好做法是把文本划分成多个View绘制,利用TableView的复用机制,减少不必要的渲染和内存占用。

  • ?

    工具推荐|程序员必须知道的工具大集合

    挣扎

    展开

    图形处理软件

    Photoshop:Adobe Photoshop,简称“PS”,是由Adobe开发和发行的图像处理软件,可以用作海报制作、网页设计、UI设计,gif动画、图像精修,创意合成等。

    Illustrator:简介:Adobe illustrator,常被称为“AI”,是一种应用于多媒体、出版和在线图像的工业标准矢量插画的软件。主要用于插画设计和Logo设计。

    Indesign:InDesign软件由Adobe发布,是一个定位于专业排版领域的设计软件,排版功能强大。

    Sketch:一款绘画类的软件,现在流行用来做UI设计

    CorelDRAW:是加拿大Corel公司的一款矢量平面设计软件,它是一款功能强大的图形编辑软件

    Faststone:一款强大的截图软件

    程序猿常用工具集

    TrueCrypt :TrueCrypt 是一款免费开源的绿色加密软件,同时也被称为“全世界最好的加密软件”,它同时支持Windows Vista, 7/XP, Mac OS X, Linux 等操作系统。

    BeyondCompare:它是一款功能非常强大的智能文件对比工具,只需简单的操作命令,即可达到优质的对比体验;用户还可以随时随地访问数据库;并且支持多种文件格式的对比(表格、图片、二进制文件、注册表等)。

    MarkdownPad :MarkdownPad 是 Windows 平台下的一款优秀 Markdown 编辑器,它可以时时看到你的Markdown文件,当你创建它们的时候,看起来就像是在HTML中的一样。而当您正在输入时,LivePreview会自动滚动到你正在编辑的当前位置。

    Source lnsight:Source lnsight是一个功能强大的程序编辑器,拥有内置的对C/C++、C#和java、X86等语言分析;它还提供了可快速访问源代码和源信息的功能。

    SSH:SSH是一种网络协议,是一款连接远程管理工具,为Secure Shell 的缩写,和它类似的工具还有putty、secureCRT等。Wox:Wox是一款界面简洁、免费开源的windows快捷启动器辅助工具,它可以迅速的检索并打开你电脑上搜索的文件,或者是程序等。支持插件安装、模糊查询,下载地址:https://github/Wox-launcher/Wox/releases

    Total Commander:简称“TC”,是一款非常强大的windows文件资源管理器软件,强大到无法用语言来形容

    IntelliJ IDEA:简称“IDEA”,是一款综合的java编译集成环境,该工具被公认为最好的java开发工具之一。

    Onenote:类似于一款纸质的笔记类软件。能够进行收集资料、知识管理、甚至能强悍到复制图像的文字。非常高效!最大的优点:自由且成体系的笔记系统。

    MindManager :一款功能强大的思维导图设计软件,文件后缀是.mmap;

    更多前端资源请点击:史上最全web前端资料总结

  • ?

    虚拟内存(Virtual Memory)和驻留内存(Resident Memory)

    任代亦

    展开

    【虚拟内存】

    是一个假象的内存空间,在程序运行过程中虚拟内存空间中需要被访问的部分会被映射到物理内存空间中。虚拟内存空间大只能表示程序运行过程中可访问的空间比较大,不代表物理内存空间占用也大

    【驻留内存】

    驻留内存,顾名思义是指那些被映射到进程虚拟内存空间的物理内存

    【共享内存】

    SHR是share(共享)的缩写,它表示的是进程占用的共享内存大小

    要计算进程独占内存的大小只要用RES的值减去SHR值即可

    【实践】

    通过top命令我们已经能看出进程的虚拟空间大小(VIRT)、占用的物理内存(RES)以及和其他进程共享的内存(SHR)

    但是,

    如果我想知道如下问题:

    进程的虚拟内存空间的分布情况,比如heap占用了多少空间、文件映射(mmap)占用了多少空间、stack占用了多少空间?进程是否有被交换到swap空间的内存,如果有,被交换出去的大小?mmap(一种内存映射文件的方法)方式打开的数据文件有多少页在内存中是脏页(dirty page)没有被写回到磁盘的?mmap方式打开的数据文件当前有多少页面已经在内存中,有多少页面还在磁盘中没有加载到page cahe中?

    查看命令是:cat /proc/进程的pid/smaps

    在smaps文件中,每一条记录(如下图2所示)表示进程虚拟内存空间中一块连续的区域。其中第一行从左到右依次表示地址范围、权限标识、映射文件偏移、设备号、inode、文件路径。详细解释可以参见understanding-linux-proc-id-maps

    接下来8个字段的含义分别如下:

    Size:表示该映射区域在虚拟内存空间中的大小。Rss:表示该映射区域当前在物理内存中占用了多少空间。Shared_Clean:和其他进程共享的未被改写的page的大小。Shared_Dirty: 和其他进程共享的被改写的page的大小。Private_Clean:未被改写的私有页面的大小。Swap:表示非mmap内存(也叫anonymous memory,比如malloc动态分配出来的内存)由于物理内存不足被swap到交换空间的大小。Pss:该虚拟内存区域平摊计算后使用的物理内存大小(有些内存会和其他进程共享,例如mmap进来的)。比如该区域所映射的物理内存部分同时也被另一个进程映射了,且该部分物理内存的大小为1000KB,那么该进程分摊其中一半的内存,即Pss=500KB。

  • ?

    搜索那点事儿:Lucene文件存储和读取技术详解

    马喜藻

    展开

    作者简介

    刘光敏:达观数据搜索组研发技术人员,负责搜索引擎架构的设计和研发,搜索集群健康状况监控模块的开发及维护等。

    Lucene是一个高性能、可伸缩的信息搜索(IR)库。它可以为你的应用程序添加索引和搜索能力。Lucene是用java实现的、成熟的开源项目,是著名的Apache Jakarta大家庭的一员,并且基于Apache软件许可。

    同样,Lucene是当前非常流行的、免费的Java信息搜索(IR)库。Lucene的检索算法属于索引检索,即用空间来换取时间,对需要检索的文件、字符流进行全文索引,在检索的时候对索引进行快速的检索,得到检索位置,这个位置记录检索词出现的文件路径或者某个关键词。Lucene的索引是用文件存储,Lucene中的文件操作都是通过这Directory来实现的,下面来介绍一下Lucene有关文件存储和读取的有关技术。

    1数据存储类Directory

    (org.apache.lucene.store.Directory)

    一个Directory对象是一系列统一的文件列表(a flatlist of files)。文件可以在它们被创建的时候一次写入,一旦文件被创建,它再次打开后只能用于读取(read)或者删除(delete)操作。并且同时在读取和写入的时候允许随机访问(random access)。

    在这里并不直接使用Java I/O API,但是更确切地说,所有I/O操作都是通过这个API处理的。这使得读写操作方式更统一起来,如基于内存的索引(RAM-basedindices)的实现(即RAMDirectory)、通过JDBC存储在数据库中的索引、将一个索引存储为一个文件的实现(即FSDirectory)。

    Directory的锁机制是一个LockFactory的实例实现的,可以通过调用Directory实例的setLockFactory()方法来更改。

    如下图是org.apache.lucene.store.Directory类以及它的一些子类的类图:

    (1)org.apache.lucene.store.FSDirectory

    FSDirectory类直接实现Directory抽象类为一个包含文件的目录。目录锁的实现使用缺省的SimpleFSLockFactory,但是可以通过两种方式修改,即给getLockFactory()传入一个LockFactory实例,或者通过调用setLockFactory()方法明确制定LockFactory类。

    目录将被缓存(cache)起来,对一个指定的符合规定的路径(canonicalpath)来说,同样的FSDirectory实例通常通过getDirectory()方法返回。这使得同步机制(synchronization)能对目录起作用。

    (2)org.apache.lucene.store.RAMDirectory

    RAMDirectory类是一个驻留内存的(memory-resident)Directory抽象类的实现。目录锁的实现使用缺省的SingleInstanceLockFactory,但是可以通过setLockFactory()方法修改。

    (3)org.apache.lucene.store.MMapDirectory

    Lucene和Solr开始在64位的Windows和Solaris系统中默认使用MMapDirectory。简单说MMapDirectory就是把lucene的索引当作swap file来处理。mmap()系统调用让OS把整个索引文件映射到虚拟地址空间,这样Lucene就会觉得索引在内存中。然后Lucene就可以像访问一个超大的byte[]数据(在Java中这个数据被封装在ByteBuffer接口里)一样访问磁盘上的索引文件。

    Lucene在访问虚拟空间中的索引时,不需要任何的系统调用,CPU里的MMU和TLB会处理所有的映射工作。如果数据还在磁盘上,那么MMU会发起一个中断,OS将会把数据加载进文件系统Cache。如果数据已经在cache里了,MMU/TLB会直接把数据映射到内存,这只需要访问内存,速度很快。程序员不需要关心pagingin/out,所有的这些都交给OS。

    而且,这种情况下没有并发的干扰,唯一的问题就是Java的ByteBuffer封装后的byte[]稍微慢一些,但是Java里要想用mmap就只能用这个接口。还有一个很大的优点就是所有的内存issue都由OS来负责,这样没有GC的问题。因此在64位平台上的lucene,尽量使用MMapDirectory。

    2 文件读取类IndexInput

    (org.apache.lucene.store.IndexInput)

    IndexInput类是一个为了从一个目录(Directory)中读取文件的抽象基类,是一个随机访问(random-access)的输入流(input stream),用于所有Lucene读取Index的操作。BufferedIndexInput是一个实现了带缓冲的IndexInput的基础实现。

    3 文件写入类IndexOutput

    (org.apache.lucene.store.IndexOutput)

    IndexOutput类是一个为了写入文件到一个目录(Directory)中的抽象基类,是一个随机访问(random-access)的输出流(output stream),用于所有Lucene写入Index的操作。BufferedIndexOutput是一个实现了带缓冲的IndexOutput的基础实现。RAMOuputStream是一个内存驻留(memory-resident)的IndexOutput的实现类。

    作为一种检索系统框架,Lucene并不直接提供系统的实现,而仅仅是系统框架而已。因此,为了构建一个真正可用的全文检索系统,开发人员必须熟悉Lucene的基本框架以及API,这样才能进行高效的开发。

    这一需求要求了Lucene要具备一种简明、方便的构架与函数接口来方便用户(即开发人员)的使用。这体现了Lucene需要很高的易用性(usability)。 不仅如此,开源是Lucene的一个重大属性。相比Google的pagerank搜索方案,Lucene必须不断改进其算法以及各种辅助措施来使得其运行更加高效,并支持多种语言等。因此,Lucene必须具备很好的可修改性(modifiability)。

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。