中企动力 > 商学院 > diff文件
  • ?

    k8s存储系统介绍

    狐狸

    展开

    在k8s集群中,运行服务离不开持久化地将数据保存起来,这就涉及到k8s的存储系统了。k8s的存储系统在运行机制上基于docker原生的volume机制,本质上都是先将存储挂在到主机上,经过处理后,通过docker的volume机制挂载到容器中。但在存储实现上,k8s自己包装了一套volume plugins,用于对接各种存储的后端实现。这些存储实现从基本用途来说,大致可以分为以下几类:

    1)测试使用

    emtyDir、hostPath:使用宿主机上的临时或者固定目录作为容器使用的卷,在临时测试时非常有用

    2)云环境

    gce pcd、azure disk、OpenStack cinder、aws ebs、vSphere volume,这几种实现是k8s集群运行在相应云环境中时,才能使用相应的存储实现。

    3)块设备

    iscsi、rbd:通过对主机提供块设备,然后kubelet将块设备格式化后再挂载给容器使用。

    4)网络共享文件

    nfs、glusterfs、cephfs:通过网络共享文件系统,提供网络可访问的目录供容器挂载使用。

    5)k8s配置

    configmap、secret:将k8s中的configmap或secret的值,按指定目录在宿主机上生成文件,然后再挂载给容器。

    在使用方式上,k8s经历了三代进化。如下图所示:

    1.1 直接使用volume

    在POD定义中,直接将存储的访问方式定义好,其生命周期与POD生命周期保持一致,当POD被删除时,volume也没解挂,但数据不会被处理。在使用和管理上都有比较多的问题:

    1) 普通用户需要了解比较多的存储实现细节,对他们来说是额外的负担。

    2) POD删除后,数据的处理完全依赖用户手动处理,很容易出现数据残留或者泄漏。

    3) 管理员或者用户需要手动在存储系统上提前准备好volume使用的存储设备,增加了他们的负担。

    1.2 使用pv&pvc

    k8s通过pv封装了存储的实现细节,并通过labels对用户提供了存储介质、访问方式、容量、IOPS等属性,使用户能够通过pvc来使用存储,减少了用户的负担。并且,pvc还支持设置对pv进行回收时的策略,自动化地实现存储空间的回收,减轻了管理员的负担。其使用过程如下图所示:

    但是管理员还是需要手动地为用户提前准备好pv以及对应的存储设备,在使用上不是很便利。

    1.3 使用storageclass

    在k8s 1.4后,k8s提供了storageclass特性,根据管理员配置的存储系统设置,动态地根据用户的pvc动态创建或者绑定pv,减少了管理员的手动操作。其使用过程如下图所示:

    2. k8s集成ceph演示

    k8s集成ceph时,可以通过pv&pvc,或者使用storageclass的方式集成,最终可以实现相同的效果。

    2.1 ceph通过volume plugin与k8s集成

    在这种工作模式下,k8s提供了两种实现与ceph集成。

    1)以RBD块设备方式挂载。在这种方式下,由于块设备的特性,不支持多个挂载POD同时向存储写,但支持一写多读这种方式。

    2)以cephfs网络共享文件方式挂载。在这种方式下,支持多个挂载的POD同时写。

    本文以rbd方式为例,介绍集成过程。

    2.1.1 环境准备

    1)确保ceph集群处于健康状态。

    ceph status

    2)创建存储后端的image

    rbd create demoimage --size=1G

    3)在k8s所有节点安装ceph-common,获得rbd命令,使主机可以挂载ceph image。

    4)保存ceph客户端key到k8s,kubelet将使用这个key来挂载ceph image。

    echo " {key}" |base64

    kubectl create secret generic ceph-secret-admin --from-literal=key='' {encoded-key}'' --type=kubernetes.io/rbd

    2.1.2 测试过程

    使用如下的yaml声明创建pv、pvc以及使用pvc的ReplicationController。

    pv的yaml如下:

    apiVersion: v1

    kind: PersistentVolume

    metadata:

    name: ceph-pv

    labels:

    name: ceph-pv

    spec:

    capacity:

    storage: 1Gi

    accessModes:

    - ReadWriteOnce

    rbd:

    monitors:

    - "192.168.7.211:6789"

    - "192.168.7.212:6789"

    - "192.168.7.213:6789"

    pool: rbd

    image: demoimage

    user: admin

    secretRef:

    name: ceph-secret-admin

    fsType: ext4

    pvc的yaml如下:

    kind: PersistentVolumeClaim

    apiVersion: v1

    metadata:

    name: ceph-claim

    spec:

    accessModes:

    - ReadWriteOnce

    resources:

    requests:

    storage: 1Gi

    selector:

    matchLabels:

    name: ceph-pv

    使用pvc的ReplicationController如下:

    apiVersion: v1

    kind: ReplicationController

    metadata:

    name: rbd

    labels:

    app: rbd-demo

    spec:

    replicas: 1

    selector:

    app: rbd-demo

    template:

    metadata:

    labels:

    app: rbd-demo

    spec:

    containers:

    - name: demo

    image: reg.skycloud:5000/nginx:stable

    imagePullPolicy: IfNotPresent

    volumeMounts:

    - mountPath: "/mnt"

    name: mypd

    volumes:

    - name: mypd

    persistentVolumeClaim:

    claimName: ceph-claim

    创建完成后,可以通过k8s命令行确认ReplicationController创建的POD正常运行。

    2.1.3 测试结果

    POD创建出来后,在其运行宿主机上,可以看到ceph的demoimage被挂载了。

    在内部可以看到被挂载的目录,并且被格式化为pv指定的ext4格式。

    通过下面的几种方式测试服务数据的持久化保存

    删除容器,k8s自动重建,可以保持数据不丢失。删除POD,然后重建,可以保持数据不丢失。内存中的状态,如连接状态、会话session等丢失。

    测试过程可以观看gif。

    2.2 ceph通过storageclass集成

    通过storageclass集成时,k8s目前仅支持ceph的rbd实现。

    2.2.1 环境准备

    1)确保ceph集群处于健康状态。

    ceph status

    2)创建storageclass使用的存储池。

    ceph osd pool create kube 512

    3)在k8s所有节点安装ceph-common,获得rbd命令,用于创建和挂载rbd image。

    4)保存ceph管理端key到k8s,供k8s自动创建image使用。需要注意的是,管理端key必须通过base64编码。

    echo " {key}" |base64

    kubectl create secret generic ceph-secret-admin --from-literal=key='' {encoded-key}'' --type=kubernetes.io/rbd

    5)创建ceph客户端key,设置权限,并保存到k8s,kubelet将使用这个key来挂载ceph image。保存时,注意设置的namespace,只能由这个namespace中的POD挂载storageclass自动创建出来的pv。

    ceph auth get-or-create client.kube mon 'allow r' osd 'allow rwx pool=kube‘

    kubectl create secret generic ceph-secret-user --from-literal=key='{kube-key}' --namespace=sky-firmament --type=kubernetes.io/rbd

    2.2.2 测试过程

    使用如下的yaml声明创建storageclass、pvc以及使用pvc的ReplicationController。

    storageclass的yaml如下:

    apiVersion: storage.k8s.io/v1beta1

    kind: StorageClass

    metadata:

    name: cephdemo

    provisioner: kubernetes.io/rbd

    parameters:

    monitors: 192.168.7.211:6789,192.168.7.212:6789,192.168.7.213:6789

    adminId: admin

    adminSecretName: ceph-secret-admin

    adminSecretNamespace: default

    pool: kube

    userId: kube

    userSecretName: ceph-secret-user

    pvc的yaml如下:

    kind: PersistentVolumeClaim

    apiVersion: v1

    metadata:

    name: ceph-claim

    namespace: sky-firmament

    annotations:

    volume.beta.kubernetes.io/storage-class: “cephdemo"

    spec:

    accessModes:

    - ReadWriteOnce

    resources:

    requests:

    storage: 2Gi

    ReplicationController的yaml如下:

    apiVersion: v1

    kind: ReplicationController

    metadata:

    name: ceph

    namespace: sky-firmament

    labels:

    app: ceph-demo

    spec:

    replicas: 1

    selector:

    app: ceph-demo

    template:

    metadata:

    labels:

    app: ceph-demo

    spec:

    containers:

    - name: demo

    image: reg.skycloud:5000/nginx:stable

    imagePullPolicy: IfNotPresent

    volumeMounts:

    - mountPath: "/mnt"

    name: mypd

    volumes:

    - name: mypd

    persistentVolumeClaim:

    claimName: cephclaim

    创建完成后,通过k8s命令行确认ReplicationController创建的POD正常运行。

    2.2.3 测试结果

    可以看到k8s通过storageclass,动态创建的pv,为POD提供存储。

    在ceph集群上,可以查看到对应动态创建的image。

    POD创建出来后,在其运行宿主机上,可以看到ceph的demoimage被挂载了。

    在内部可以看到被挂载的目录,并且被格式化为pv指定的ext4格式。

    通过下面的几种方式测试服务数据的持久化保存。

    删除容器,k8s自动重建,可以保持数据不丢失。删除POD,然后重建,可以保持数据不丢失。

    内存中的状态,如连接状态、会话session等丢失。

    3. 踩坑经验

    3.1 ceph集群的安装

    由于ceph-deploy默认使用官方源来安装,由于网络连接的原因,经常出现下载超时等网络异常,导致安装失败。

    其实ceph-deploy是支持使用镜像源来安装的,以网易源为例:

    export CEPH_DEPLOY_REPO_URL=http://mirrors.163/ceph/rpm-jewel/el7

    export CEPH_DEPLOY_GPG_URL=http://mirrors.163/ceph/keys/release.asc

    然后按正常的安装过程执行命令即可,可以参考此链接。

    3.2 rbd挂载失败

    使用pv&pvc集成方式时,rbd image无法挂载到宿主机上,从kubelet中可以看到如下日志:

    rbd: map failed exit status 6 2017-03-22 11:20:58.090270 7f30f46b6d80 -1 did not load config file, using default settings.

    RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".

    根据日志提示,首先通过rbd info命令,查看image启用的特性。

    通过rbd feature disable命令,将不支持的特性禁用即可。

    rbd feature disable demoimage exclusive-lock, object-map, fast-diff, deep-flatten

    3.3 storageclass无法动态创建pv

    创建pvc后,k8s没有自动创建pv,从controller-manager服务的日志中,可以看到相关异常信息:

    rbd_util.go:341] rbd: Error creating rbd image: fork/exec /usr/bin/rbd: invalid argument

    通过搜索kubernetes官方issue,可以确定是因为使用的ceph管理端key没有经过base64编码,导致无法执行创建image的命令。

    3.4 总结

    k8s目前处于极速迭代中,其中使用的技术一直在变化,当出现问题时,首先要从k8s官方的issue列表中检索,一般情况下都可以找到蛛丝马迹,可以帮助解决问题。如果还是解决不了,则应当有效利用搜索引擎,通过从k8s服务运行过程中产生的异常信息,来辅助解决问题。

  • ?

    GitLab 发布11.4版本:PR审查、功能标志、Git V2协议及更多功能

    郦慕青

    展开

    转载自百家号作者:虫虫搜奇

    昨天(22日)Gitlab官方blog发布博文宣布了GitLab新的版本11.4。新版本更加专注于提高团队协作的效率,并进一步改善DevOps功能,通过DevOps缩短开发测试部署项目周期,减少浪费及其他改进实现更快的交付和更好的业务迭代。本文中虫虫带大家一起来预览新版本带来的功能,欢迎关注虫虫,随时获取Git以及DevOps技术的最新技术和工具信息。

    功能概述

    GitLab 11.4,新增加了合并请求评论(MR)和Diff差异文件树使代码审查更加便捷高效;引入了alpha版本的功能标志(Feture Flags);对核心数据库PostgreSQL管理新增加迁移和定时增量部署;Auto DevOps和CI功能更加强大;开始引入更快更强大的Git v2协议。

    代码审查

    合并请求审核将减少来自代码和合并请求的commit的干扰影响。新增加批量注释功能(Batch Comments)允许审阅者在代码或合并请求中包含多个comment一次处理。项目关注者可以更有效地跟踪变化。

    实现合适的人员审核并通过代码更改是提供高质量代码的骤。在上一个中等版本11.3代码所有者功能基础上,新版本支持根据代码所有者配置文件CODEOWNERS审查和批准特定的合并请求,实现更快速有效地获取审核和批准,这也有助于团队中的职责和角色分离时。

    将文件树视图添加到合并commit后,审阅者可以更轻松,更快速地浏览多个已更改的文件,然后提供反馈。

    功能标志

    新推出Alpha版的功能标志(Feature Flags),是一个功能切换系统。团队现在可以通过小批量部署新功能来实施持续交付(CD),实现灰度部署,以减少全面部署的风险。

    Auto DevOps和CI/CD

    CI/CD部分改善了.gitlab-ci.yml中include功能,将其从Starter移动到Core的能力。这将使所有团队更容易利用此最佳实践并更有效地管理其CI/CD管道。

    其他功能

    基于GitLab社区支持,新版中还引入了许多更精彩的改进,包括新的配置文件布局,更快地访问的个人资料状态,突出显示的@mentions,新的快速操作等功能。

    GitLab 11.4主要功能介绍

    合并请求commits(EE Premium 及以上)

    合并请求(MR,Merge Reuqest)中的代码审查是GitLab的提供的一项强大功能。团队成员的会话链接到diff中的特定代码行,并支持直接当时解决小的冲突。但是对较大差异的合并请求,这个过程则比较繁琐:一般性而言,审阅者可能需要处理超过10个或更多的commit。而且通常最后的两条commits可能不依赖先前的commit。最终结果是合并请求发出了大量通知,审阅者还必须逐个对它们进行排序。

    在11.4版本中,Gitlab引入了合并请求commit。允许审阅者根据需要在合并请求草稿中包含可能多的代码commit,确保它们都是一致的,然后将它们作为一个操作提交。由于草稿保存到GitLab,审阅者甚至可以在多个会话中切换工作,例如在白天开始在他们的桌面上进行commit,然后在晚上晚些时候将其打包到平板设备上。提交commit草稿后,它们将显示为正常的个人commit。这样,团队成员就可以灵活地进行代码审查,但仍然可以与整个团队保持兼容。在将来的版本中将会增加批量提交操作之前的预览功能,并将这些commit当前生成的所有通知合并为一个通知发出。

    功能标志alpha版本(EE Premium及以上)

    此功能实现在产品中为应用创建和管理功能标记(Feature Flags)。只需创建一个新的功能标志,使用应用中的简单API指令对其进行验证,就可以通过GitLab中的功能标志来控制软件在现场的行为。

    功能标记为应用提供功能切换系统。它们使团队能够通过将较少的新功能部署到生产中来实现持续交付,从而实现受控测试,将功能交付与客户启动分开。这有助于降低风险,并允许你轻松管理和测试关注的功能点。

    注意该功能为首次引入的alpha功能,可能会有bug,按需使用和测试。

    用于浏览合并请求差异的文件树

    代码审查是每个成功项目的基本实践,但变化内容很难从一个平面差异列表中确定。 GitLab新版本新增加了一个可搜索的文件变化树,以便于查看文件变化并支持在变化文件之间跳转。

    文件树列出了更改的结构和大小等信息,类似于diff-stats,提供了变化的概述并改进了变化文件之间的导航。搜索允许审阅者通过路径或文件类型删选结果。

    建议代码所有者作为合并请求批准者

    新版本中代码所有者在创建或编辑合并请求时会显示请求者建议的审阅者,更方便分配合适的人员。

    GitLab 11.3中加入了对代码所有者的配置功能。未来版本版本中,代码所有者将进一步集成到合并请求工作流程中,并具有自动分配和所需的审阅者。

    全新用户个人信息页面

    无论参与度如何,你的活动都是相关的信息和参与指标来源,显示在你的个人资料页面上。个人资料应该简单地了解您感兴趣和工作的内容。

    新版本中,引入了全新设计的个人信息页面,通过熟悉但缩短的贡献图表显示参用户活动,包括最新活动和最相关的个人GitLab项目。

    在用户菜单中设置并显示个人状态消息

    GitLab 11.2,首次引入了个人状态消息,用于分享个人当前的状态,心情或仅仅是你喜欢动物标志等。

    在新版本中,状态设置更加简单便捷。用户菜单中的新"设置状态"项提供了一个全新的模式,允许用户在上下文中设置和清除状态。此外,用户的设置状态也会显示在他的用户菜单中,包括全名和用户名,设置的表情符号和消息。

    .gitlab-ci.yml配置文件include范围从Starter扩大到Core

    本版本中宣布,.gitlab-ci.yml中include的内容现在可在Core中使用。这将有助于确保模板和其他共享资源始终在免费和非免费用户之间的兼容,并且还使每个人都能够使用CI/CD管道中的可重用片段进行最佳实践开发。

    runner任务的路径或文件only/except修饰符

    新版本支持在.gitlab-ci.yml中提供仅基于特定文件或路径(glob)的规则。

    这将允许对其仓库包含不同类型的资产或构建的用户进行更多控制,从而确保仅对已提交的各种更改执行适当的步骤,从而加快整个管道执行。

    Kubernetes集成支持RBAC

    在首次设置基础架构或连接到现有基础架构时,安全性至关重要。基于角色的访问控制(RBAC)通常作为Kubernetes 1.8版本的一部分提供,提供更精细的控制来管理对Kubernetes资源的访问。

    Kubernetes集成现在可以在GKE上创建支持RBAC集群,或者与支持RBAC的现有集群连接,为基础架构提供更高的安全性。

    Auto DevOps支持RBAC

    Auto DevOps现在支持与启用RBAC的Kubernetes集群交互和应用部署。

    基于角色的访问控制(RBAC)是一种重要的工具,允许运营商确保其Kubernetes集群的可靠性,安全性和效率。将Auto DevOps与启用RBAC的群集结合使用可确保应用程序使用增强安全性的基础结构。

    支持自动化PostgreSQL数据库迁移和初始化

    使用Auto DevOps自动检测,构建,测试,部署和监控应用程序变得更加强大。从11.4开始,Auto DevOps现在可以在项目中初始化或迁移PostgreSQL数据库。

    只需定义一个项目变量来初始化或迁移PostgreSQL数据库,Auto DevOps将完成剩下的工作。

    Git协议v2

    开发人员每天多次获取refs以检查当前分支是否在远程分支之后。 Git协议v2是Git协议的主要更新,它定义了客户端(你的计算机)和服务器(GitLab)之间如何进行clone,pull和push。新的协议提高了获取命令的性能,并支持未来的协议改进。

    以前,对fetch命令的所有响应都包含存储库中所有引用的列表。例如,获取单个分支(例如git fetch origin master)的更新也将检索所有引用的完整列表。对于大型项目,每一次操作都将是个耗时耗宽带的操作。

    Git从v2.18.0开始支持Git v2协议。客户需要明确启用全局运行参数git config --global protocol.version

    Omnibus改进

    redis已更新至3.2.12,这是一个修复多个漏洞的关键安全更新。升级到11.4后,通过运行gitlab-ctl restart redis以确保新版本正在运行。

    GitLab 11.4包括Mattermost 5.3,一个开源的Slack替代品,其最新版本包括桌面和移动设备上的增强搜索以及更多。它包括安全更新和建议升级。

    git已更新为2.18.1,libpng已更新为1.6.35。

    gnupg已更新为2.2.10,gpgme更新为1.10.0,libgcrypt更新为1.8.3,npth更新为1.6,libgpg错误更新为1.32,libassuan更新为2.5.1。

    trusted_certs目录中的证书现在设置为0644权限而不是0755。

    GitLab Runner 11.4

    GitLab Runner是一个开源项目,用于和Gitlab交互并运行CI/CD作业。

    新版变化:

    支持JSON日志记录;

    为交互式Web终端添加docker支持;

    允许禁用docker entrypoint覆盖;

    添加具有并发和限制值的指标;

    添加gitlab_runner_jobs_total指标;

    添加作业持续时间直方图度量标准;

    使用K8S执行程序创建容器时修复命令和args赋值;

    性能改进

    GitLab 11.4中一些值得注意的性能改进包括:

    使用许多标签引用加快Markdown渲染和呈现;

    与许多跨项目提交引用的问题讨论更快;

    为问题提取相关分支会减少查询次数;

    合并请求的获取环境运行较少的查询;

    计算通知电子邮件的收件人运行的查询较少;

    在合并请求上创建新的差异讨论更快;

    在树视图中获取"上次提交"信息会减少Gitaly调用;

    删除死代码后加载合并请求更快;

    GitLab 11.4的其他改进

    订阅标签列表

    新版中添加了在项目标签列表页面上按标签搜索的功能。可以按标签搜索,按姓名/创建时间/更新时间排序,还可以查看已订阅的标签列表。

    明确地突出显示@mentions

    新版本中,@mentions为自己(即当前用户)以不同的颜色突出显示,使用户可以轻松查看涉及哪些评论,快速关注它们。

    在Burndown Chart引入新创建的问题(STARTER版本及以上)

    Burndown Charts帮助团队跟踪工作,因为它贯穿整个里程碑。

    新版本中,燃尽图现在可以解释在里程碑中间创建的这些新问题。

    讨论锁定

    锁定问题和合并请求中的讨论有助于直接与新问题(或合并请求)进行对话。它还可以用于控制滥用或其他非生产性行为。

    新版本中,现在可以快速锁定和解锁讨论,从而更轻松地键入注释并锁定/解锁所有操作。

    项目概述页的语言百分比标尺

    在11.3引入了一个新的代码语言栏,提供了有关所涉及的编程语言的快速概述。

    GitLab 11.4中为标尺中显示的语言新添加百分数值,使得效果更明显。

    根据功能可用性跳过自动DevOps作业

    从11.4开始,Auto DevOps现在将评估其运行实例的plan或者tier,以确定要跳过的作业。当某些功能未使用时,可以忽略,从而加快Auto DevOps管道执行。

    这不仅可以节省您的时间,还可以更清晰地查看Auto DevOps管道,仅显示项目的相关作业。

    与Nurtch和JupyterHub的交互式Runbook

    交互式Runbook为操作员提供了一种与各种系统交互的强大方式,可以执行常见任务,如诊断,部署和测试基础架构组件。

    通过GitLab的Kubernetes集成提供的JupyterHub应用程序附带了Nurtch的Rubix库,提供了一种创建DevOps Runbook的简单方法。

    在指标仪表板显示告警阈值(EE ULTIMATE版本以上)

    GitLab 11.4,配置的警报阈值现在可以直接显示在指标图表上。这样可以更轻松地确定哪些度量标准当前正在生成警报,以及更好地可视化度量标准和告警阈值的相互作用。

    按WIP过滤合并请求

    合并请求是GitLab的核心部分,允许团队成员透明地协作处理代码。特别是,我们鼓励团队尽早分享他们的工作,并使用WIP(正在进行的工作)功能来指示合并请求仍在进行活动,并且不应合并。

    在此版本中,我们通过在组级和项目级合并请求列表中使用专用过滤器,使用户更容易区分WIP和非WIP合并请求。这使得用户可以快速专注于仍处于早期工作阶段的合并请求,而不是那些在合并之前进入审核的最后阶段的合并请求。

    鼠标单击以插入Markdown表和链接

    GitLab在整个GitLab的大多数地方支持GitLab Flavored Markdown(GFM),您可以在其中输入文本,通过简单的语法提供丰富格式化的强大功能。在此版本中,支持单击GFM编辑器中的表格按钮,会自动插入表格。然后可以轻松输入表值或扩展表格,按照希望的方式对其进行格式化。可以在GitLab中的描述和注释框中使用它。

    同样也支持链接按钮,帮用户快速插入URL链接。允许快速粘贴链接并写入其名称。

    按热门查找项目

    新版中,增加了一个过滤器"Most stars"过,用于显示实例上最受欢迎的项目。

    双因子认证恢复代码下载

    双因子身份验证是注册任何相关基于Web的应用程序的事实标准。在GitLab,你设置双因子身份验证后会提供有限的恢复代码,以便重新获得对帐户的访问权限作为后备。

    新版中,我们现在支持使用新的"下载代码"按钮将恢复代码下载。

    允许管道安排延迟的作业

    通过.gitlab-ci.yml中的when关键字将作业设置为在延迟后启动。当作业以其他方式启动时,计时器开始计时,可以控制执行需要等待一段时间的任务。例如,实施定时å...

  • ?

    Git常用的一些命令,你记住了吗?

    陶绯

    展开

    大家都知道git是目前最流行的分布式控制系统,它可以把我们的项目代码提交到github上托管。这样我们就可以实现多人同时工作,并且不会有冲突,大大提高了我们的开发效率和协作效率。

    git

    所以,今天小编就总结几条常用的git命令,希望大家可以参考!

    到官网下载git:https://git-scm/

    下载网后安装好git后,打开鼠标右键打开git bash,然后输入git 命令,看到安装成功的效果图:

    git安装成功效果图

    一、创建一个简单的仓库:

    1、创建一个文件夹 mkdir test

    2、切换到文件夹里面 cd test

    3、运行 pwd 查看一下效果

    4、初始一个化仓库 git init 这样,这个test就是一个仓库了

    二、以下是一些常用的命令:

    git add 文件名 ##是添加文件的命令,即把文件添加到仓库里面

    git add . ##是添加所有文件的命令,上面的命令只是根据具体选择来添加的

    git status ##是查看仓库当前的状态或者结果的命令

    git commit -m “备注说明” ##是提交文件的命令,

    git push ##是推出送文件到github上的命令,这是提交代码最后一步。

    git diff 文件名 ##是查看文件被修改过的状态,即改文件修改了什么

    git branch dev ##是创建dev分支

    git checkout dev ##是切换分支,把分支切换到dev上

    git branch ##是查看分支

    git checkout -b dev ##是创建分支,然后切换到dev分支,即是上面两个命令的合并

    git pull ##拉取

    创建dev分支

    切换到dev分支

    三、整个提交上传代码的基本流程步骤:

    第1步,工作开始前都先把代码从github库上拉取下来,更新自己的代码,避免别人修改过的代码与自己的有冲突,必须要养成这样一个良好的习惯。

    第2步:自己做好项目的代码后,执行

    git add 文件名 ##添加代码

    第3步:查看添加的状态

    git status ##查看当前库的状态

    第4步:提交代码

    git commit -m “备注说明” ##提交代码到暂存区,这个并没有真正提交到github上面去的

    第5步:提交了代码也要查看一下提交的状态

    最后一步:推送代码,这次是真正提交到github上面去的

    git push ##推送代码

    git工作结构图

    这个只是小编总结出来常用的一些命令对web开发初学者的一个指导和一些良好习惯的建议,虽然看起来比较简单,但是很常用,不过想要了解更多的话,就要仔细去深入学习了哦~

  • ?

    程序猿必备的17款最佳的代码审查工具

    庾尔蓝

    展开

    好的代码审查器可以大大地帮助程序员提高代码质量,减少错误几率。

    虽然现在市场上有许多可用的代码审查工具,但如何挑选也是一个艰巨的任务。在咨询过有关专家的建议和意见之后,我们罗列出了以下17款最佳的代码审查工具。

    1.CodeStriker

    CodeStriker是一个免费&开源的Web应用程序,可以帮助开发人员基于Web的代码审查。它不但允许开发人员将问题、意见和决定记录在数据库中,还为实际执行代码审查提供了一个舒适的工作区域。

    2.RhodeCode

    RhodeCode是另一款非常棒的代码审查工具,能让你发现代码中的bug和问题,并在检查过后删除它们。

    3.Codebrag

    Codebrag是一款简单轻巧,提高进程作为的代码审查工具。它能帮助我们解决不少问题,如非阻塞代码审查、智能邮件通知、联机注释等等。

    4.Phabricator

    Phabricator是一个开源软件和web应用,包括代码审查、托管GIT /Hg/ SVN、寻找bug、浏览和审计源代码等功能。

    5.Codifferous

    Codifferous是一款免费的代码审查工具,能为我们提供更快的代码审查服务。无论你在何时何地,Codifferous能让你的团队协作审查工作变得更容易。你忘记了一个pull请求?没事。Codifferous允许你检查任意分支上的代码,无论何时你都可以留下注释、获得反馈。

    6.Getbarkeep

    Barkeep是“非常友好的代码审查系统”——让你用一种快速又有趣的方式来检查代码。你也可以用它翻阅Git存储库的提交,看diff文件,写注释,并且你还可以将这些注释通过电子邮件发送给下一位提交者。

    7.Crucible

    Crucible是另一款超级受开发人员欢迎的代码审查工具,可以审查代码、讨论修改,通过Crucible灵敏的审阅流程来确定缺陷。Crucible能够使得Subversion、CVS、Perforce等版本控制软件的代码审查变得简单起来。

    8.Code Review Tool

    Code Review Tool允许团队成员通过一种简单而有效的方式来协作审查代码。它提供了正式代码检查的所有优势,而且相比而言,所需的精力和时间更少。它既支持正式,也支持轻量级的代码审查进程。

    9.Malevich

    用Malevich审查代码真的很简单。审查人员在同一个浏览器中,既可以看文件的原始版本,也可以看它的新版本。如果想要给某一行代码添加注释,只需要点击那一行,直接打字就可以了。提交注释之后,其他代码审查人员都可共享。

    10.SmartBear

    SmartBear是一个有助于团队通过共同的开发、测试和管理工作以便能生产出高质量代码的代码审查工具。它允许团队在一个透明、协作的框架下进行同行代码审查、用户故事和测试计划——即时保持整个团队知晓对代码所做的更改。

    11.Review Assistant

    Review Assistant是一款支持Visual Studio的简单又优秀的代码审查工具。

    1.在审查级别、特定的源代码块或源代码条上添加你的注释。

    2.在预定会议之外启动与团队成员之间就代码的讨论。

    3.标记需要修正的注释和缺陷之处。

    4.在代码编辑器显示审查注释。

    5.在审查注释和代码之间进行即时切换。

    12.Review Board

    Review Board是程序员节约时间、资金和精力的代码审查好工具。语法高亮的代码,可便于更快读取。

    13.Peer Review Plugin

    此款插件通过提供基于Web的友好的审查环境,来节省开发人员在代码审查会议上所需要浪费的时间。

    14.Code Reviewer

    Code Reviewer是一款免费的、简单的又易于部署和使用的代码审查工具,由SmartBear开发——也是Collaborator的发明者,业界第一家推出商用代码审查工具的公司。

    15.Code Analysis Tool

    CAST代码分析技术着眼于解决两个基本问题。首先,最现代化的IT系统是由成千上万的组件构成,由多个团队和许多开发人员构建的。其次,测量这些系统的软件质量需要涉及多种技术和代码工具。

    16.jArchitect

    JArchitect可简化复杂Java代码库的管理。你可以使用JArchitect分析代码结构、指定设计规则、执行高效的代码审查,以及通过比较不同版本的代码掌握作出的改进。

    17.Reviewale

    Reviewale是市面上新出来的代码审查工具,它的功能包括语法高亮、发现bug/问题、改进代码、干净的用户界面、自定义代码字体等等。

    本文固定链接: http://i7758/archives/2325.html

  • ?

    世界上最先进的分布式版本控制系统(没有之一)--Git工具的诞生

    魂刃斩

    展开

    很多人都知道,Linus在1991年创建了开源的Linux,从此,Linux系统不断发展,已经成为最大的服务器系统软件了。

    Git,世界上最先进的分布式版本控制系统(没有之一)

    Linus虽然创建了Linux,但Linux的壮大是靠全世界热心的志愿者参与的,这么多人在世界各地为Linux编写代码,那Linux的代码是如何管理的呢?

    事实是,在2002年以前,世界各地的志愿者把源代码文件通过diff的方式发给Linus,然后由Linus本人通过手工方式合并代码!

    图为Linus-Linux内核的发明人及该计划的合作者

    你也许会想,为什么Linus不把Linux代码放到版本控制系统里呢?不是有CVS、SVN这些免费的版本控制系统吗?因为Linus坚定地反对CVS和SVN,这些集中式的版本控制系统不但速度慢,而且必须联网才能使用。有一些商用的版本控制系统,虽然比CVS、SVN好用,但那是付费的,和Linux的开源精神不符。

    开源项目、开源精神

    不过,到了2002年,Linux系统已经发展了十年了,代码库之大让Linus很难继续通过手工方式管理了,社区的弟兄们也对这种方式表达了强烈不满,于是Linus选择了一个商业的版本控制系统BitKeeper,BitKeeper的东家BitMover公司出于人道主义精神,授权Linux社区免费使用这个版本控制系统。

    安定团结的大好局面在2005年就被打破了,原因是Linux社区牛人聚集,不免沾染了一些梁山好汉的江湖习气。开发Samba的Andrew试图破解BitKeeper的协议(这么干的其实也不只他一个),被BitMover公司发现了(监控工作做得不错!),于是BitMover公司怒了,要收回Linux社区的免费使用权。

    BitKeeper

    Linus花了两周时间自己用C写了一个分布式版本控制系统,这就是Git!一个月之内,Linux系统的源码已经由Git管理了!牛是怎么定义的呢?大家可以体会一下。

    牛(皮)是怎么定义的呢?大家可以体会一下。

    Git迅速成为最流行的分布式版本控制系统,尤其是2008年,GitHub网站上线了,它为开源项目免费提供Git存储,无数开源项目开始迁移至GitHub,包括jQuery,PHP,Ruby等等。

    历史就是这么偶然,如果不是当年BitMover公司威胁Linux社区,可能现在我们就没有免费而超级好用的Git了。

    赞一个

  • ?

    恶意代码--大小约1.2G左右zip压缩包文件用rar解压出来为何只有1.2KB

    方涵菡

    展开

    0x01 基本分析

    File: D:\virus\burpsuite视频.zip

    Size: 1243424856 bytes

    Modified: Wednesday, August 10, 2016, 2:39:40 PM

    MD5: C9DB51BC70DBF439D840A00CC685C03A

    SHA1: 9D4F8D5EEE46136D01F9264F7A37FF8B71015A0E

    CRC32: 0B071DFB

    0x02 文件信息

    0x03 压缩信息获取

    0x04 diff 自制压缩比较

    0x05 解除锁定编码

    网上可以搜索相关的软件,比如有些WinRAR的修改版,可以解除锁定限制。

    但是并不建议使用修改过的WinRAR,还是用原版的WinRAR放心。 如果你懂技术,就会发现问题变得很简单了,RAR文件的锁定与否,

    其实只不过改了一些标志字节而已。 你需要下载一个十六进制编辑器,比如Ultra-Edit,WinHex等。用它打开一个RAR压缩包,

    这时发现任意一个正常的RAR最开始的几个字节都是 52 61 72 21 1A 07 00,

    接下来的5个字节,普通RAR是:CF 90 73 00 00 而锁定的RAR是:B5 30 73 04 00 。 现在知道怎么做了吧。用16进制编辑器打开一个被锁定的RAR,修改第7到第11个字节就可以了。 将 B5 30 73 04 00 成 CF 90 73 00 00 。如果还想深入了解为什么要这样修改,每个数字代表的含义,那么你可以参考WinRAR安装目录下的TechNode.txt。另外注意,以上均假设压缩包没有被分卷,固实,加密等。如果你遇到这样的情况,

    也是可以解决的,那5个字节就应该改成其它的。

    0x06 动态捕获可疑行为

    检测文件,注册表,文件访问,事件记录发现正常,未发现明显恶意行为。

    0x07 网络数据捕获

    正常没发现异常地址或者CC服务器。

    由此判断文件本身并没有恶意行为,怀疑可能是数据格式兼容性问题或者数据部分被修改。

    因此恢复文件的话,尝试修复压缩包试试。

    0x08 尝试压缩包修复

    1 rar cmd模式

    2 Advanced zip repair

    Start repair process ...--------------------------------------------------------File to be repaired: 'D:\virus\test\123.zip'; File size = 1,243,424,856 bytesOutput fixed file as: 'D:\virus\test\123_fixed.zip'--------------------------------------------------------Collect central header informations ...--------------------------------------------------------Write central directory structure ...--------------------------------------------------------Consumed time: 0 hour(s) 2 minute(s) 54 second(s) 322 millisecond(s).--------------------------------------------------------Repair process completes.--------------------------------------------------------Fail to repair file 'D:\virus\test\123.zip'!

    虽然尝试修复失败,但是部分数据头被还原。

    开头pk这个是压缩包标志。

    0x09 测试文件格式比对

    正常压缩文件:

    可疑压缩文件

    0x10 kuaizip测试还原数据方法1

    0x11 手动修改还原数据方式2

    注意是十六进制大写PK

    本身头两个字节是kZ 对应十六进制 6B 5A(注意严格的大小写区分)

    修改成大写PK 50 4B此时再用好压打开,已经看不见刚才的压缩目录

    只剩下一个说明.html文件。

    说明快压把压缩头(Pack Header)按照自己的算法和格式给改了。

    使用Windows自带的写字板打开快压包,将标头的'kZ'改为'PK'再保存为文档格式,

    后缀改成CAB,

    Cmd 下面输入iexpress

    http://jingyan.baidu/article/d169e186af5d33436611d8a9.html

    再把CAB打包成自解压解出来,改成7z即可。后面自己学习。

    0x12 总结

    1该程序并没有什么恶意危害主机代码和功能。

    2只是进行部分数据修改,算法不同,压缩格式破坏。

    3导致不兼容常见的几种压缩格式如rar,zip,7z等格式。

    4 压缩包本身数据保存完整,可以提取出来(正常可见,可用)。

    5 http://kuaizip下载此工具,即可正常解压。

    0x13 工具

    hash

    Winhex

    Politedit

    Editplus

    Advance zip

    Advance rar

    Rar

    Iexpress

    Procemon

    wireshark

  • ?

    awk经典知识,收藏转发

    梅希约内斯

    展开

    1.awk 'ARGIND==1 {grade[$1]=$0} ARGIND>1 && ($1 in grade) {print grade[$1]}' "file1.txt" "file2.txt" >file3.txt使用场景:

    file1文件内容:a 1b 2c 3d 4file2文件内容:abcd求大文件1与大文件2的diff

    2.awk '($2==0)' file1.txt > file2.txtfile1文件内容:a 1b 2c 3d 4e 0求文件中每行第二列为0的内容

    3.awk '{print $1,$2}' file1> file2file1文件内容:a 1b 2c 3d 4e 0

    4.awk '{print $1 $2}' filename打印完第一列,然后打印第二列

    5.打印文本文件的总行数 : awk 'END{print NR}' filename

    6.打印文本第一行 :awk 'NR==1{print}' filename

    7.打印文本第二行第一列 :sed -n "2, 1p" filename | awk '{print $1}'

    awk正式用法:awk ' pattern {action} ' 文件变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输入域分隔符,默认为一个空格 RS 输入记录分隔符 NF 当前记录里域个数 NR 到目前为止记录数 OFS 输出域分隔符 ORS 输出记录分隔符

  • ?

    使用python对比文件内容差异

    鲁兹克宾

    展开

    对比两个文件(文本类文件)内容差异的一个可能的重要应用场景是使用发布系统发布新代码版本时,你或许希望在最后上线前,再次确认当前要发布的版本内容和线上内容相比,仅是发生你改动部分的变动,而不会错误地覆盖其他与之无关的内容。尽管我们有像svn、git这样的版本管理工具以及对应的丰富的客户端工具,但对比文件内容差异的功能经常被集成在发布系统中。

    python有个difflib库,能高效地实现字符差异比对、文件内容差异比对。下面,我们就贴一个在结合django实现的简单的案例代码,供参考:

    views.py

    # -*- coding:utf-8 -*-from __future__ import unicode_literalsfrom django.shortcuts import renderfrom django.shortcuts import HttpResponsefrom django import formsimport difflib# Create your views here.#文件上传,并对比差异def filediff(request):if request.method == 'POST':form = UploadFileForm(request.POST, request.FILES)if form.is_valid():handle_uploaded_file(request.FILES['file_from'])handle_uploaded_file(request.FILES['file_to'])return makeHtml(request.FILES['file_from'].name,request.FILES['file_to'].name)else:return HttpResponse("upload error")return render(request,'upload.html', {'form': form})#html形式显示文件差异对比结果def makeHtml(file_from,file_to):filefrom = open(file_from).read()fileto = open(file_to).read()filefrom_line = filefrom.splitlines()fileto_lines = fileto.splitlines()d = difflib.HtmlDiff()return HttpResponse(d.make_file(filefrom_lines,fileto_lines))#上传,保存def handle_uploaded_file(f):with open(f.name, 'wb+') as destination:for chunk in f.chunks():destination.write(chunk)class UploadFileForm(forms.Form):file_from = forms.FileField()file_to = forms.FileField()upload.html

    <!DOCTYPE html><html><head><meta charset="UTF-8"><title>file diff test</title></head><body><form name="upload" method="POST" action="" enctype="multipart/form-data">{% csrf_token %}<input type="file" name="file_from"><input type="file" name="file_to"><input type="submit"></form></body></html>假如你对python生成的文件对比的html页面样式不太满意,是可以修改的,只要修改你安装的difflib组件里的difflib.py(比如,我在Mac上安装,这个文件的路径是/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/difflib.py)文件内的_file_template、_styles、_table_template、_legend这几个变量的值就可以

  • ?

    使用 Diff 和 Meld 工具比较两个目录的不同处

    Spike

    展开

    一般情况下,要在 Linux 下比较两个文件,我们会使用 diff (一个简单的源自 Unix 的命令行工具)来显示两个计算机文件的不同;它一行一行的去比较文件,而且很方便使用,在几乎全部的 Linux 发行版都预装了。

    问题是在 Linux 下我们怎么才能比较两个目录?现在,我们想知道两个目录中哪些文件/子目录是共有的,哪些只存在一个于目录。

    运行 diff 常规的语法如下:

    $ diff [OPTION]… FILES

    $ diff options dir1 dir2

    默认情况下,输出是按文件/子文件夹的文件名的字母排序的,如下面截图所示,在命令中, -q 开关是告诉 diif 只有在文件有差异时报告。

    $ diff -q directory-1/ directory-2/

    两个文件夹之间的差异

    再次运行 diff 并不能进入子文件夹,但是我们可以使用 -r 开关来读子文件夹,如下所示。

    $ diff -qr directory-1/ directory-2/

    使用 Meld 可视化比较和合并工具

    meld 是一个很酷的图形化工具(一个 GNOME 桌面下的可视化的比较和合并工具),可供那些喜欢使用鼠标的人使用,可按如下来安装。

    $ sudo apt install meld [Debian/Ubuntu systems]

    $ sudo yum install meld [RHEL/CentOS systems]

    $ sudo dnf install meld [Fedora 22+]

    一旦你安装了它之后,在 Ubuntu Dash 或者 Linux Mint 菜单搜索 “meld” ,或者 Fedora 或 CentOS 桌面的 Activities Overview,然后启动它。

    你可以看到如下的 Meld 界面,可以选择文件或者文件夹来比较,此外还有版本控制视图。点击目录比较并移动到下个界面。

    Meld 比较工具

    选择你想要比较的文件夹,注意你可以勾选 “3-way Comparison” 选项,添加第三个文件夹。

    选择比较的文件夹

    选择好要比较的文件夹后,点击 “Compare”。

    文件夹不同列表

    免费提供最新Linux技术教程书籍,为开源技术爱好者努力做得更多更好:http://linuxprobe/

  • ?

    英雄联盟更新失败:DIFF安装包合并失败,原来是和它冲突,卸载!

    小米粥

    展开

    每天玩的英雄联盟,一切正常,每次更新也是一会就好,突然,更新时提示:英雄联盟更新失败,DIFF安装包合并失败,请检查磁盘和文件是否损坏。很多人遇到这个问题无法解决,尝试卸载,重新安装等等,依旧是老样子,结果小编无意中发现讯飞输入法还在打开状态,尝试关闭,却一直闪,关闭不了,本来就郁闷,想着卸载输入法算了,结果呢,卸载后提示需要重启,重启后手工删除了安装文件夹,再次进入英雄联盟,竟然可以顺利更新,进入游戏一切正常。

    原来如此,小小的讯飞语音输入法竟然和英雄联盟扯到了一起,实在是让人想不通,遇到这个问题正在郁闷的玩家们,快来尝试解决一下吧,看看你们电脑上是不是最近安装了讯飞语音输入法测试版,卸载掉就OK!不要问为什么,软件冲突真是找不出来原因的。

    还要记得一件事,卸载后一定要重启,手工删除C盘里的输入法文件夹,再次启动游戏,更新可以顺利进行了。游戏也可以顺利进入了,一切恢复平静,快来试试吧。

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。