- ?
网络分流器|网络分流器|PON流量获取方案
黎易梦
展开
1. 戎腾PON流量获取方案
网络分流器|PON(Passive Optic Network,无源光网络)作为高速的用户接入手段,具有高带宽、高效率、用户接口丰富等优点,逐渐成为固网的高速接入主流方式。目前主要分为GPON和EPON两大类。PON类的高速接入监测存在无感接入挑战、多类型兼容性和接入位置三大挑战。
网络分流器戎腾网络|网络分流器通过:
(1)在链路层解决上行突发、上行突发快速同步、同步头快速搜索和精准测距等技术难点,在数据传输上攻克了AES和三重搅动的解密方法;
(2)在数据加解密技术的基础上,设计了基于数据载荷替换的信息通道机制,确保信息无扰插入。
推出系列EPON/GPON TAP设备用于GPON/EPON系统链路数据采集和数据注入。主要用于临时技术侦查,亦可应用于网络监控、运营商流量采集与分析等领域。
网络分流器图1\部署在OLT与ODN之间***采用更像实际设备的OLT设备***
网络分流器图2\ 部署在ODN与ONU之间***采用更像实际设备的OLT设备***|网络分流器
网络分流器|GPON设备如图 1和图 2所示,EPON/GPON TAP设备串接部署于E/GPON OLT到ONU链路中ODN上下的任意位置,对链路中的数据透明传输,并镜像链路数据供后端临侦服务器分析,同时临侦服务器可通过EPON/GPON TAP提供的攻击接口,对目标用户执行DNS欺骗或者植入自定义应用程序等技术侦查手段进行,完成主动侦查,植入成功后,临侦服务器可通过植入目标用户的自定义应用程序将目标用户的数据复制到自己或者远程管控服务器|网络分流器
网络分流器 - ?
网络分流器|高速骨干网流量采集与分流实现方案
奥斯卡
展开
网络分流器|高速骨干网流量采集与分流实现方案
网络分流器1, 流量采集|戎腾网络分流器
所谓流量采集,就是将网络流量通过物理层、数据链路层的信号解析和解帧,实现IP原始报文的获取。骨干网流量采集系统是一种对骨干网进行流量获取并分析的系统,主要应用于政府网络管理、运行商广告推送、运行商计费取证服务、运行商信令监控服务、园区网审计、公安网监、大数据分析等领域。
2, 高速网络流量采集系统|网络分流器
随着以太网技术和光纤通信技术的应用,骨干网带宽的增长及规模的扩大,大规模的网络流量采集面临着数据规模庞大和流量日益复杂的挑战,传统的基于软件的流量采集技术的性能已然无法满足要求。现有的高速骨干网流量采集方案主要分为三类:基于多核处理器的流量采集方案,基于交换芯片的流量采集方案,和基于FPGA的网络流量采集方案。
每种方案各有特色,下文将一一进行说明。
a) 基于多核处理器的戎腾高速网络流量采集系统
多核处理器能够提供强大的并行计算能力,应用于流量采集系统的主要型号有Broadcom的XLP、XLR、XLS,Cavium的CN6880、CN5880,以及Tilera的TILE-GX36等。采用此方案的系统可编程实现流量采集,还可对报文进行修改,具有非常高的灵活性。但系统CPU的处理能力有限,无法真正实现线速处理,整体性能不会很高,但是由于有处理器的参与,比较复杂的处理,如流表的管理、应用层协议识别、Radius上线与报文绑定等功能比较容易实现。
网络分流器|戎腾高速骨干网流量采集与分流实现方案
网络分流器图1一种基于CaviumCN6880的戎腾流量采集器CDP2000
b) 基于交换芯片的高速网络流量采集系统
交换芯片的价格较便宜,且有成熟的套片解决方案可供参考。但其过滤功能非常弱,只支持非常简单的精确多元组过滤,无法做深度报文检测(DPI: Deep Package Inspection),且无法支持POS和WAN等以太网接口,这也使得基于交换芯片的流量采集方案在实际使用的范围受到限制。
c) 基于FPGA的高速网络流量采集系统
基于FPGA的解决方案目前较少,主要原因是FPGA芯片价格较贵,且需自行设计所有高速电路和过滤算法,技术门槛较高,需要深厚的研发能力。但其兼有多核系统的高灵活性和交换系统的高性能,优势也是非常明显的。
网络分流器图2基于FPGA的100G戎腾网络流量采集系统HFC602
表1 三种流量采集方案的比较
基于多核处理器 基于交换芯片 基于FPGA
芯片价格 一般 较低 较高
硬件设计难易度 一般 较容易 较难
软件开发难易度 一般 较容易 较难
常见网络接口的兼容性 中 低 高
流量采集的灵活性 高 低 一般
是否实现线速处理 否 否 是
基于多核处理器+交换芯片的流量采集方案是目前应用最为普遍的方案,虽然系统整体价格略贵,但软硬件发开难度不大,入门门槛较低。
但随着FPGA的发展,其内部资源日益丰富,特别是内部嵌入了大量IP核,在处理速率、逻辑容量等方面不断提升,基于FPGA的方案受到了越来越多的关注,国内外许多研究机构及公司先后推出了基于FPGA的网络流量采集系统。
图2所示是常见基于FPGA的流量采集系统的结构图,流量采集及预处理平台获取网络端口送来的网络数据包,并对数据包进行流量统计和分析,最终根据流量分析的结果将网络数据包进行分流重新转发回网络中。系统采用硬件和软件协同实现设计思路,对于数据包的协议解析、数据预处理都由硬件电路实现;后端服务器进行流量的具体分析处理。通过预处理平台对流量进行分类归并和低负载数据传输,有效减少了后端服务器的工作量;服务器对预处理后的数据进行处理,可以有效降低流量处理过程的负载开销。
戎腾网络分流器网络分流器|高速骨干网流量采集与分流实现方案
3 小结|戎腾网络分流器
戎腾网络推出的100G采集设备(采用ATCA-NTW6401机箱和HFC602业务处理板卡)是目前市面上唯一经过了实网验证的设备,10G独立机箱设备(PET160/320)是目前最大密度的协转设备,3G/LTE产品(ATCA-NTW6402)由于采用软硬结合方案(FPGA+NPU),单板处理能力达到40G bps 3G GRE/ 160G LTE,具有最高性价比|网络分流器
戎腾网络分流器 - ?
网络分流器-网络分流器网络流量数据预处流程
乔凝竹
展开
本周为全国网络安全宣传周,湖南戎腾网络积极参与其中,网络分流器网络汇聚分流器作为网络安全领域网络监控前端设备,对于整个网络安全至关重要!
网络分流器通常是用于网络流量数据的预处理!今天跟大家交流一下预处理流程!
戎腾网络分流器网络分流器Skipper 2.0是RT1280/RT640/RT200系列流量预处理平台的用户操作接口,Skipper由CLI(Command Line Interface,命令行接口)和RCP(Remote Control Protocol,远程控制协议)API组成。
RT1280设备(图1)是一款支持网络行为审计系统、网络内容审计系统和入侵检测系统的高速流量预处理平台,实现100G以太网、40G POS(OC768)、10G POS/LAN/WAN的流量采集、多元组过滤、内容深度检测、交换和分流。RT1280采用ATCA-NTW1280机箱,机箱从左至右分别为1-14号槽,采用前后对插形式,符合ATCA规范的单板均能插入机箱使用。
如下图所示,RT1280设备的处理流程为:流量接收→数据提取→多元组过滤→交换分配→高速交换(交换控制卡)→IP-ID表→MAC查表→输出QoS控制(10G线卡)→数据成帧→流量输出。在进行DPI时,通过高速交换进入流管理和特征匹配过程,然后再通过高速交换执行输出。
数据采集预处理流程戎腾网络分流器
网络分流器网络汇聚分流器戎腾网络分流器作为网络数据流量采集的预处理平台!
- ?
携程用户数据采集与分析系统
经雁开
展开
一、携程实时用户数据采集系统设计实践
随着移动互联网的兴起,特别是近年来,智能手机、pad等移动设备凭借便捷、高效的特点风靡全球,同时各类APP的快速发展进一步降低了移动互联网的接入门槛,越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务(LBS)等方面的需求。
我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足,分析了在移动互联网流量剧增的背景下,用户数据采集系统的需求,研究在多种访问终端和多种网络类型的场景下,用户数据实时、高效采集的方法,并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架(Netty)和分布式消息队列(Kafka)存储框架实现,其具有实时性、高吞吐、通用性好等优点。
1、技术选型和设计方案:
一个典型的数据采集分析统计平台,对数据的处理,主要由如下五个步骤组成:
图1、数据平台处理流程
其中,数据采集步骤是最核心的问题,数据采集是否丰富、准确和实时,都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。
为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求,同时能借鉴互联网大数据行业一些优秀开源的解决方案,所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示:
图2(数据采集分析平台系统架构)
其中整个平台系统主要包括以上五部分:客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志,业务服务器需要获取由客户端SDK统一生成的用户标识(C-GUID),然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台,都从Hermes(Kafka)中消费采集数据,进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控,这些监控信息先写入Hbase集群,然后通过Dashboard界面进行实时监控。
(1)基于NIO的Netty网络框架方案
要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件(如Netty、MINI、xSocket),用它们和NginxWeb服务器进行了性能对比,决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍:Netty是一个高性能、异步事件驱动的NIO框架,它提供了对TCP、UDP和文件传输的支持,Netty的所有IO操作都是异步非阻塞的,通过Future-Listener机制,用户可以方便的主动获取或者通过通知机制获得IO操作结果。
图3(Netty框架内部组件逻辑结构)
Netty的优点有:
a、功能丰富,内置了多种数据编解码功能、支持多种网络协议。
b、高性能,通过与其它主流NIO网络框架对比,它的综合性能最佳。
c、可扩展性好,可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。
d、易用性,API使用简单。
e、经过了许多商业应用的考验,在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。
Netty采用了典型的三层网络架构进行设计,逻辑架构图如下:
图4(Netty三层网络逻辑架构)
第一层:Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作,负责将网络层的数据读取到内存缓冲区中,然后触发各种网络事件,例如连接创建、连接激活、读事件、写事件等,将这些事件触发到Pipeline中,再由Pipeline充当的职责链来进行后续的处理。
第二层:职责链Pipeline层。负责事件在职责链中有序的向前(后)传播,同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。
第三层:业务逻辑处理层,一般可分为两类:a. 纯粹的业务逻辑处理,例如日志、订单处理。b. 应用层协议管理,例如HTTP(S)协议、FTP协议等。
我们都知道影响网络服务通信性能的主要因素有:网络I/O模型、线程(进程)调度模型和数据序列化方式。
在网络I/O模型方面,Netty采用基于非阻塞I/O的实现,底层依赖的是JDKNIO框架的Selector。
在线程调度模型方面,Netty采用Reactor线程模型。常用的Reactor线程模型有三种,分别是:
a、Reactor单线程模型:Reactor单线程模型,指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景,可以使用单线程模型。
b、Reactor多线程模型:Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。
c、主从Reactor多线程模型:主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程,而是一个独立的NIO线程池。利用主从NIO线程模型,可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的,它可以支持三种Reactor线程模型。
在数据序列化方面,影响序列化性能的主要因素有:
a、序列化后的码流大小(网络带宽占用)。
b、序列化和反序列化操作的性能(CPU资源占用)。
c、并发调用时的性能表现:稳定性、线性增长等。
Netty默认提供了对GoogleProtobuf二进制序列化框架的支持,但通过扩展Netty的编解码接口,可以实现其它的高性能序列化框架,例如Avro、Thrift的压缩二进制编解码框架。
通过对Netty网络框架的分析研究以及对比测试(见后面的可行性分析测试报告)可判断,基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。
》》点击阅读全文
- ?
虚拟网络流量采集怎么做?
卢隶
展开
随着云和容器等虚拟化技术的不断扩张,云、数据中心和企业网中的东西向流量呈快速增长趋势。对东西向虚拟网络流量的采集与分析,可以帮助用户实现如下价值:
高效运维,保障业务连续
如果不采集虚拟网络流量,用户80%的网络流量将呈现“黑盒”状态。遇到因网络问题导致的业务延迟与中断时,运维人员犹如盲人摸象。通过对虚拟流量的采集与分析,可以点亮黑盒,呈现精细的虚拟网络运行状态,快速定位故障根因,确保业务的连续与稳定。
精细化运营,提高投入产出比
计算、网络、存储、带宽等都是支撑业务需要投入的资源。但在当前业务运营过程中,仍然存在诸如闲置虚拟机未回收、网络链路负载不平均,不同ISP带宽粗放分配的问题。通过对虚拟流量的采集与分析,可以及时侦测资源使用情况,合理调度资源,提高资源利用率,进而提高投入产出比。
安全防护,保证内网安全
网络规模扩大和灵活性的提高,内网安全策略呈现只增不减、变动频繁的状态。但当前配置的内网安全策略是否全部生效,以及随着虚拟网络变动,需要删除的策略是否已经清理干净,都是难以回答的问题。同时内网虚拟机被攻陷之后,运维人员是否能及时识别“肉鸡”进而保证内网安全,都是需要通过对虚拟流量的采集与分析解决的问题。
虚拟网络流量采集的关键指标
采集性能
作为占据云数据中心总量80%的虚拟流量,实现全量采集需要高性能的采集技术作为支撑。在采集的同时,针对不同业务,还需要完成去重、截断、脱敏等其他预处理工作,进一步增加了对性能的要求。因此采集性能将是衡量虚拟网络流量采集技术的一个关键指标。
资源开销
多数虚拟流量采集技术都需要占用本可应用于业务的计算、存储和网络资源。除了尽可能少地消耗这些资源之外,仍需要考虑对采集技术实施管理的开销。尤其当节点规模扩大之后,如果管理成本也同样呈现线性的上升趋势,那么该采集技术将不具有理想的扩展能力。
侵扰程度
当前常见的采集技术,往往需要在hypervisor或相关组件上添加额外的采集策略配置。这些策略除了存在与业务策略的冲突隐患之外,往往还会进一步增加hypervisor或其他业务组件的负担,影响服务SLA。
部署依赖
当需要在hypervisor上部署agent实现流量采集时,往往需要考虑针对不同hypervisor环境的依赖条件,以及各类第三方库的安装、升级。在此过程中往往存在冲突或不兼容的情况,影响现有生产系统,增加采集部署难度。
现有虚拟网络采集技术比较
策略采集
由控制节点接收用户指令后,对虚拟网元(一般是虚拟交换机)下发采集策略,将流量通过隧道或其他形式转发至分析节点,完成虚拟流量采集。一般多见于SDN网络环境。
Pros
由控制节点中心化控制,策略下发灵活
可依据业务需求实现细粒度按需采集
对hypervisor系统没有依赖
Cons
采集策略有可能存在与业务策略的冲突
全量采集需要下发的策略数目大,管理难度高
增加虚拟网元压力,采集流量无压缩,带宽占用高
网元采集
由虚拟网元(一般是虚拟交换机)直接提供虚拟流量镜像能力。用户可通过调用对应的API实现虚拟流量的采集能力。一般多见于成熟的商用整体网络解决方案。与策略采集不同,网元采集的粒度及灵活度多受限于网元接口API开放出来的能力。
Pros
直接调用虚拟网元相关接口API,实现简单
无策略冲突隐患
部署简易
Cons
受限于接口API的粒度,无法自行实现细粒度控制
影响虚拟网元性能
代理采集
在hypervisor上运行agent代理,同时启动专用的流量分析虚拟机。Agent接收控制节点的指令,完成网络配置,将流量导入流量分析虚拟机,完成流量采集。与策略采集方案的不同之处在于,虚拟网元的配置不直接由控制器完成,并且采集的流量毋须通过隧道等方式发送,而是直接进入本地虚拟机,减少网络带宽的占用。
Pros
控制节点毋须管理大量的采集策略,减轻控制节点压力
流量由本地转发至分析节点(虚拟机),不占用生产网络带宽
可实现细粒度流量采集
可在本地完成去重、截断、脱敏等工作,确保数据安全
Cons
采集策略可能存在与业务策略的冲突
虚拟机会占用一部分计算、存储和管理资源
Agent部署存在对hypervisor环境的依赖
如何实现下一代采集技术?
当前的采集技术分别具有各自的优势与劣势。针对当前普遍存在的虚拟网络采集的需求与痛点,云杉网络推出专利性的Trident采集技术,解决现有技术存在的问题,满足用户对虚拟网络采集的苛刻要求。Trident作为独立运行于hypervisor上的采集进程,具有如下特点:
无依赖
Trident由GO语言编写,利用GO语言的天然优势,直接生成二进制可执行程序文件,文件仅14MB大小,对部署系统没有任何第三方库或组件依赖,可以在任意内核版本大于2.2(1999年发布)的Linux系统上部署运行。
高性能
Trident利用了基于内存映射的“零拷贝”技术,避免了传统流量采集方案中对数据包的多次拷贝,消除了网络数据采集的性能瓶颈,从而达到以最小的资源占用,满足巨量增长的网络东西向流量采集的目的。可对位于同一台宿主机的所有虚拟机东西向流量进行全量、实时采集。当前在350Kpps的采集性能下,仅使用15%CPU。
零干扰
Trident可以理解为一台“影子交换机”,毋须对现有虚拟网元进行任何额外的配置,即可直接采集流经hypervisor的全部流量,对现有网络策略无任何干扰。
细粒度
Trident通过gRPC接收控制器发送的指令,可实时配置ACL过滤规则、截断长度、脱敏配置、采集端口等工作参数,或针对指定虚拟接口、IP地址、协议、端口号设定精细采集策略,并可在控制节点编程自动化实现。可针对虚拟化环境虚拟机变动频率高,网络环境复杂多变的情况。
本文作者:云杉网络
网优雇佣军投稿邮箱:wywd11@126
- ?
数据科学项目的三个案例及网络流量采集的部分思考
娜塔莎
展开
或许您已经在网上看了许多的MOOC,阅读了很多工具书,但是您有可能仍然担心找不到工作或根本没有找到工作。
在数据科学领域找到合适的工作的确有一定难度。最好的向HR展现您能力的方式就是准备一个文件夹。在文件夹中放入以下三种您做过的数据科学项目。
1、数据清洗
通常来讲,数据科学家在一个新的项目中预计会花80%的时间来清洗数据。这对于团队来说是一个长而痛苦的过程。如果您能展示您在清洗数据上具有丰富的经验,您就会变得很有价值。您可以找一些杂乱无章的数据集练习清理数据来增加您的经验。
如果您用的是Python,Pandas是一个很好用的包;如果您用的是R,dplyr包将会是一个不错的选择。
2、探索性数据分析
另一项有关数据科学的重要内容是探索性数据分析(EDA)。这是提出问题的过程,需要您用可视化技术来研究这个数据集。EDA使得分析师能够从数据中得出一些能驱动商业决策的结论。或许您能从客户的数据、销售的趋势、季节的影像中得到有趣的结论。甚至有时候您能有一些和您最初设想完全不同的发现。
用于探索性分析的一些有用的Python包是Pandas和Matplotlib。对于R用户,ggplot2包将很有用。EDA项目应该显示以下技能:
用于探索性分析的一些有用的Python包是Pandas和Matplotlib。对于R用户,ggplot2包将很有用。
3、交互式数据可视化
交互式数据可视化包括仪表板等工具。这些工具对数据科学团队以及更多面向业务的最终用户都很有用。仪表板允许数据科学团队进行协作,并一起绘制见解。更重要的是,它们为面向业务的客户提供了一种交互式工具。这些人专注于战略目标而非技术细节。通常,数据科学项目的可交付成果将以仪表板的形式出现。
对于Python用户,Bokeh和Plotly库非常适合创建仪表板。对于R用户,请务必查看RStudio的Shiny软件包。
而随着数据中心运维精细化要求不断提高,网络流量采集分析也已经成为数据中心基础设施不可缺少的分析手段,通过网络流量深度分析,我们能够更直观地加快故障定位、分析应用数据、协助优化定位,加快故障定位。
网络流量采集也是一门学问,做得好会在关键时刻起作用,做得不好就会形成虚设,反而还要占用大量的网络带宽资源,这样的流量采集不如不做。
流量采集可不是简单地将几个网络设备端口的流量镜像一份发给分析服务器就了事,要建立一个覆盖全面、合理有效的流量采集网络,这样的流量采集才能有助于优化网络和业务性能指标,减少故障发生概率。当然,网络流量采集也面临着不少新问题。
流量增长太快
根据预测,到2019年数据中心的流量将为2014年的三倍,平均每年保持着30%的增长率,不要只看增长率,其实2014年的流量基数就很大,2014年就有2.1ZB。
流量的增长会给监管带来很多问题。比如:现有的监控服务器处理能力不够,镜像流量过大导致设备端口或内部通道拥塞,流量种类太多导致采集类型不完整等等。
所以,流量增加后会带来一系列问题,监管的手段也要随之调整,否则就无法真实采集到流量实时状态,甚至还会对现有业务造成影响。
如果采用的是采样的方式,就有一定的采样比,随着流量的增长,采集的流量会多一些,也可能会漏掉一些特征流量,还有可能采集的流量太大,将设备CPU打爆,这时就要降低采样比,但这时降低采样比采集的样本流量会更少,准确度下降。
总之,当流量在不断增加时,不仅要对设备进行扩容,对采集流量的方法也要调整,否则流量采集起不到监管作用。
- ?
Gigamon:专注流量采集 给企业全方位的可视性平台
斯特兰拉尔
展开
作为一位CIO或IT运维负责人,你如何掌控IT基础设施和业务系统的运行状况?基于数据包的流量监测和分析是必不可少的基础技术手段。基于此,传统上你也许利用这样的方法实现整体网络的可视化:借助镜像端口复制流量、通过网络TAP分拆流量、或添加多种工具与系统等。
不过随着虚拟化及云的到来,要实现对更复杂网络流量的收集和分析,困难显然增加了不少,它要跨越物理环境与虚拟环境的边界乃至云平台,从而为各种网络服务和应用提供清晰可视性,传统流量可视化方案在性能、复杂性、扩展、管理难度以及成本上都有多方面的局限性。
Gigamon为网络流量可视性而生,虽然这是一个较为细分的IT领域,但它却是这一市场的领导厂商,也是创造这一市场的发明者。近日,Gigamon举办媒体沟通会,再次对外阐述了其创新的流量可视化方案,以及为企业在网络管理、分析和安全上带来的价值。
伴随IT技术演进 Gigamon始终为企业“获取”流量
Gigamon大中华区总经理李威(右)、Gigamon全球解决方案首席技术专家David Pham(左)
如果梳理大部分企业现有的网络监测工具,主要有以下几类:网络性能监测设备、网络安全监测设备、应用程序性能管理等,可以说网络监测节点太多。当然毫无疑问,对于一个企业的运维管理人员来说,要实现运维系统的可管、可控、可视,一定需要采集各个系统的数据进行分析与管理。Gigamon大中华区总经理李威总结了可视性需要收集数据的三大维度:SNMP网管、日志以及网络中实时传输的数据包。
第一类SNMP可以监测到设备的运行状态,实现了基础设施的管理,如网络设备、防火墙、负载均衡设备等,可以把这类定位为设备状态管理;第二类日志可以分析各个系统的运行状态,如操作系统、DNS、WEB、DB等系统,可以把这类定位为系统运行状态;第三类是对网络中实时传输的数据包分析,可以试想基础设施和系统运行得都很好,但用户体验却不一定好,这也是第三类对网络中实时传输的数据包分析的价值,分析工具可以依据数据包实时分析用户的真实体验,安全攻击行为以及也可以依据存储的数据包进行事件的回溯分析。
看得出,可视性的每个维度对应运维的意义和价值是不一样的,如何规划和利用好各个维度的数据源尤为重要。传统上网络监测面临的突出问题是:监测节点多,监测工具无法提供相应数量的监测数据接入端口;不能对所有的监测数据流进行集中统一管理;无法做到在线实时监测;无法实现一个监测节点的监测数据流发送到多个不同的监测工具;后续监测工具新增或扩容成为新难题等。
Gigamon能够将无论是物理网络、虚拟网络还是云平台的流量采集出给企业用户的分析系统,实现统一的流量可视化。这样企业的各种监测工具,如NPM、APM、IPS/IDS、DLP等等可以通过Gigamon的流量采集平台取得需要的流量。李威表示,当然Gigamon在流量分发时可以做很精细的过滤和智能的流量优化,例如:实时脱敏、截短、去重、标签剥离、SSL解密、GTP关联分析、会话内容过滤、NetFlow记录生成等高级优化功能。不仅每个工具能够得到其需要的流量,而且还可以优化流量,例如流量是加密的,Gigamon可以解密后发给需要该流量的工具。
“Gigamon给客户建设了一张带外流量采集网络,我们将物理网络、虚拟网络、云平台等环境中的流量进行实时采集,并实时转发至多种工具,例如NPM、APM和安全监测等工具。” 李威说,我们的宗旨是不论网络或技术如何演进,Gigamon自始至终都能取得客户监测需要的流量,并将各个工具需要的流量转发至该工具。
Gigamon实现从物理网络到虚拟环境到云的可视化
Gigamon的流量可视化矩阵提供全方位的可视性,并且是跨平台的。以虚拟化来说,网络流量不再只是南北向,还有东西向,这时出现很多监测盲点。应用在不同虚机之间移动,导致工作负载缺乏可视性。Gigamon全球解决方案首席技术专家David Pham指出,“目前很多厂商提供一些虚拟化探针,但问题是一个企业可能有100个Hypervisor甚至是1000个Hypervisor,这就意味着每个Hypervisor都要有自己的一个虚拟探针,进而需要管理100-1000个不同虚拟化工具,因此要消耗大量的虚拟化内存、CPU等,对于企业来说绝对是一个梦魇。”
正是为了解决这一难题,Gigamon正式推出了GigaVUE-VM虚拟化监测产品,这就意味着可以把GigaVUE-VM虚拟机和企业所用的所有VM虚机连起来,“我们可以复制每一个虚机的流量,对它进行安全检测,同时仍然可以使用企业已经购买的原有物理网络中的NPM、APM、IDS、DLP等性能监测和安全监控工具。不论南北向还是东西向流量,通过Gigamon整体解决方案可以实现统一的可视性,真正实现融合的基础设施。”David Pham说。
据介绍,Gigamon已经获得了VMware的vCenter、vMotion的API,并且作为VMware软件定义数据中心的重要产品NSX,在流量采集领域NSX只有唯一一家正式授权的合作伙伴可以使用NSX的API和NSX的管理器对接,Gigamon是他们唯一的业界合作伙伴。
此外,Gigamon还可以实现公有云的可视化,Gigamon在AWS re:Invent 2016大会上宣布了针对AWS的全面可视化平台,对于不同网络工具,不需要在所有实例上都安装一个代理,只需要通过Gigamon的 GigaVUE-FM,在每个实例上安装一个TAP点,这个TAP点把所有网络流量和数据汇聚。很多合作伙伴例如Cyphort、FireEye、RSA等可以借助Gigamon可视化平台抽取的网络流量对若干项功能进行联合验证并分发至其对应解决方案。David Pham强调,“事实上有很多厂商也很高兴,对于他们的客户而言,这解决了一个很大的问题,就是不同工具无须自己进行复杂的动作,完全通过Gigamon设立的一个TAP point就可以进行数据的分发。并且,Gigamon的可视性解决方案是目前唯一一个可以在公有云环境下部署的产品。”
通过不同的部署,Gigamon可以实现混合云的可视化和对多虚拟私有云VPC的可视化。
所以,通过Gigamon的可视性解决方案,可以实现企业物理网络的、虚拟化环境可视性,一直到公有云网络可视性,不管对于企业网络环境有多复杂,Gigamon带来的是一个实现各种环境的全堆栈可视性,这也是它的独特之处。同时也是Gigamon自2012年进入中国市场每年保持60%以上业绩增长的原因。
流量数据采集
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并