您好,欢迎来到小侦探旅游网。
搜索
您的当前位置:首页基于开源软件的云监控平台设计与实现

基于开源软件的云监控平台设计与实现

来源:小侦探旅游网
第34卷第1期 2 0 1 5 q 3月 Vo1.34,NO.1 Mar.2 0 1 5 文章编号:1003 61 99(20l5)01—0136—05 基于开源软件的云监控平台设计与实现 车 路 ,张焕远,夏亚东 (山东农业大学网络与教育技术部,山东泰安271018) 计㈣C  p 摘 要:最近几年,基于云计算的互联网服务迅速增长,数据中心的基础设施和应用资源不断增加。需 要及时、高效的监控和管理资源的可用性,保证云服务的可靠性。通过对云监控的内容和特性的研究,提出 一算 g 种管理云计算资源的云监控系统架构,重点对分布式架构、逻辑处理模块和云监控接口进行设计,实例中 技 完成对私有云中物理主机、虚拟机、应用服务的批量监控,实现数据的存储和展示。 C 关键词:云监控;云计算监控;分布式系统 中图分类号:TP393.07 文献标识码:A 术∞ O 与 a 自 Design and Realization of Cloud Monitoring A 动∞ H 化叭 ∞ Platform Based on Open Source Software CHE Lu ,ZHJANG Huan—yuan,XIA Ya—dong (Network and Educational Technology Department,Shandong Agricultural University,Tai an,Shandong 271018,China) Abstract:Internet service based on cloud computing has rapidly increased in recent years,and the infrastructure of data center and application resources have also increased.So,in order to guarantee the reliability of cloud service,timely and highly efficient monitoring and usability of management resources are needed.This paper proposed a kind of cloud monito— ring system framework to control cloud computing resources through researches on contents and features of cloud monito— ring.The distributed architecture,logic processing module and interface of cloud monitoring were designed,and in practical case,batch monitoring over physical main machine,virtual machine and application service in private cloud have been fin— ished with the realization of storage and demonstration of data. Key words:cloud monitoring;cloud computing monitoring;distributed system 统不断增加。如何快速、有效的监控和管理云计算 引 言 云计算是一种基于互联网的计算方式,通过这 种方式,软硬件资源可以按需求提供给虚拟计算机 和其他设备 :。目前,云计算已经被广泛的应用在 互联网服务中 ,例如:Google的AppEngine产 品、亚马逊的EC2、VmWare公司的Vsphere等。 中大量的网络设备、计算资源、存储设备,保障各种 应用系统稳定可靠运行变的越来越重要,迫切需要 建立针对云计算的监控平台。 2云监控系统总体设计 2.1云监控的定义和内容 云计算的优势包括:优秀的软、硬件资源利用率、 可扩展性、高可用性、良好的容灾机制和按需服务 的模式 。为_『实现这些功能云计算数据中心的 基础设施不断增加,虚拟服务器不断增加,应用系 收稿日期:20l 4—04—1 6 云计算平台的资源监控,简称云监控Ⅲ。云监 控不断衡量和评估云计算平台在性能,可靠性,电 力损耗,计算能力等方面是否满足用户要求 并进 行业务分析,对于提高系统的运行和应用效率。 作者简介:车路(1 98l_),男,山东郓城人,工程师,硕士,研究方向:网络管理、网络安全 十通讯联系人,E maiI:chel@sdau.edu.cn 第34卷第1期 车 路等:基于开源软件的云监控平台设计与实现 根据云安全同盟CSA(Cloud Security Alli— ance)2009年的报告,云监控的内容可概括为七 层:设备层、网络层、硬件层、操作系统层、中间件 层、应用程序层以及用户层_6]。 2.2云监控的特性 可用性 大型的云平台往往不止一个数据中心,每个数 据中心又包括成百上千个节点,每个节点上又运行 着各种资源,监测系统不能以牺牲资源为代价保证 监控性能,需要切实减少资源占用率 。主要技术 包括:采用分布式方式收集,过滤和分析数据 ]。 使用改进的数据传输模型,减少对网络带宽消耗, 如:主动传输(远程执行模式)和被动传输(节点数 据推送模式)[9]。 可扩展性 面对大量的异构云资源,云监控上的资源采集模 型需可自定义[1 。允许通过预定义监控项目和知识 库进行分析监视,从而执行自动定义的动作解决简单 故障。当有新的监控需求是,监控系统不必改变以前 代码,动态扩展监控能力,当需要增加或删除监控项 目时,能及时加载或卸载相应监控模块 “]。 可靠性 云监控需要及时采集云计算系统的运行状态 信息,反映资源的实时变化信息,同时利用报警机 制实现故障的告警。为系统管理人员定位故障提 供数据支持,对故障及时采取相应措施。还要为云 计算平台性能预测、故障分析、负载均衡提供数据 来源¨1 ,保证平台的可靠性。 2.3 系统总体设计架构 本文设计云监控平台总体体系架构如图1所 示。云监控平台基于分布式架构实现,通过云计算 接口模块调用不同的公有云、私有云API接口,采 集云计算资源。对于其他设备采用客户端软件、 SNMP协议等方式采集信息。逻辑处理模块负责 将数据储存在数据库中,实现资源管理、时间管理 和报警管理。最终通过Web前端展示。 3模块功能设计 3.1分布式架构功能设计 本文分布式架构基于Zabbix开源软件开发和 实现,Zabbix是一个分布式监控平台,利用它可以 快速、灵活的部署企业级的监控系统,可监控数以 千计的节点Ll 。Zabbix由Alexei Vladishev和其 团队开发,官方站点http://www.zabbix.corn。 系统可采集云计算中的服务器、网络设备、数据库、 硬件监控、存储监控等设备性能数据和容量数据, 进行集中的数据处理和视图展现。整个系统主要 由Server、Agent以及Web前端、数据库等几部分 组成,服务器端需部署在类Linux环境下。客户端 软件的采集指标更为详细,支持目前所有常见的操 作系统,如Linux、FreeBSD、HP—UX、Mac OS X、 Solaris、Windows2000、Windows Server 2003、 Windows XP、Windows Server 2008、Windows 7、 Windows 8、Windows Server 2012等。后台数据 库支持Mysql、PostgreSQL、Oracle和SQLite等。 张块回圈 黼一块回国固国 …… lJ 云计算统一接口 】 ~。 71 AWSAPI lI VMAPI l IO ̄API J 一块[ ][~】[ ] 图1 云监控平台体系架构图 Zabbix通过c/s模式采集数据,通过B/S模 式在web端展示和配置,系统整体架构如图2所 示。Zabbix对于支持SNMP的设备可以通过 SNMP协议实现无客户端方式管理,也支持调用 Sigar实现对Linux内核或者Win32的底层操作 系统信息和进程数据采集。还可通过IPMI、JMX、 SSH等方式采集数据。数据传输方式上,Server 的server—get守护进程可通过poller(轮询)方式 主动获取客户机Agent收集的性能数据,也可以 被动的接受Agent上sender进程通过trapper方 式发送的数据。当监控的资源数量较多时,Agent 可以将采集的数据先发送到Proxy server,Proxy server利用空闲通过history syneer进程再发送给 Server服务器,实现分布式采集,不会对现有网络 资源、计算资源产生过多的开销。分布式架构如图 2所示. 3.2逻辑处理功能设计 云监控系统软件设计流程图如下图3所示。 3.2.1数据处理模块 数据处理模块主要对数据采集模块收集的数 据进行分析和处理,在云监控系统中项目(Item)是 监控的基本元素,所有的监控项都是基于主机。每 计算技术与自动化 2015年3月 一个监控项对应一个被监控项的采集值,例如cpu 5分钟内的负载、网卡错误包数等。系统把监控项 与预设报警阀值进行数据对照,若Item的数值超 过预定义阀值则报警并生成告警事件,触发器 (Trigger)由一个逻辑表达式(Expression)定义。 每一个Trigger必须对应一个Item,但一个Item 可以对应多个Trigger。触发器通过告警通知功能 对事件进行告警事件(Events)和处理动作(Ac— tions)。这些动作可以是发送Email、SMS短信通 知,最后通过Web前端添加监控图和网络拓扑图, 对相关故障和异常实现快速分析,甚至自定义脚本 排除故障。 图2 分布式架构图 数据采集 调用云计算统一 接口 生  Il\ /J- 调用云资源API 反馈数据到采集 系统 记求・仟(Events)H (T三嚣哪 —— Jr I 动作 I(Acdons) 1 r 1 r 通过 b前螭IJlP,Grsphs ● 完成配置 图3软件设计流程图 3.2.2 自动化运维模块 云计算的复杂性和多样性导致业务的可用性 降低、定位故障源十分困难,大量的监控节点单凭 手工操作是无法保证监控的时效性。自动化运维 功能把具有相同特性的节点共同采集,根据通用的 功能预先定制监控项目模板,将项目,集合,触发 器,图形汇总为一个模板(Template),在创建监控 主机时关联相关的配置模板,达到快速配置的目 的,对相同属性监控项目可预定义脚本自动化执行 操作,实现监控结果的二次确认或深度分析判断。 自动发现功能通过定义自动发现条件,服务器进程 定时轮询,查找到符合条件设备后将设备信息批量 添加到数据库后台,如根据SNMP通讯字符串添 加网络设备等。自动注册功能在客户端软件安装 完成后配置相应配置文件,客户端主动发送注册请 求,服务器端定义自动注册条件批量添加主机。低 级自动发现功能通过脚本程序定义某种应用特征, 结合模板功能实现,一般用在监控应用资源。自动 化运维功能设计如表1所示: 表1 自动化运维模块功能表 名称 功能描述 实例 客户端 3.2.3数据库模块 后台采用Mysql数据库,Mysql是一个关系型 数据库管理系统,在WEB应用方面Mysql是最好 的RDBMS(Relational Database Management Sys— tem:关系数据库管理系统)应用软件之一_1引。设 计主要数据表结构和字段如表2所示。 3.3云计算接口功能设计 云资源接口层是云监控的核心,通过统一接口 在一个平台内调用多个云资源接口,实现对多个云 资源以及云资源内部资源收集和跟踪、了解相关信 息并发送到逻辑处理层,根据自定义规则做出响 应,并反馈回云资源。常见的开源云资源接口模块 有:Deltacloud,jCloud,libvirt,libcloud,云接口 有:Amazon CloudWatch、VMware vcloud等。 本文基于libeloud开发统一接口模块。A— pache Libcloud基于Multi—Clouds思路,是一组 标准化各种不同云计算提供商的Python库 ]。 140 计算技术与自动化 2O15年3月 架构的集中管理云监控平台,监控云计算中各种资 源。是一套适应性强、安全稳定、可扩展性的云计 算监控、管理、运维解决方案。解决了云计算和新 一代数据中心不同资源和应用统一监管难题。 参考文献 [1] wiki.云计算介绍[EB/OL].[2013—09—10].http://zh. wikipedia.org/. E2] MEI L.P,GRANCE T.TheNIST Definition of Cloud Corn— puting[-R].NIST Special Publication(sp800—145).201 1: 32. [3] AMBRUST M,F0X A,GRIFFITH R,JOSEPH A D.A view of cloud computing[J].Commun.ACM,2010,53(4):50~ 58. E43 KUTARE M,EISENHAUER G,WANG C。SCHWAN K, TALWAR V,WoLF M.online monitoring and analytics for managing large scale data centers[C].in Proceedings of the 7th international conference on Autonomic computing.US— AACM.2O1O.pp.141~l50. Es] EISENHAUER G.Implementing Diverse Messaging Models with Self-Managing Properties using IFL0w[J].ICAC, 2006,1(4):243—252. [6] Security Guidance for Critical Areas of Focus in Cloud Corn— puting v2.1 EEB/OI ].[2009~10—01].http://www.cloud一 security alliance.org/csaguide.pdf. [ ] KATSAROS G,GALLIZO G.Building a ServiceOriented mo nitoring framework with REST and nagiosin Services Com puting[C].IEEE International Conference.201 1.PP.426— 431. [8] CLAYMAN S,R,MAMATAS G,PAVL0U G,GALIS A. Monitoring,aggregation and filtering for efficient manage ment of virtual networks[R'].Proceedings of the 7th Interna— tional Conference on Network and Services Management. 2Ol1:234—240. [9] 张旗胜.云计算平台监控系统的研究与应用[D]北京:北京 交通大学,2011:21—23. [10] Eddy Caron.&Luis Rodero.&Merino Ad rian Muresan.Cloud computing:methodology,system and applications[M]CRC Press,201l:3O1—322. [11]HASSEI MEYER P.DHUREUSE N.Network Operations and Management Symposium Workshops[c].IEEE/IFIP. 2010.PP.350—356. [12]Luiz DeRose,Heidi Poxon.A Paradigm Change:From Per formance MonitoringAnalysis[C].21st International Sympo— sium on Computer Architecture and HighPerformance Corn— puting.USA:IEEE Press,2009.1l9—126. [13]baike.mysql[EB/OL].[2014—01—10].http://baike. baidu.com/. [14]开源中国.1ibcloud介绍[EB/OL].http://www.oschina. net/search?scope ̄project&q—libcloud. 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- xiaozhentang.com 版权所有

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务