大橙子网站建设,新征程启航

为企业提供网站建设、域名注册、服务器等服务

rrd数据库php rrdre

rrd是什么格式

RRD是Round Robin Database的缩写,用于记录固定数目,具有循环特性,并且在当前时间点有特定值的数据(比如以天为单位记录气温)。

创新互联公司服务项目包括琼山网站建设、琼山网站制作、琼山网页制作以及琼山网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,琼山网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到琼山省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!

RRDtool是由Tobias Oetikertobi@oetiker.ch和广大开源爱好者贡献的遵循工业标准的、开源、高性能的RRD数据存储、图像生成工具包。可以用于编写自定义的系统监控shell脚本它支持Perl、Python、Ruby、TCL和PHP(编译为扩展模块)等语言,可以轻松的构建跨平台的监控应用程序。

ganglia可以对hadoop集群进行监控和报警吗

ganglia简介

名词说明 

引用自此博客介绍

Metrics- 监控电脑的运行数据

Node - 一台电脑,或许拥有多个CPU,中文称之为节点。

Cluster - 一组节点,中文称之为簇。通常节点之间拥有达到G比特的高带宽,簇内通过组播协议,每个节点组播自己的数据,所以每个节点拥有整个簇的状态,这种冗余设计可以提高簇的鲁棒性。一般簇内节点为相同的系统和体系结构,由同一个管理员管理。

Grid - 一组簇,中文可称之为网格。网格的用处是在一个大范围内把各异构的簇通过宽带汇聚在一起。 

Ganglia的各种组成

功能

名称及配置文件

位置

数据采集器    名叫gmond(Ganglia MONitor Daemon)的服务程序,配置文件是/etc/ganglia/gmond.conf    位于每个Node上  

数据混合收集器    名叫gmetad(Ganglia METAdata Daemon)的服务程序,配置文件是/etc/ganglia/gmetad.conf。它通过轮询收集gmond的数据,并聚合簇的各类信息,然后保存在本地rrdtool的数据库中    最好每个cluster都有一个gmetad,以便能构建多级网络  

Web可视化工具    这是用PHP脚本实现的将数据可视化,并画出表格。可以是任何支持PHP、SSL和XML的web服务器。一般都用Apache2 web服务器    一般与gmetad部署在一个节点上  

额外的高级工具 gmetric可以用来添加你需要监控的Node额外状态  

gstat可以直接获得Ganglia的数据 每台需要这些功能的Node上  

实验环境

机器

系统

软件

ip1    centos 7    gmetad + gmond +ganglia-web 3.7.2  

ip2    centos 5    gmond 3.7.1  

ip3    centos 5    gmond 3.7.1  

ip4    centos 5    gmond 3.7.1  

ip5    centos 5    gmond 3.7.1  

ip6    centos 5    gmond 3.7.1  

ip7    centos 5    gmond 3.7.1  

ganglia安装配置

安装

ip1 安装ganglia主节点 

yum -y install epel-release

yum -y install rrdtool httpd

yum -y install ganglia-devel ganglia-gmetad ganglia-gmond

yum -y install php ganglia-web

ip2-ip7 安装ganglia从节点 

yum -y install epel-release

yum -y install ganglia-mond

配置

ganglia配置文件目录:/etc/ganglia

rrd数据库存放目录:/var/lib/ganglia/rrds

httpd主站点目录:/var/www/html

ganglia-web安装目录:/usr/share/ganglia

ganglia-web配置目录:/etc/httpd/conf.d/ganglia.conf

相关配置文件修改

将ganglia-web安装目录链接到httpd主站点目录 

将 ganglia-web 的 站 点 目 录 连 接 到 httpd 主 站 点 目 录 $ ln -s /usr/share/ganglia /var/www/html

修改httpd主站点目录下ganglia站点目录的访问权限 

将 ganglia 站点目录访问权限改为 apache:apache,否则会报错

$  chown -R apache:apache /var/www/html/ganglia

$  chmod -R 755 /var/www/html/ganglia12

- 修改rrd数据库存放目录访问权限 将 rrd 数据库存放目录访问权限改为12

$ chown -R ganglia:ganglia /var/lib/ganglia/rrds

- 修改ganglia-web的访问权限:修改/etc/httpd/conf.d/ganglia.conf  

12

Alias /ganglia /usr/share/ganglia

Location /ganglia

Require all granted  

#Require ip 10.1.2.3  

#Require host example.org

/Location123456

配置/etc/ganglia/gmond.conf

cluster {    

name = "hadoop cluster"    ... }  

udp_send_channel {    

#the host who gather this cluster's monitoring data and send these data   to gmetad node      

host = ip1

port = 8649 }  

udp_recv_channel {    

port = 8649  }  

tcp_accept_channel {

port = 8649  }  123456789101112131415161718

2.2 Hadoop cluster被监测节点的配置 配置/etc/ganglia/gmond.conf

cluster {    

name = "hadoop cluster"    ...  }  

udp_send_channel {    

# the host who gather this cluster's monitoring data and send these data   to gmetad node    

host = ip1      

port = 8649  }  

udp_recv_channel {

port = 8649  }  

tcp_accept_channel {

port = 8649  }1234567891011121314151617

Hadoop配置

主节点:

# 修改/hadoop/etc/hadoop/hadoop-metrics2.propertiesnamenode.sink.ganglia.servers=ip1:8649resourcemanager.sink.ganglia.servers=ip1:8649mrappmaster.sink.ganglia.servers=ip1:8649jobhistoryserver.sink.ganglia.servers=ip1:8649*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.sink.ganglia.period=10*.sink.ganglia.supportsparse=true

*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both

*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=401234567891011

从节点

datanode.sink.ganglia.servers=ip1:8649nodemanager.sink.ganglia.servers=ip1:8649*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.sink.ganglia.period=10*.sink.ganglia.supportsparse=true

*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both

*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=401234567

成果

可以看到有datanode相关信息

注意问题

ganglia反应有点慢,每次重启后,数据得等一阵子才显示出来。这个也跟设置的有关,10秒一次显示

我本来配置每个节点都有gmond,cluster的信息发送到本地的gmond,由gmond发送给gmetad,但是一直不成功。我使用了telnet localhost 8649,能看到数据,但是gmetad就是不显示。暂时也没找到什么原因。

如何设计一个mysql性能监控的软件

首先介绍下 pt-stalk,它是 Percona-Toolkit 工具包中的一个工具,说起 PT 工具包大家都不陌生,平时常用的 pt-query-digest、 pt-online-schema-change 等工具都是出自于这个工具包,这里就不多介绍了。

pt-stalk 的主要功能是在出现问题时收集 OS 及 MySQL 的诊断信息,这其中包括:

1. OS 层面的 CPU、IO、内存、磁盘、网络等信息;

2. MySQL 层面的行锁等待、会话连接、主从复制,状态参数等信息。

而且 pt-stalk 是一个 Shell脚本,对于我这种看不懂 perl 的人来说比较友好,脚本里面的监控逻辑与监控命令也可以拿来参考,用于构建自己的监控体系。

三、使用

接着我们来看下如何使用这个工具。

pt-stalk 通常以后台服务形式监控 MySQL 并等待触发条件,当触发条件时收集相关诊断数据。

触发条件相关的参数有以下几个:

function:

∘ 默认为 status,代表监控 SHOW GLOBAL STATUS 的输出;

∘ 也可以设置为 processlist,代表监控 show processlist 的输出;

variable:

∘ 默认为 Threads_running,代表 监控参数,根据上述监控输出指定具体的监控项;

threshold:

∘ 默认为 25,代表 监控阈值,监控参数超过阈值,则满足触发条件;

∘ 监控参数的值非数字时,需要配合 match 参数一起使用,如 processlist 的 state 列;

cycles:

∘ 默认为 5,表示连续观察到五次满足触发条件时,才触发收集;

连接参数:host、password、port、socket。

其他一些重要参数:

iterations:该参数指定 pt-stalk 在触发收集几次后退出,默认会一直运行。

run-time:触发收集后,该参数指定收集多长时间的数据,默认 30 秒。

sleep:该参数指定在触发收集后,sleep 多久后继续监控,默认 300 秒。

interval:指定状态参数的检查频率,判断是否需要触发收集,默认 1 秒。

dest:监控数据存放路径,默认为 /var/lib/pt-stalk。

retention-time :监控数据保留时长,默认 30 天。

daemonize:以后台服务运行,默认不开启。

log:后台运行日志,默认为 /var/log/pt-stalk.log。

collect:触发发生时收集诊断数据,默认开启。

∘ collect-gdb:收集 GDB 堆栈跟踪,需要 gdb 工具。

∘ collect-strace:收集跟踪数据,需要 strace 工具。

∘ collect-tcpdump:收集 tcpdump 数据,需要 tcpdump 工具。


本文标题:rrd数据库php rrdre
链接URL:http://dzwzjz.com/article/hpjppp.html
在线咨询
服务热线
服务热线:028-86922220
TOP