位置：首页-资讯-数据库

influxdb+grafana可视化

2024-04-02 19:55

短信预约 -IT技能 免费直播动态提醒

了解数据库的TPS、QPS是作为一个运维DBA是非常必要的，那什么是TPS、QPS呢，简单的理解是：

QPS:每秒查询数，即对数据库每秒的DML的操作数

TPS：每秒事物处理，即对数据库每秒DDL操作数

通过了解他们，可以掌握一个实例的基本工作运行状态

如何对于对他们进行页面可视化，是DBA的一个装逼神器，本章主要介绍通过时序数据库(influxdb)+grafana+简单的python代码实现

时时监控它们，什么是时序数据库可以在其他章节了解，这里不做过多介绍

Let's go.....3个包的下载

http://down.51cto.com/data/2287378

http://down.51cto.com/data/2287380

http://down.51cto.com/data/2287379

1、直接YUM安装influxdb，安装后生成默认的配置文件/etc/influxdb/influxdb.conf 暂不修改

2、ON/OF服务

service influxdb start/stop

3、influxdb数据库网页管理控制台(默认值)，这个只是方便某些操作，具体操作还是到终端输入命令influx，此通过http://IP:8083 通过页面方式登录添加

一个用户名和密码，为grafana连接INFLUXDB使用，用户名密码自己定义

influxdb+grafana可视化

选中create user 再query 就会有CREATE USER "根据实际输入用户名" WITH PASSWORD '输入你的密码'

[root@mycat ~]# influx

Visit https://enterprise.influxdata.com to register for updates, InfluxDB server management, and monitoring.

Connected to http://localhost:8086 version 0.13.0

InfluxDB shell version: 0.13.0

这个就可以登录，是不是很熟悉的，具体操作看博客的其他章节。

注意：数据库url(默认值):http://localhost:8086 ##这个在后面的grafana会被用到，数据传输使用

4、YUM安装GRAFANA包

安装后on/off服务:/etc/init.d/grafana-server start/stop

5、GRAFANA的页面登录，默认使用3000端口：

192.168.1.114:3000 登录名和密码默认是admin

6、通过Python代码实现对MySQL和influxdb的同时操作

#注意：python 操作MySQL需要安装python-mysql的驱动包，自己百度下载个，一般在解压后目录里执行1、python setup.py build 2、python setup.py install

python 操作INFLUXDB也需要python-influxdb

$ pip install influxdb
$ pip install --upgrade influxdb
$ pip uninstall influxdb  ##注意如果没有安装PIP自己百度安装吧。

7、python 脚本：

#!/usr/bin/env python

#_*_ coding:utf-8 _*_

import MySQLdb

import datetime

import json

#qps

import time

from influxdb import InfluxDBClient

#import influxdb

try:

conn=MySQLdb.connect(host="192.168.15.104",user="dlan",passwd="root123",port=3306)

client=InfluxDBClient(host='192.168.15.104', port=8086, username='root', password='root', database='telegraf')

cur=conn.cursor()

while True:

sql = '''show global status where variable_name in('com_select','com_insert','com_delete','com_update','com_insert_select','uptime')'''

cur.execute(sql)

aa = cur.fetchall()

aa=list(aa)

delete = int(aa[0][1])

insert1 = int(aa[1][1])

insert2 = int(aa[2][1])

select = int(aa[3][1])

update = int(aa[4][1])

uptime1 = int(aa[5][1])

qps1=delete+insert1+insert2+select+update

time.sleep(1)

while True:

sql = '''show global status where variable_name in('com_select','com_insert','com_delete','com_update','com_insert_select','uptime')'''

cur.execute(sql)

aa = cur.fetchall()

aa = list(aa)

delete_2 = int(aa[0][1])

insert_2 = int(aa[1][1])

insert2_2 = int(aa[2][1])

select_2 = int(aa[3][1])

update_2 = int(aa[4][1])

uptime2_2 = int(aa[5][1])

qps2 = delete_2 + insert_2 + insert2_2 + select_2 + update_2

commit=qps2 -qps1

uptime=uptime2_2-uptime1

aa =(commit/uptime)

json_body = [

{

"measurement":'my_tps',

"tags":{

"host": "mycat"

"fields":{

"influxdb":"qps1",

"qps":aa

}

]

#aa ="query_per_sec host=mycat,role=db,influxdb=qps qps=%d "% (commit/uptime)

#aa =(commit/uptime)

#print aa,json_body

client.write_points(json_body)

break

except MySQLdb.Error,e:

print "MySQL error%d:%s"%(e.args[0],e.args[1])

##脚本需要注意4个地方：1、连接数据库的信息，是被监控端的

2、MySQL的QPS统计收集的存储的数据库

3、收集的数据把字符串转成JSON格式

json_body = [

{

"measurement":'my_tps', ###注意这个红色位置不能用双引号，估计是PYTHON的问题，JAVA用双引号没问题，是个坑哦~~~！这个可以设置你喜欢的，其他不要修改，直接使用

"tags":{

"host": "mycat"

"fields":{

"qps":aa

}

]

4、需要在influxdb添加一个数据库，例子名字叫：test_influxdb (自定定义)， client=InfluxDBClient(host='192.168.15.104', port=8086, username='root', password='root', database='telegraf')，可根据实际定义，后面的GRAFANA会用到这个名字

强烈建议对数据库的操作通过终端来搞：

[root@mycat ~]# influx

Visit https://enterprise.influxdata.com to register for updates, InfluxDB server management, and monitoring.

Connected to http://localhost:8086 version 0.13.0

InfluxDB shell version: 0.13.0

> create database test_influxdb

> show databases;

name: databases

---------------

name

telegraf

_internal