我的编程空间,编程开发者的网络收藏夹
学习永远不晚

mysql查询日志计数统计

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

mysql查询日志计数统计

分析统计MySQL general日志 找出查询次数最多的SQL


当我们需要优化MySQL查询时,第一想到的是开启慢日志,慢日志可以看到执行消耗超过一定时间的SQL语句和未使用索引的SQL。但如果我们想分析所有SQL查询的分布,即哪类SQL查询次数最多的时候,我们可以开启general log来统计。

开启general log

mysql> show  variables like '%general%';

+——————+————————————-+
| Variable_name | Value |
+——————+————————————-+
| general_log | OFF |
| general_log_file | /usr/local/mysql/data/localhost.log |
+——————+————————————-+

mysql> set global general_log = "ON";

analysis-general-log.py脚本

#!/usr/bin/python
 
# sort and count mysql general log
# Author: Jason
# Url: www.centos.bz
# Email: admin#centos.bz
# Created: UTC 2015-02-15 17:51:53
 
import re
import sys
import os
 
if len(sys.argv) == 2:
    logPath = sys.argv[1]
    if not os.path.exists(logPath):
        print ("file " + logPath + " does not exists.")
        sys.exit(1)
else:
    print ("Usage: " + sys.argv[0] + " logPath")
    sys.exit(1)
 
logFo = open(logPath)
match = 0
 
for line in logFo:
    line = re.sub(r"\n","",line)
    if match == 0:
        # match line begin with numbers
        lineMatch = re.match(r"\s+[0-9]+\s+.*",line,flags=re.I)
        if lineMatch:
            lineTmp = lineMatch.group(0)
            match = match + 1
            continue
 
    elif match == 1:
        # match line begin with numbers
        lineMatch = re.match(r"\s+[0-9]+\s+.*",line,flags=re.I)
        if lineMatch:
            # match only query
            lineMatchQuery = re.match(r".*Query\s+(.*)",lineTmp,flags=re.I)
            if lineMatchQuery:
                lineTmp = lineMatchQuery.group(1)
                # remove extra space
                lineTmp = re.sub(r"\s+", " ",lineTmp)
                # replace values (value) to values (x)
                lineTmp = re.sub(r"values\s*\(.*?\)", "values (x)",lineTmp,flags=re.I)
                # replace filed = 'value' to filed = 'x'
                lineTmp = re.sub(r"(=|>|<|>=|<=)\s*('|\").*?\2","\\1 'x'",lineTmp)
                # replace filed = value to filed = x
                lineTmp = re.sub(r"(=|>|<|>=|<=)\s*[0-9]+","\\1 x",lineTmp)
                # replace like 'value' to like 'x'
                lineTmp = re.sub(r"like\s+('|\").*?\1","like 'x'",lineTmp,flags=re.I)
                # replace in (value) to in (x)
                lineTmp = re.sub(r"in\s+\(.*?\)","in (x)",lineTmp,flags=re.I)
                # replace limit x,y to limit
                lineTmp = re.sub(r"limit.*","limit",lineTmp,flags=re.I)
                
                print (lineTmp)
 
            match = 1
            lineTmp = lineMatch.group(0)
        else:    
            lineTmp += line
            match = 1
 
logFo.close()

使用方法:

analysis-general-log.py general.log | sort | uniq -c | sort -nr

该python脚本使用与python2.7以上环境

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

mysql查询日志计数统计

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

MySQL 慢查询日志

简介MySQL 慢查询日志是排查问题 SQL 语句,以及检查当前 MySQL 性能的一个重要功能。查看是否开启慢查询功能:mysql> mysql> show variables like 'slow_query%';+--------------------
MySQL 慢查询日志
2022-04-20

MySQL 中的查询统计

为执行的查询收集的重要统计信息,包括时间、临时表、索引、联接等,都收集在“查询统计 SQL 编辑器结果”选项卡中(请参阅以下两图)。要求启用查询,并收集性能架构统计信息。performance_schema 已启用语句检测。SQL
2023-10-22

mysql 全局查询日志

正式生产环境下不要开启 一.配置启用 永久: 在mysql的my.cnf中设置: [mysqld] #开启 general_log=1 #记录日志文件的路径 general_log_file=/path/logfile #输出格式 log_output=FIL
mysql 全局查询日志
2018-03-10

mysql 根据date做年,月,日分组统计查询

使用 YEAR(), MONTH(), DAY() 来获取年月日SELECT YEAR(application_date) as years, count(1) FROM patent GROUP BY YEAR(application_date) ORDER
mysql 根据date做年,月,日分组统计查询
2015-08-27

MYSQL数据库查询按日期分组统计详细代码

本文提供了MySQL按日期分组统计的详细代码示例,用于分析时间序列数据并识别趋势。该代码支持按年、月、日分组,并返回每组的汇总值,包括数量、总和、平均值、最小值和最大值。文章通过一个示例演示了如何使用该代码来统计订单数据。
MYSQL数据库查询按日期分组统计详细代码
2024-04-02

MySQL 慢查询日志工具

mysqldumpslow 工具MySQL安装目录下bin 文件 mysqldumpslow.pl文件启动perl mysqldumpslow.pl -s t -t 5 c:datadata-slow.log-s order(c,t,r,l,at,al,ar)
MySQL 慢查询日志工具
2016-10-14

Mysql 开启慢日志查询及查看慢日志 sql

本文为博主原创,转载请注明出处:目录:   1.Mysql 开启慢日志配置的查询   2. 通过sql 设置Mysql 的慢日志开启   3. 通过慢 sql 日志文件查看慢 sql  1.Mysql 开启慢日志配置的查询mysql> show variabl
Mysql 开启慢日志查询及查看慢日志 sql
2017-01-10

详解mysql慢日志查询

慢日志查询作用 慢日志查询的主要功能就是,记录sql语句中超过设定的时间阈值的查询语句。例如,一条查询sql语句,我们设置的阈值为1s,当这条查询语句的执行时间超过了1s,则将被写入到慢查询配置的日志中. 慢查询主要是为了我们做sql语句的
2022-05-19

MySQL慢查询日志分析

MySQL慢查询日志是MySQL服务器用来记录慢查询操作的一种日志打开慢查询日志功能:在MySQL配置文件(例如:my.cnf或my.ini)中,添加以下配置选项:slow_query_log = "1"slow_query_log_
MySQL慢查询日志分析
2024-10-20

编程热搜

目录