我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Python 实时日志平台 Sentry

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Python 实时日志平台 Sentry


简介

     Sentry 是一个实时的事件日志和聚合平台,基于 Django 构建,其专注于错误监控以及提取一切事后处理所需信息而不依赖于麻烦的用户反馈。。

Sentry 可以帮助你将 Python 程序的所有 exception 自动记录下来,然后在一个好用的 UI 上呈现和搜索。处理 exception 是每个程序的必要部分,所以 Sentry 也几乎可以说是所有项目的必备组件。


      无论测试如何完善的程序,bug总是免不了会存在的,有些bug不是每次都会出现,测试时运行好好的代码可能在某个用户使用时就歇菜了,可是当程序在用户面前崩溃时,你是看不到错误的,当然你会说:”Hey, 我有记日志呢”。 但是说实话,程序每天每时都在产生大量的日志,而且分布在各个服务器上,并且如果你有多个服务在维护的话,日志的数量之多你是看不过来的吧。等到某天某个用户实在受不了了,打电话来咆哮的时候,你再去找日志你又会发现日志其实没什么用:缺少上下文,不知道用户什么操作导致的异常,异常太多(从不看日志的缘故)不知如何下手 等等。


       Sentry就是来帮我们解决这个问题的,它是一款精致的Django应用,目的在于帮助开发人员从散落在多个不同服务器上毫无头绪的日志文件里发掘活跃的异常,继而找到潜在的臭虫。


       Sentry是一个日志平台, 它分为客户端和服务端,客户端(目前客户端有Python, PHP,C#, Ruby等多种语言)就嵌入在你的应用程序中间,程序出现异常就向服务端发送消息,服务端将消息记录到数据库中并提供一个web节目方便查看。Sentry由python编写,源码开放,性能卓越,易于扩展,目前著名的用户有Disqus, Path, mozilla, Pinterest等。

Pip

pip是python的一个很好的包管理软件,类似npm对于nodejs的关系。似乎pip一般不随python自动安装,但是一个叫easy_install的命令一般都是自带的,所以我们可以通过

sudo easy_install pip

来安装,至于为什么不直接用easy_install来安装所有依赖,通俗一点来讲,pip更流行



一、Virtualenv环境

virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境

#pip install virtualenv

 

#virtualenv sentry

New python executable in/opt/sentry/bin/python

Please make sure you remove any previouscustom paths from your /root/.pydistutils.cfg file.

Installing setuptools, pip, wheel...done.

 

#source sentry/bin/activate

就能激活出一个新的环境,在这个新环境下我们在进行后续操作

#deactivate

退出环境

 

二、安装sentry
#pip install sentry==7.4.3

三、错误解决

错误

error: Python.h: No such file or directory

解决

yum install python-devel –y

 

错误

error: libxml/xmlversion.h: No such file ordirectory

error: libxml/xpath.h: No such file ordirectory

解决

yum install libxslt-devel –y

 

错误

error: openssl/opensslv.h: No such file ordirectory

解决

yum install openssl-devel –y

 

错误

Error loading MySQLdb module: No module namedMySQLdb

pip install MySQL-python

 

错误

EnvironmentError: mysql_config not found

yum -y install mysql-devel 

 

错误

error: libpq-fe.h: No such file ordirectory

yum install postgresql-devel -y

 

四、        安装mysql

#service postgresql initdb

#/bin/systemctlstart  postgresql.service

# su – postgres

 

五、        安装redis

yum install redis –y

systemctl start redis.service

 

六、        配置

初始化创建配置文件

# sentry init /sentry/sentry.conf.py

 

vim /sentry/sentry.conf.py

#修改mysql配置

#配置文件中你需要设置几处

#数据库配置,推荐Postgresql,其次是Mysql

#Redis配置

#邮件服务配置

#web服务配置

 
DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'sentry',
        #'NAME': os.path.join(CONF_ROOT, 'sentry.db'),
        'USER': 'root',
        'PASSWORD': '123456',
        'HOST': 'localhost',
        'PORT': '3306',
    }
}
SENTRY_ADMIN_EMAIL = 'yy520it@163.com'
 
SENTRY_REDIS_OPTIONS = {
    'hosts': {
        0: {
            'host': '127.0.0.1',
            'port': 6379,
        }
    }
}
 
BROKER_URL = 'redis://localhost:6379'
SENTRY_URL_PREFIX = 'http://10.1.1.1'
SENTRY_WEB_HOST = '0.0.0.0'
SENTRY_WEB_PORT = 9000
SENTRY_WEB_OPTIONS = {
    # 'workers': 3,  # the number of gunicorn workers
    # 'secure_scheme_headers': {'X-FORWARDED-PROTO': 'https'},
}
 
 
EMAIL_HOST = 'smtp.exmail.qq.com'
EMAIL_HOST_PASSWORD = 'w15034619520'
EMAIL_HOST_USER = 'wangyangyang@rqbao.com'
EMAIL_PORT = 25
SERVER_EMAIL = 'smtp.exmail.qq.com'

 

启动成功!

为sentry项目初始化数据

# sentry --config=/sentry/sentry.conf.py upgrade

创建新用户

# sentry --config=/sentry/sentry.conf.py createuser

然后就可以启动服务了

#sentry--config=/sentry/sentry.conf.py start

另外,还需要启动Worker

# sentry --config=/sentry/sentry.conf.py celery worker -B

 wKioL1eybz_AmlW5AADBjCUCoaY802.png-wh_50


 

浏览器访问:http://IP:9000


 wKiom1eyb0mgWaNkAABpQ59bldw168.png-wh_50


http://IP:9000/admin/

 wKiom1eyb1Ph4VkIAAAYHLRsFkw091.png-wh_50

 

复制API key链接


 wKioL1eyb26iln54AAC3Im-sYno915.png-wh_50


配置log4j(我配置的是log4j.properties)

#SentryAppender

log4j.rootLogger=WARN, Console, RollingFile,SentryAppender

log4j.appender.SentryAppender=net.kencochrane.raven.log4j.SentryAppender

log4j.appender.SentryAppender.dsn=http://9189bf0a8b064d6680eecec9f41538c0:634e759226b84ae5b745d5d9fefe55c9@10.1.0.1:9000/3

 

 

 

测试:

/root/sentry/bin/raven --help

wKiom1eyb3_w-5gwAAB3V-iEdIs317.png-wh_50

 

展示

wKioL1eyb5GzN7QlAADDVOdW3z8429.png-wh_50

wKiom1eyb5HScaggAAE0BvAQi4w002.png-wh_50



wKiom1eycBqRlmTcAAFKlhD51SU142.png-wh_50


Python 实时日志平台 Sentry

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

Python 实时日志平台 Sentry

简介     Sentry 是一个实时的事件日志和聚合平台,基于 Django 构建,其专注于错误监控以及提取一切事后处理所需信息而不依赖于麻烦的用户反馈。。Sentry 可以帮助你将 Python 程序的所有 exception 自动记录
2023-01-31

[平台建设] 大数据平台如何实现任务日志采集

本文主要介绍如何基于log4j appender自定义扩展实现大数据平台任务日志采集. 背景平台任务主要分3种: flink实时任务, spark任务,还有java任务,spark、flink 我们是运行在yarn 上, 日常排错我们通过查看yarn l
[平台建设] 大数据平台如何实现任务日志采集
2018-05-22

python 实时遍历日志文件

open 遍历一个大日志文件使用 readlines() 还是 readline() 总体上 readlines() 不慢于python 一次次调用 readline(),因为前者的循环在C语言层面,而使用readline() 的循环是在P
2022-06-04

Python怎么实现日志实时监测

这篇文章主要讲解了“Python怎么实现日志实时监测”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python怎么实现日志实时监测”吧!介绍观察者模式:是一种行为型设计模式。主要关注的是对象
2023-06-29

【赵强老师】Kubernetes平台中日志收集方案

一、K8s整体日志收集方案整体的日志收集方案,如下图所示:Filebeat是本地文件的日志数据采集器,可监控日志目录或特定日志文件(tail file),并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带
2023-06-04

[平台建设] 日志数据同步数仓设计

本文主要针对日志数据接入数据仓库场景进行设计, 同时介绍了下在设计接入时的一些细节,针对可能出现的问题进行必要的处理. 背景主要针对用户流量数据、风控数据、人物画像等数据进行同步至数仓, 制定数据传输格式为json,将用户数据解析写入Hive中,以T+1
[平台建设] 日志数据同步数仓设计
2019-01-19

Linux系统日志的集中管理与分析平台

在Linux系统中,日志的集中管理与分析对于系统监控、故障排查和安全审计至关重要。以下是一些常用的Linux日志管理与分析平台:开源日志管理系统Graylog:一个开源的日志管理平台,能够收集、索引、存储并分析大量的日志数据。它提供了一个
Linux系统日志的集中管理与分析平台
2024-09-24

Linux平台Docker容器化应用的日志轮转策略

在Linux平台上,使用Docker容器化应用时,合理配置日志轮转策略对于监控和管理应用日志非常重要。以下是一些建议的日志轮转策略:使用标准日志库:大多数编程语言和框架都有内置的标准日志库,如Python的logging模块、Node.js
Linux平台Docker容器化应用的日志轮转策略
2024-10-07

DataHub——实时数据治理平台

DataHub首先,阿里云也有一款名为DataHub的产品,是一个流式处理平台,本文所述DataHub与其无关。数据治理是大佬们最近谈的一个火热的话题。不管国家层面,还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量,数据管理,数据资产,数据安全等
DataHub——实时数据治理平台
2018-12-08

【Python】Python日志无延迟实

我在用python生成日志时,发现无论怎么flush(),文件内容总是不能实时写入,导致程序意外中断时一无所获。以下是查到的解决方案(亲测可行):open 函数中有一个bufferin的参数,默认是-1,如果设置为0是,就是无缓冲模式。 但
2023-01-31

Shell实现根据web日志计算平均连接时间功能

这篇文章主要讲解了“Shell实现根据web日志计算平均连接时间功能”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Shell实现根据web日志计算平均连接时间功能”吧!今天在网上看到一个求w
2023-06-09

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录