日志

日志管理快速入门

Django 使用 Python 内置的 logging 模块处理系统日志。关于该模块的使用,Python 文档里有更详细的讨论。不过,如果你从未用过 Python 的 logging 框架(或者即便你用过),这里是一篇快速入门。

日志框架的组成元素

一份 Python logging 配置有下面四个部分组成:

Loggers

logger 是日志系统的入口。每个 logger 都是命名了的 bucket, 消息写入 bucket 以便进一步处理。

logger 可以配置 日志级别。日志级别描述了由该 logger 处理的消息的严重性。Python 定义了下面几种日志级别:

  • DEBUG:排查故障时使用的低级别系统信息
  • INFO:一般的系统信息
  • WARNING:描述系统发生了一些小问题的信息
  • ERROR:描述系统发生了大问题的信息
  • CRITICAL:描述系统发生严重问题的信息

每一条写入 logger 的消息都是一条 日志记录。每一条日志记录也包含 日志级别,代表对应消息的严重程度。日志记录还包含有用的元数据,来描述被记录了日志的事件细节,例如堆栈跟踪或者错误码。

当 logger 处理一条消息时,会将自己的日志级别和这条消息的日志级别做对比。如果消息的日志级别匹配或者高于 logger 的日志级别,它就会被进一步处理。否则这条消息就会被忽略掉。

当 logger 确定了一条消息需要处理之后,会把它传给 Handler

Handlers

Handler 是决定如何处理 logger 中每一条消息的引擎。它描述特定的日志行为,比如把消息输出到屏幕、文件或网络 socket。

和 logger 一样,handler 也有日志级别的概念。如果一条日志记录的级别不匹配或者低于 handler 的日志级别,对应的消息会被 handler 忽略。

一个 logger 可以有多个 handler,每一个 handler 可以有不同的日志级别。这样就可以根据消息的重要性不同,来提供不同格式的输出。例如,你可以添加一个 handler 把 ERRORCRITICAL 消息发到寻呼机,再添加另一个 handler 把所有的消息(包括 ERRORCRITICAL 消息)保存到文件里以便日后分析。

过滤器

在日志记录从 logger 传到 handler 的过程中,使用 Filter 来做额外的控制。

默认情况下,只要级别匹配,任何日志消息都会被处理。不过,也可以通过添加 filter 来给日志处理的过程增加额外条件。例如,可以添加一个 filter 只允许某个特定来源的 ERROR 消息输出。

Filter 还被用来在日志输出之前对日志记录做修改。例如,可以写一个 filter,当满足一定条件时,把日志记录从 ERROR 降到 WARNING 级别。

Filter 在 logger 和 handler 中都可以添加;多个 filter 可以链接起来使用,来做多重过滤操作。

Formatters

日志记录最终是需要以文本来呈现的。Formatter 描述了文本的格式。一个 formatter 通常由包含 LogRecord attributes 的 Python 格式化字符串组成,不过你也可以为特定的格式来配置自定义的 formatter。

使用 logging 模块

一旦你配置了你的记录器、处理程序、过滤器和格式化程序,你就需要将记录调用放入你的代码中。使用日志框架的工作原理是这样的:

# import the logging library
import logging

# Get an instance of a logger
logger = logging.getLogger(__name__)

def my_view(request, arg1, arg):
    ...
    if bad_mojo:
        # Log an error message
        logger.error('Something went wrong!')

就这么简单!bad_mojo 条件每次满足都会写一条 error 日志。

为 logger 命名

logging.getLogger() 的调用会获取(必要时会创建)一个 logger 的实例。不同的 logger 实例用名字来区分。这个名字是为了在配置的时候指定 logger。

按照惯例,logger 的名字通常是包含该 logger 的 Python 模块名,即 __name__。这样可以基于模块来过滤和处理日志请求。不过,如果你有其他的方式来组织你的日志消息,可以为 logger 提供点号分割的名字来标识它:

# Get an instance of a specific named logger
logger = logging.getLogger('project.interesting.stuff')

这种 logger 的名字,用点号分隔的路径定义了一种层次结构。project.interesting 这个 logger 是 project.interesting.stuff logger 的上级;而 project logger 是 project.interesting logger 的上级。

为什么层次结构很重要?嗯,因为记录器可以被设置为将其记录调用 传播 到其父级。通过这种方式,你可以在记录器树的根部定义一组处理程序,并捕获记录器子树中的所有记录调用。在 project 命名空间中定义的日志记录器将捕获在 project.interestproject.interest.stuff 日志记录器上发出的所有日志记录消息。

可以基于 logger 来控制传播的行为。 如果你不希望某个 logger 传播给上级,可以关闭它。

发起 logging 调用

logger 实例包含了每种默认日志级别的入口方法:

  • logger.debug()
  • logger.info()
  • logger.warning()
  • logger.error()
  • logger.critical()

还有两种其他的调用方法:

  • logger.log():手动输出一条指定日志级别的日志消息。
  • logger.exception():创建一个包含当前异常堆栈帧的 ERROR 级别日志消息。

日志模块的配置

仅仅在代码中加入日志调用是不够的。你还需要配置日志记录器、处理程序、过滤器和格式化程序,以确保你能使用日志输出。

Python 的日志库提供了一些配置方法,可以使用编程接口或者配置文件。Django默认使用 dictConfig format

In order to configure logging, you use LOGGING to define a dictionary of logging settings. These settings describe the loggers, handlers, filters and formatters that you want in your logging setup, and the log levels and other properties that you want those components to have.

默认情况下 LOGGING 配置和 Django 默认日志配置 按照下面的方式合并在一起:

如果 LOGGING dictConfig 中的 disable_existing_loggers 键被设置为 True (如果该键缺失,则为 dictConfig 默认值),则默认配置中的所有记录器都将被禁用。禁用的记录器与删除的记录器不同;记录器仍将存在,但会默默地丢弃任何记录到它的内容,甚至不会将条目传播到父记录仪。因此,你应该非常小心地使用 'disable_existing_loggers': True;这可能不是你想要的。相反,你可以将 disable_existing_loggers 设置为 False,然后重新定义一些或所有的默认日志记录器;或者你可以将 LOGGING_CONFIG 设置为 None,然后 自己处理日志配置

logging 被配置成了 Django setup() 函数的一部分。因此,你可以确定的是,logger 一直都可以在项目代码里使用。

示例

dictConfig format 文档是获取日志配置细节的最好资料。不过,为了让你知道能做什么,下面有几个例子。

首先,这里有一个小配置,可以让你把所有的日志信息输出到控制台。

settings.py
import os

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
        },
    },
    'root': {
        'handlers': ['console'],
        'level': 'WARNING',
    },
}

这将配置父 root 记录器,以向控制台处理程序发送 WARNING 级别及以上的消息。通过将级别调整为 INFODEBUG,可以显示更多的消息。这在开发过程中可能很有用。

接下来我们可以添加更多细粒度的日志记录。下面是一个例子,说明如何让日志系统只从名为 logger 的 django 中打印更多的消息。

settings.py
import os

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
        },
    },
    'root': {
        'handlers': ['console'],
        'level': 'WARNING',
    },
    'loggers': {
        'django': {
            'handlers': ['console'],
            'level': os.getenv('DJANGO_LOG_LEVEL', 'INFO'),
            'propagate': False,
        },
    },
}

默认情况下,这个配置会从 django 的日志记录器中发送级别为 INFO 或更高的消息到控制台。这个级别和 Django 的默认日志配置是一样的,只是默认配置只在 DEBUG=True 时才显示日志记录。Django 不会记录很多这样的 INFO 级别的消息。不过,有了这个配置,你也可以设置环境变量 DJANGO_LOG_LEVEL=DEBUG 来查看 Django 所有的调试日志,因为它包括了所有的数据库查询,所以非常啰嗦。

你不需要把日志记录到控制台。下面是一个配置,它将所有来自 django 命名的记录器的日志记录写入本地文件。

settings.py
LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'file': {
            'level': 'DEBUG',
            'class': 'logging.FileHandler',
            'filename': '/path/to/django/debug.log',
        },
    },
    'loggers': {
        'django': {
            'handlers': ['file'],
            'level': 'DEBUG',
            'propagate': True,
        },
    },
}

若你使用此例子,切记要将 'filename' 指向的路径改为当前运行 Django 应用的用户可写的路径。

最后,这里是一个相当复杂的日志设置的例子。

settings.py
LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'verbose': {
            'format': '{levelname} {asctime} {module} {process:d} {thread:d} {message}',
            'style': '{',
        },
        'simple': {
            'format': '{levelname} {message}',
            'style': '{',
        },
    },
    'filters': {
        'special': {
            '()': 'project.logging.SpecialFilter',
            'foo': 'bar',
        },
        'require_debug_true': {
            '()': 'django.utils.log.RequireDebugTrue',
        },
    },
    'handlers': {
        'console': {
            'level': 'INFO',
            'filters': ['require_debug_true'],
            'class': 'logging.StreamHandler',
            'formatter': 'simple'
        },
        'mail_admins': {
            'level': 'ERROR',
            'class': 'django.utils.log.AdminEmailHandler',
            'filters': ['special']
        }
    },
    'loggers': {
        'django': {
            'handlers': ['console'],
            'propagate': True,
        },
        'django.request': {
            'handlers': ['mail_admins'],
            'level': 'ERROR',
            'propagate': False,
        },
        'myproject.custom': {
            'handlers': ['console', 'mail_admins'],
            'level': 'INFO',
            'filters': ['special']
        }
    }
}

该日志配置做了以下事情:

  • 识别配置为 'dictConfig 版本 1' 格式。目前,这是唯一的 dictConfig 格式版本。

  • 定义两个格式化程序:

    • simple,输出日志级别名称(如 DEBUG)和日志信息。

      format 字符串是一个普通的 Python 格式化字符串,它描述了每个日志行要输出的细节。可以输出的完整细节列表可以在 Formatter Objects 中找到。

    • verbose,输出日志级别名称、日志信息,以及生成日志信息的时间、进程、线程和模块。

  • 定义两个过滤器:

    • project.logging.SpecialFilter,使用别名 special。如果这个过滤器需要额外的参数,它们可以作为过滤器配置字典中的附加键提供。在这种情况下,当实例化 SpecialFilter 时,参数 foo 将被赋予一个 bar 的值。
    • django.utils.log.RequireDebugTrue,当 DEBUGTrue 时,传递记录。
  • 定义两个处理程序:

    • console,一个 StreamHandler,它将任何 INFO (或更高)消息打印到 sys.stderr。该处理程序使用 simple 输出格式。
    • mail_admins,一个 AdminEmailHandler,它向网站 ADMINS 发送任何 ERROR (或更高)消息。该处理程序使用 special 过滤器。
  • 配置三个记录器。

    • django,将所有信息传递给 console 处理程序。
    • django.request,它将所有 ERROR 消息传递给 mail_admins 处理程序。此外,这个记录器被标记为 传播消息。这意味着写给 django.request 的日志信息不会被 django 日志处理程序处理。
    • myproject.custom,它将所有 INFO 或更高等级的消息传递给两个处理程序——consolemail_admins。这意味着所有 INFO 级别(或更高)的消息将被打印到控制台;ERRORCRITICAL 消息也将通过电子邮件输出。

自定义日志记录配置

如果你不想使用 Python 的 dictConfig 格式来配置记录器,你可以指定自己的配置方案。

LOGGING_CONFIG 设置定义了用于配置 Django 日志记录器的可调用对象,默认情况下,它指向 Python 的 logging.config.dictConfig() 函数。然而,如果你想使用不同的配置过程,你可以使用其他任何一个接受单一参数的可调用。当配置日志时, LOGGING 的内容将作为该参数的值提供。

禁用日志记录配置

如果你根本不想配置日志记录(或者你想用自己的方法手动配置日志记录),你可以将 LOGGING_CONFIG 设置为 None。这将禁用 Django 的默认日志记录 的配置过程。

LOGGING_CONFIG 设置为 None 只是意味着自动配置过程被禁用,而不是日志本身。如果你禁用了配置过程,Django 仍然会进行日志调用,回到默认的日志行为。

下面是一个禁用 Django 的日志配置,然后手动配置日志的例子。

settings.py
LOGGING_CONFIG = None

import logging.config
logging.config.dictConfig(...)

请注意,默认的配置过程只有在设置完全加载后才会调用 LOGGING_CONFIG。相反,在设置文件中手动配置日志记录将立即加载你的日志记录配置。因此,你的日志配置必须出现在它所依赖的任何设置之后。

Django 的日志记录扩展

Django 提供了一些实用工具来处理 Web 服务器环境中的独特的日志记录需求。

Loggers

Django 提供了几种内置的记录器。

django

django 层次结构中消息的总记录器。不使用该名称发布消息,而是使用以下记录器之一。

django.request

记录与处理请求有关的信息。5XX 的响应以 ERROR 消息的形式出现;4XX 的响应以 WARNING 消息的形式出现。记录在 django.security 记录器中的请求不会记录在 django.request 中。

发送给此记录器的消息有以下额外的上下文:

  • status_code:与请求相关的 HTTP 响应代码。
  • request:产生记录信息的请求对象。

django.server

记录与处理由 runserver 命令调用的服务器收到的请求有关的消息。HTTP 5XX 响应被记录为 ERROR 消息,4XX 响应被记录为 WARNING 消息,其他所有消息被记录为 INFO

发送给此记录器的消息有以下额外的上下文:

  • status_code:与请求相关的 HTTP 响应代码。
  • request:产生记录信息的请求对象。

django.template

记录与模板渲染相关的消息。

  • 缺少的上下文变量会被记录为 DEBUG 消息。

django.db.backends

与代码与数据库互动有关的信息。例如,请求执行的每一条应用程序级别的 SQL 语句都会以 DEBUG 级别记录到这个记录器。

发送给此记录器的消息有以下额外的上下文:

  • duration:执行 SQL 语句所需时间。
  • sql:所执行的 SQL 语句。
  • params:SQL 调用中使用的参数。

出于性能考虑,只有当 settings.DEBUG 设置为 True 时,才会启用 SQL 日志记录,而不考虑日志级别或安装的处理程序。

该日志不包括框架级初始化(如 SET TIMEZONE)或事务管理查询(如 BEGINCOMMITROLLBACK)。如果想查看所有数据库查询,请在数据库中开启查询记录。

django.security.*

安全记录器将接收任何发生 SuspiciousOperation 和其他安全相关错误的消息。每个子类型的安全错误都有一个子记录器,包括所有 SuspiciousOperations。日志事件的级别取决于异常处理的位置。 大多数发生的事件被记录为警告,而任何到达 WSGI 处理程序的 SuspiciousOperation 将被记录为错误。例如,当客户端的请求中包含一个 HTTP Host 头,而这个头不符合 ALLOWED_HOSTS 时,Django 会返回一个 400 的响应,并且错误信息会被记录到 django.security.DisallowedHost 记录器中。

这些日志事件默认会到达 django 日志器,当 DEBUG=False 时,记录器会将错误事件发送给管理员。由于 SuspiciousOperation 导致 400 响应的请求不会被记录到 django.request 记录器,而只会记录到 django.security 记录器。

要使某一特定类型的 SuspiciousOperation 保持沉默,你可以按照以下示例覆盖该特定的记录器:

'handlers': {
    'null': {
        'class': 'logging.NullHandler',
    },
},
'loggers': {
    'django.security.DisallowedHost': {
        'handlers': ['null'],
        'propagate': False,
    },
},

其他不基于 SuspiciousOperationdjango.security 记录器是:

django.db.backends.schema

记录 migrations framework 对数据库进行模式变更时执行的 SQL 查询。请注意,它不会记录 RunPython 执行的查询。给这个记录器的消息在其额外的上下文中有 paramssql (但与 django.db.backends 不同,不是 duration)。这些值的含义与 django.db.backends 中的解释相同。

Handlers

除了 Python 日志模块提供的日志处理程序外,Django 还提供了一个日志处理程序。

class AdminEmailHandler(include_html=False, email_backend=None, reporter_class=None)

该处理程序对收到的每条日志消息都会向站点 ADMINS 发送一封邮件。

如果日志记录中包含 request 属性,电子邮件中会包含请求的全部细节。如果客户的 IP 地址在 INTERNAL_IPS 设置中,电子邮件主题将包括“内部 IP”;如果没有,则包括“外部 IP”。

如果日志记录中包含堆栈跟踪信息,该堆栈跟踪信息将包含在电子邮件中。

AdminEmailHandlerinclude_html 参数用于控制回溯邮件是否包含一个 HTML 附件,该附件包含调试网页的完整内容,如果 DEBUGTrue 的话,该附件将被生成。要在你的配置中设置这个值,请在 django.utils.log.AdminEmailHandler 的处理程序定义中包含它,就像这样:

'handlers': {
    'mail_admins': {
        'level': 'ERROR',
        'class': 'django.utils.log.AdminEmailHandler',
        'include_html': True,
    }
},

请注意,这封 HTML 版本的邮件包含了完整的跟踪信息,包括堆栈中每一层的本地变量的名称和值,以及你的Django设置值。这些信息可能非常敏感,你可能不想通过邮件发送。可以考虑使用诸如 Sentry 这样的软件来获得两全其美的效果--既能获得丰富的信息,又能保证不通过邮件发送信息的安全性。你也可以明确指定某些敏感信息从错误报告中过滤出来——在 过滤错误报告 中了解更多信息。

通过设置 AdminEmailHandleremail_backend 参数,处理程序使用的 email 后端 可以被覆盖,就像这样:

'handlers': {
    'mail_admins': {
        'level': 'ERROR',
        'class': 'django.utils.log.AdminEmailHandler',
        'email_backend': 'django.core.mail.backends.filebased.EmailBackend',
    }
},

默认情况下,将使用 EMAIL_BACKEND 中指定的电子邮件后端实例。

AdminEmailHandlerreporter_class 参数允许提供一个 django.view.debug.ExceptionReporter 子类来自定义邮件正文中发送的回溯文本。你提供一个字符串的导入路径到你想使用的类,像这样:

'handlers': {
    'mail_admins': {
        'level': 'ERROR',
        'class': 'django.utils.log.AdminEmailHandler',
        'include_html': True,
        'reporter_class': 'somepackage.error_reporter.CustomErrorReporter'
    }
},
send_mail(subject, message, *args, **kwargs)

向管理员用户发送邮件。要自定义这个行为,你可以将 AdminEmailHandler 类子类化,并覆盖这个方法。

过滤器

除了 Python 日志模块提供的日志过滤器外,Django 还提供了一些日志过滤器。

class CallbackFilter(callback)

这个过滤器接受一个回调函数(它应该接受一个单一的参数,即要记录的记录),并对每个通过过滤器的记录进行调用。如果回调函数返回 False,则不会对该记录进行处理。

例如,要从管理员邮件中过滤掉 UnreadablePostError (当用户取消上传时引发),你可以创建一个过滤函数:

from django.http import UnreadablePostError

def skip_unreadable_post(record):
    if record.exc_info:
        exc_type, exc_value = record.exc_info[:2]
        if isinstance(exc_value, UnreadablePostError):
            return False
    return True

然后将其添加到你的日志记录配置中:

'filters': {
    'skip_unreadable_posts': {
        '()': 'django.utils.log.CallbackFilter',
        'callback': skip_unreadable_post,
    }
},
'handlers': {
    'mail_admins': {
        'level': 'ERROR',
        'filters': ['skip_unreadable_posts'],
        'class': 'django.utils.log.AdminEmailHandler'
    }
},
class RequireDebugFalse

只有当 settings.DEBUG 为 False 时,该过滤器才会传递记录。

该过滤器在默认的 logging 配置中使用如下,以确保 AdminEmailHandler 只在 DEBUGFalse 时向管理员发送错误邮件:

'filters': {
    'require_debug_false': {
        '()': 'django.utils.log.RequireDebugFalse',
    }
},
'handlers': {
    'mail_admins': {
        'level': 'ERROR',
        'filters': ['require_debug_false'],
        'class': 'django.utils.log.AdminEmailHandler'
    }
},
class RequireDebugTrue

该过滤器类似于 RequireDebugFalse,但只有当 DEBUGTrue 时才会传递记录。

Django 的默认日志配置

默认情况下,Django 配置了以下日志:

DEBUGTrue 时:

  • django 记录器将 django 层次结构(django.server 除外)中的 INFO 级别或更高的消息发送到控制台。

DEBUGFalse 时:

  • django 记录器将 django 层次结构(django.server 除外)中带有 ERRORCRITICAL 级别的消息发送到 AdminEmailHandler

DEBUG 的值无关。

  • django.server 记录器向控制台发送 INFO 或更高等级的消息。

除了 django.server 之外,所有的日志记录器都会将日志记录传播给它们的父辈,直到 django 的根日志记录器。consolemail_admins 处理程序被附加到根记录器上,以提供上述行为。

还请参见 配置日志 了解如何补充或替换 django/utils/log.py 中定义的默认日志配置。