日誌處理

1.日誌的作用

1.記錄程式執行狀態
- 1.線上環境所有程式以deamon形式執行在後台,無法使用Print輸出程式狀態
- 2.線上程式無人值守全天執行,需要有一種能持續記錄程式執行狀態的機制機製,以便遇到問題之後分析處理
2.記錄統計數據
3.開發時進行Debug(偵錯)

2.基本用法

#!/usr/bin/env python3
import logging 
from logging.handlers import TimedRotatingFileHandler  
# 設定日誌格式
fmt = '%(asctime)s  %(levelname)7.7s %(funcName)s: %(message)s'
formatter = logging.Formatter(fmt,datefmt='%Y-%m-%d %H:%M:%S')

# 設定 handler
handler = logging.handlers.TimedRotatingFileHandler('myapp.log',when='D',
backupCount = 30)
handler.setFormatter(formatter)

# 定義 logger 物件
logger = logging.getLogger('MyApp')
logger.addHandler(handler)
logger.setLevel(logging.INFO)

# *******************在ipython中測試*********************
In [1]: import logging                                                          

In [2]: from logging.handlers import TimedRotatingFileHandler                   

In [3]: from logging.handlers import TimedRotatingFileHandler                   

In [4]: # 設定日誌格式 
   ...: fmt = '%(asctime)s  %(levelname)7.7s %(funcName)s: %(message)s' 
   ...: formatter = logging.Formatter(fmt,datefmt='%Y-%m-%d %H:%M:%S') 
   ...:  
   ...: # 設定 handler 
   ...: handler = logging.handlers.TimedRotatingFileHandler('myapp.log',when='D'
   ...: , 
   ...: backupCount = 30) 
   ...: handler.setFormatter(formatter) 
   ...:  
   ...: # 定義 logger 物件 
   ...: logger = logging.getLogger('MyApp') 
   ...: logger.addHandler(handler) 
   ...: logger.setLevel(logging.INFO)                                           

In [5]: logger.error('error')

**以TimedRotatingFileHandler方式在每天系統都會在專案目錄中建立一個新的日誌檔案(日誌卷動)

3.日誌的等級

DEBUG:偵錯資訊
INFO:普通訊息
WARNING:警告
ERROR:錯誤
FATAL:致命錯誤

4.對應的函數

logger.debug(msg)
logger.info(msg)
logger.warning(msg)
logger.error(msg)
logger.fatal(msg)

5.日誌格式允許欄位

%(name)s : Logger的名字
%(levelno)s : 數位形式的日誌級別
%(levelname)s : 文字形式的日誌級別
%(pathname)s : 呼叫日誌輸出函數的模組的完整路徑名,可能沒有
%(filename)s : 呼叫日誌輸出函數的模組的檔名
%(module)s : 呼叫日誌輸出函數的模組名
%(funcName)s : 呼叫日誌輸出函數的函數名
%(lineno)d : 呼叫日誌輸出函數的語句所在程式碼行
%(created)f : 當前時間,用UNIX標準的表示時間的浮點數表示
%(relativeCreated)d : 輸出日誌資訊自Logger建立以來的毫秒數
%(asctime)s : 字串形式的當前時間.預設格式是"2003-07-08 16:49:45,896",(逗號後面是毫秒)
%(thread)d : 執行緒ID,可能沒有
%(threadName)s : 執行緒名字,可能沒有
%(process)d: 進程ID,可能沒有
%(message)s : 使用者輸出的訊息

6.Django中的日誌設定

#!/usr/bin/env python3
LOGGING = {
    'version':1,
    'disable_existing_loggers':True,
    # 格式設定
    'formatters':{
        'simple':{
            'format':'%(asctime)s %(module)s.%(funcName)s:%(message)s',
            'datefmt':'%Y-%m-%d %H:%M:%S',

        },
        'verbose':{
            'format':('%(asctime)s %(levelname)s [%(process)d-%(threadName)s]'
                      '%(module)s.%(funcName)s line %(lineno)d:%(message)s'
                      ),
            'datefmt':'%Y-%m-%d %H:%M%S',
        }
    },
    #Handler　設定
    'handlers':{
        'console':{
            'class':'logging.StreamHandler',
            'level':'DEBUG' if DEBUG else 'WARNING'
        },
        'info':{
            'class':'logging.handlers.TimedRotatingFileHandler',
            'filename': '{}/logs/info.log'.format(BASE_DIR),# 日誌儲存路徑
            'when':'D', #每天切割日誌
            'backupCount':30,#日誌保留30天
            'formatter':'simple',
            'level':'INFO',
        },
        'error':{
            'class':'logging.handlers.TimedRotatingFileHandler',
            'filename': '{}/logs/error.log'.format(BASE_DIR),
            'when':'W0',
            'backupCount':4,
            'formatter':'verbose',
            'level':'WARNING',
        }
    },

    # logger設定
    'loggers':{
        'django':{
            'handlers':['console'],

        },
        'inf':{
            'handlers':['info'],
            'propagate':True,
            'level':'INFO',
        },
        'err':{
            'handlers':['error'],
            'propagate':True,
            'level':'WARNING',
        }
    }


}

終端指令

tail -f myapp.log : 持續跟蹤myapp.log日誌檔案
tail -f logs/error.log|grep WARN:只跟蹤日誌等級爲WARNING的logs/error.log檔案日誌
grep '16:54' error.log | grep WARNING | awk '{print $8}':找到過濾之後的error.log日誌（awk是一種語言,有print列印,$8代表第八列）
grep '18:24' error.log | grep WARNING | awk '{print $6}' | sort找到過濾之後的error.log日誌
grep '18:24' error.log | grep WARNING | awk '{print $6}' | sort | uniq
error.log | grep WARNING | awk '{print $6}' | sort | uniq -c
grep '18:24' error.log | grep WARNING | awk '{print $6}' | sort | uniq -c|sort -r

測試

ipython:
In [1]: import logging                                                          

In [2]: err = logging.getLogger('err')                                          

In [3]: err.warning('1.1.1.1')                                                  

In [4]: err.warning('1.1.2.2')                                                  

In [5]: err.warning('4.4.2.2')                                                  

In [6]: err.warning('4.4.2.2')                                                  

In [7]: err.warning('4.4.2.3')                                                  

In [8]: err.warning('1.1.1.1')                                                  

In [9]: err.warning('1.1.1.1')                                                  

In [10]: err.warning('1.1.1.1')   


另一個shell
luciano@luciano:~/Desktops/fuck/logs$ grep '18:24' error.log | grep WARNING | awk '{print $6}'
1:4.4.2.2
1:4.4.2.3
1:1.1.1.1
1:1.1.1.1
1:1.1.1.1
luciano@luciano:~/Desktops/fuck/logs$ grep '18:24' error.log | grep WARNING | awk '{print $6}' | sort
1:1.1.1.1
1:1.1.1.1
1:1.1.1.1
1:4.4.2.2
1:4.4.2.3
luciano@luciano:~/Desktops/fuck/logs$ grep '18:24' error.log | grep WARNING | awk '{print $6}' | sort | uniq
1:1.1.1.1
1:4.4.2.2
1:4.4.2.3
luciano@luciano:~/Desktops/fuck/logs$ grep '18:24' error.log | grep WARNING | awk '{print $6}' | sort | uniq  -c
      3 1:1.1.1.1
      1 1:4.4.2.2
      1 1:4.4.2.3
luciano@luciano:~/Desktops/fuck/logs$ grep '18:24' error.log | grep WARNING | awk '{print $6}' | sort | uniq  -c|sort -r
      3 1:1.1.1.1
      1 1:4.4.2.3
      1 1:4.4.2.2

Django 日誌處理

日誌處理

1.日誌的作用

2.基本用法

**以TimedRotatingFileHandler方式在每天系統都會在專案目錄中建立一個新的日誌檔案(日誌卷動)

3.日誌的等級

4.對應的函數

5.日誌格式允許欄位

6.Django中的日誌設定

終端指令

測試