作者: iuu

复盘日志库logrus框架

它是一个结构化、插件化的日志记录库。完全兼容 golang 标准库中的日志模块。它还内置了 2 种日志输出格式 JSONFormatter 和 TextFormatter,来定义输出的日志格式。
main函数基本配置如下

package main

import "logrustest/core"

// go get -u github.com/natefinch/lumberjack@v2
func main() {

    //fmt.Println(path.Join("logs", "app-%Y-%m-%d.log"))
    core.InitLogrus()
    core.Log.Println("Listening and serving HTTP on", 1, ":", 2)
    for i := 0; i < 10000000; i++ {
        core.Log.Info("日志内容:", 1212121) // 写入文件
    }

}

核心配置如下

package core

import (
    "fmt"
    rotatelogs "github.com/lestrrat-go/file-rotatelogs"
    "github.com/rifflock/lfshook"
    "github.com/sirupsen/logrus"
    "gopkg.in/natefinch/lumberjack.v2"
    "io"
    "logrustest/utils"
    "os"
    "path"
    "path/filepath"
    "time"
)

// Log 实例
var Log *logrus.Logger

// customFormatter 自定义日志
type customFormatter struct {
    logrus.TextFormatter
}

func (f *customFormatter) Format(entry *logrus.Entry) ([]byte, error) {
    var levelColor string
    var levelText string
    switch entry.Level {
    case logrus.DebugLevel:
        levelColor, levelText = "34", "DEBUG" // 蓝色
    case logrus.InfoLevel:
        levelColor, levelText = "36", "INFO " // 青色
    case logrus.WarnLevel:
        levelColor, levelText = "33", "WARN " // 黄色
    case logrus.ErrorLevel:
        levelColor, levelText = "31", "ERROR" // 红色
    case logrus.FatalLevel, logrus.PanicLevel:
        levelColor, levelText = "31", "FATAL" // 红色,更重要的错误
    default:
        levelColor, levelText = "0", "UNKNOWN" // 默认颜色
    }

    // 获取调用者信息
    var fileAndLine string
    if entry.HasCaller() {
        dir := filepath.Dir(entry.Caller.File)
        fileAndLine = fmt.Sprintf("%s/%s:%d", filepath.Base(dir), filepath.Base(entry.Caller.File), entry.Caller.Line)
    }

    // 组装格式化字符串
    msg := fmt.Sprintf("\033[1;%sm%s\033[0m \033[4;1;%sm[%s]\033[0m \033[1;%sm[%s]\033[0m %s\n",
        levelColor, levelText, // 日志级别,带颜色
        levelColor, entry.Time.Format("2006-01-02 15:04:05.9999"), // 时间戳,下划线加颜色
        levelColor, fileAndLine, // 文件名:行号,带颜色
        entry.Message, // 日志消息
    )
    return []byte(msg), nil
}

func InitLogrus() error {
    Log = logrus.New()
    // 设置在输出日志中添加文件名和方法信息:
    Log.SetReportCaller(true)
    // 设置日志格式 自定义
    //Log.SetFormatter(&customFormatter{logrus.TextFormatter{
    //  ForceColors:   true, // 设置日志格式为带颜色
    //  FullTimestamp: true, // 完整时间戳的文本格式
    //}})

    // 设置日志格式 json
    //Log.SetFormatter(&logrus.JSONFormatter{
    //  TimestampFormat: "2006-01-02 15:04:05", // 设置json里的日期输出格式
    //})

    // 设置日志格式 text
    Log.SetFormatter(&logrus.TextFormatter{
        TimestampFormat:           "2006-01-02 15:04:05",
        ForceColors:               true,
        EnvironmentOverrideColors: false,
        FullTimestamp:             true,
        DisableLevelTruncation:    true,
    })

    var logLevels = map[string]logrus.Level{
        "panic": logrus.PanicLevel,
        "fatal": logrus.FatalLevel,
        "error": logrus.ErrorLevel,
        "warn":  logrus.WarnLevel,
        "info":  logrus.InfoLevel,
        "debug": logrus.DebugLevel,
        "trace": logrus.TraceLevel,
    }

    // 加载配置中的 日志级别
    levelStr := "debug"
    if level, ok := logLevels[levelStr]; ok {
        // 设置输出警告级别
        Log.SetLevel(level)
    } else {
        Log.Error("Invalid log level in config, setting to default level")
        // 设置默认级别
        Log.SetLevel(logrus.InfoLevel)
    }

    // 判断是否有存储日志文件夹
    // logs 目录
    logPath := "logs"
    if ok, _ := utils.PathExists(logPath); !ok {
        // 不存在创建日志存储目录
        fmt.Printf("create %v directory\n", logPath)
        _ = os.Mkdir(logPath, os.ModePerm)
    }

    // 按照大小分割日志
    //logger := &lumberjack.Logger{
    //  Filename:   path + "/app.log",
    //  MaxSize:    1,    // 日志文件大小,单位是 MB
    //  MaxBackups: 3,    // 最大过期日志保留个数
    //  MaxAge:     28,   // 保留过期文件最大时间,单位 天
    //  Compress:   true, // 是否压缩日志,默认是不压缩。这里设置为true,压缩日志
    //}
    // logrus 设置日志的输出方式
    //Log.SetOutput(logger)

    // 按照日期分割日志
    //linkName := "latest_log"
    //fileWriter, err := rotatelogs.New(
    //  path.Join(logPath, "%Y-%m-%d-%H-%M.log"),
    //  rotatelogs.WithMaxAge(7*24*time.Hour),      // 日志最大保存时间
    //  rotatelogs.WithLinkName(linkName),          //生成软链,指向最新日志文件
    //  rotatelogs.WithRotationTime(time.Minute),   //最小为1分钟轮询。默认60s  低于1分钟就按1分钟来
    //  // rotatelogs.WithRotationCount(3),            //设置3份 大于3份 或到了清理时间 开始清理
    //  rotatelogs.WithRotationSize(100*1024*1024), //设置1MB大小,当大于这个容量时,创建新的日志文件
    //)
    //if err != nil {
    //  return err
    //}
    // logrus 设置日志的输出方式
    //Log.SetOutput(fileWriter)

    // 自定义勾子写法 按照大小分割
    //logFile := &lumberjack.Logger{
    //  Filename:   logPath + "/app.log",
    //  MaxSize:    1,     // 日志文件大小,单位是 MB
    //  MaxBackups: 5,     // 最大过期日志保留个数
    //  MaxAge:     28,    // 保留过期文件最大时间,单位 天
    //  Compress:   false, // 是否压缩日志,默认是不压缩。这里设置为true,压缩日志
    //}
    //Log.AddHook(&lumberjackHook{
    //  logger: logFile,
    //})
    ////logrus 设置日志的输出丢弃
    //Log.SetOutput(io.Discard)

    // 勾子写法 按照时间分割
    //fileSplitWriter := NewLfsFileDateHook("", 0)
    //Log.AddHook(fileSplitWriter)
    //Log.SetOutput(io.Discard)

    // 勾子写法 按照日志大小分割
    fileSplitWriter := NewLfsFileSizeHook("", 0)
    Log.AddHook(fileSplitWriter)
    Log.SetOutput(io.Discard) // 如果设置该选项则为终端不打印

    //Log.Println("Logrus设置完成...")
    return nil
}

// hook的方式写入文件 大小
type lumberjackHook struct {
    logger *lumberjack.Logger
}

// Levels 返回该钩子应用的日志级别
func (hook *lumberjackHook) Levels() []logrus.Level {
    return logrus.AllLevels
}

// Fire 处理每一条日志记录,并将日志写入 lumberjack 管理的文件
func (hook *lumberjackHook) Fire(entry *logrus.Entry) error {
    // 格式化日志内容
    line, err := entry.String()
    if err != nil {
        return err
    }
    // 将日志写入文件
    _, err = hook.logger.Write([]byte(line))
    return err
}

// NewLfsFileSizeHook hook的方式写入文件 大小
func NewLfsFileSizeHook(logName string, maxRemainCnt uint) logrus.Hook {
    logPath := "logs"
    writer := &lumberjack.Logger{
        Filename:   path.Join(logPath, "app.log"),
        MaxSize:    1,    // 日志文件大小,单位是 MB
        MaxBackups: 3,    // 最大过期日志保留个数
        MaxAge:     28,   // 保留过期文件最大时间,单位 天
        Compress:   true, // 是否压缩日志,默认是不压缩。这里设置为true,压缩日志
    }

    logrus.SetLevel(logrus.InfoLevel)
    lfsHook := lfshook.NewHook(lfshook.WriterMap{
        logrus.DebugLevel: writer,
        logrus.InfoLevel:  writer,
        logrus.WarnLevel:  writer,
        logrus.ErrorLevel: writer,
        logrus.FatalLevel: writer,
        logrus.PanicLevel: writer,
    }, &logrus.TextFormatter{DisableColors: true})

    return lfsHook
}

// NewLfsFileDateHook hook的方式写入文件 日期
func NewLfsFileDateHook(logName string, maxRemainCnt uint) logrus.Hook {
    logPath := "logs"
    linkName := "latest_log"
    writer, err := rotatelogs.New(
        path.Join(logPath, "app-%Y-%m-%d.log"),
        rotatelogs.WithMaxAge(7*24*time.Hour),    // 日志最大保存时间
        rotatelogs.WithLinkName(linkName),        //生成软链,指向最新日志文件
        rotatelogs.WithRotationTime(time.Minute), //最小为1分钟轮询。默认60s  低于1分钟就按1分钟来
        //rotatelogs.WithRotationCount(5),            //设置3份 大于3份 或到了清理时间 开始清理
        rotatelogs.WithRotationSize(100*1024*1024), //设置1MB大小,当大于这个容量时,创建新的日志文件
    )
    if err != nil {
        logrus.Panicf("日志文件配置错误,无法记录日志: %v", err)
    }
    logrus.SetLevel(logrus.InfoLevel)
    lfsHook := lfshook.NewHook(lfshook.WriterMap{
        logrus.DebugLevel: writer,
        logrus.InfoLevel:  writer,
        logrus.WarnLevel:  writer,
        logrus.ErrorLevel: writer,
        logrus.FatalLevel: writer,
        logrus.PanicLevel: writer,
    }, &logrus.TextFormatter{DisableColors: true})

    return lfsHook
}

复盘日志库zap框架

zap 是 uber 开源的一个高性能,结构化,分级记录的日志记录包。
main函数基本配置如下

core.Config = &core.ZapConf{
    Level:         "info",                       // 级别
    Format:        "console",                    // 输出 console json
    Prefix:        "[server]",                   // 前缀
    Director:      "logs",                       // 保存目录
    LinkName:      "latest_log",                 // 链接文件
    ShowLine:      true,                         // 是否显示行号
    EncodeLevel:   "LowercaseColorLevelEncoder", // 编码级
    StacktraceKey: "stacktrace",                 // 栈名
    LogInConsole:  true,                         // 输出控制台
}

zapApp := core.InitZap(core.Config)
for i := 0; i < 10000000; i++ {
    zapApp.Info("日志内容:", zap.Any("user", "001")) // 写入文件
}
defer zapApp.Sync()

核心配置如下

package core

import (
    "fmt"
    rotatelogs "github.com/lestrrat-go/file-rotatelogs"
    "go.uber.org/zap"
    "go.uber.org/zap/zapcore"
    "gopkg.in/natefinch/lumberjack.v2"
    "os"
    "path"
    "time"
    "zaptest/utils"
)

// ZapConf Zap配置结构
type ZapConf struct {
    Level         string `mapstructure:"level" json:"level" yaml:"level"`                           // 级别
    Format        string `mapstructure:"format" json:"format" yaml:"format"`                        // 输出
    Prefix        string `mapstructure:"prefix" json:"prefix" yaml:"prefix"`                        // 日志前缀
    Director      string `mapstructure:"director" json:"director"  yaml:"director"`                 // 日志文件夹
    LinkName      string `mapstructure:"link-name" json:"linkName" yaml:"link-name"`                // 软链接名称
    ShowLine      bool   `mapstructure:"show-line" json:"showLine" yaml:"showLine"`                 // 显示行
    EncodeLevel   string `mapstructure:"encode-level" json:"encodeLevel" yaml:"encode-level"`       // 编码级
    StacktraceKey string `mapstructure:"stacktrace-key" json:"stacktraceKey" yaml:"stacktrace-key"` // 栈名
    LogInConsole  bool   `mapstructure:"log-in-console" json:"logInConsole" yaml:"log-in-console"`  // 输出控制台
}

// Config 全局Zap配置
var Config *ZapConf
var Level zapcore.Level

func InitZap(config *ZapConf) (logger *zap.Logger) {

    // 判断是否有存储日志文件夹
    if ok, _ := utils.PathExists(config.Director); !ok {
        // 不存在创建日志存储目录
        fmt.Printf("create %v directory\n", config.Director)
        _ = os.Mkdir(config.Director, os.ModePerm)
    }

    // 初始化配置文件的Level
    switch config.Level {
    case "debug":
        Level = zap.DebugLevel
    case "info":
        Level = zap.InfoLevel
    case "warn":
        Level = zap.WarnLevel
    case "error":
        Level = zap.ErrorLevel
    case "dpanic":
        Level = zap.DPanicLevel
    case "panic":
        Level = zap.PanicLevel
    case "fatal":
        Level = zap.FatalLevel
    default:
        Level = zap.InfoLevel
    }

    if Level == zap.DebugLevel || Level == zap.ErrorLevel {
        logger = zap.New(getEncoderCore(), zap.AddStacktrace(Level))
    } else {
        logger = zap.New(getEncoderCore())
    }
    // 如果开启行号
    if config.ShowLine {
        logger = logger.WithOptions(zap.AddCaller())
    }
    return logger
}

// CustomTimeEncoder 自定义日志输出时间格式
func CustomTimeEncoder(t time.Time, enc zapcore.PrimitiveArrayEncoder) {
    enc.AppendString(t.Format(Config.Prefix + "2006/01/02 - 15:04:05.000"))
}

// getEncoderConfig 获取zapcore.EncoderConfig
func getEncoderConfig() (conf zapcore.EncoderConfig) {
    conf = zapcore.EncoderConfig{
        MessageKey:     "message",
        LevelKey:       "level",
        TimeKey:        "time",
        NameKey:        "logger",
        CallerKey:      "caller",
        StacktraceKey:  Config.StacktraceKey,
        LineEnding:     zapcore.DefaultLineEnding,
        EncodeLevel:    zapcore.LowercaseLevelEncoder,
        EncodeTime:     CustomTimeEncoder,
        EncodeDuration: zapcore.SecondsDurationEncoder,
        EncodeCaller:   zapcore.FullCallerEncoder,
    }
    switch {
    case Config.EncodeLevel == "LowercaseLevelEncoder": // 小写编码器(默认)
        conf.EncodeLevel = zapcore.LowercaseLevelEncoder
    case Config.EncodeLevel == "LowercaseColorLevelEncoder": // 小写编码器带颜色
        conf.EncodeLevel = zapcore.LowercaseColorLevelEncoder
    case Config.EncodeLevel == "CapitalLevelEncoder": // 大写编码器
        conf.EncodeLevel = zapcore.CapitalLevelEncoder
    case Config.EncodeLevel == "CapitalColorLevelEncoder": // 大写编码器带颜色
        conf.EncodeLevel = zapcore.CapitalColorLevelEncoder
    default:
        conf.EncodeLevel = zapcore.LowercaseLevelEncoder
    }
    return conf
}

// 获取核心
func getEncoderCore() (core zapcore.Core) {
    // 按照日期写入文件
    //writer, err := GetWriteSyncerByDate()
    //if err != nil {
    //  fmt.Printf("Get Write Syncer Failed err:%v", err.Error())
    //  return
    //}

    // 按照大小写入文件
    writer := GetWriteSyncerBySize()

    return zapcore.NewCore(getEncoder(), writer, Level)
}

// 判断是json还是console格式化
func getEncoder() zapcore.Encoder {
    if Config.Format == "json" {
        return zapcore.NewJSONEncoder(getEncoderConfig())
    }
    return zapcore.NewConsoleEncoder(getEncoderConfig())
}

// GetWriteSyncerByDate 按照日期分割日志
func GetWriteSyncerByDate() (zapcore.WriteSyncer, error) {
    fileWriter, err := rotatelogs.New(
        //path.Join(Config.Director, "%Y-%m-%d.log"),  // 日志文件名
        //rotatelogs.WithMaxAge(7*24*time.Hour),       // 日志最大保存时间
        //rotatelogs.WithRotationTime(24*time.Minute), // 日志轮转时间
        //rotatelogs.WithLinkName(Config.LinkName),

        //每分钟
        path.Join(Config.Director, "%Y-%m-%d-%H-%M.log"),
        rotatelogs.WithLinkName(Config.LinkName), //生成软链,指向最新日志文件
        rotatelogs.WithRotationTime(time.Minute), //最小为1分钟轮询。默认60s  低于1分钟就按1分钟来
        rotatelogs.WithRotationCount(3),          //设置3份 大于3份 或到了清理时间 开始清理
        rotatelogs.WithRotationSize(1*1024*1024), //设置100MB大小,当大于这个容量时,创建新的日志文件

        //rotatelogs.WithRotationSize(100),
        //rotatelogs.WithRotationTime(24*time.Hour),        // 日志轮转时间
    )
    if err != nil {
        return nil, err
    }

    if Config.LogInConsole {
        return zapcore.NewMultiWriteSyncer(zapcore.AddSync(os.Stdout), zapcore.AddSync(fileWriter)), nil
    }
    return zapcore.AddSync(fileWriter), nil
}

// GetWriteSyncerBySize 按照大小分割日志
func GetWriteSyncerBySize() zapcore.WriteSyncer {
    fileWriter := &lumberjack.Logger{
        Filename:   Config.Director + "/app.log", // 日志文件名
        MaxSize:    1,                            // 每个日志文件的最大尺寸(单位:MB)
        MaxBackups: 5,                            // 保留的旧日志文件的最大数量
        MaxAge:     7,                            // 保留的日志文件最大天数
        Compress:   true,                         // 是否压缩日志文件
    }

    if Config.LogInConsole {
        return zapcore.NewMultiWriteSyncer(zapcore.AddSync(os.Stdout), zapcore.AddSync(fileWriter))
    }
    return zapcore.AddSync(fileWriter)
}

// GetWriteSyncerByDateAndSize 日期日志 + 大小日志
func GetWriteSyncerByDateAndSize() (zapcore.WriteSyncer, error) {
    // 按日期分割
    dateWriter, err := rotatelogs.New(
        path.Join(Config.Director, "%Y-%m-%d.log"),
        rotatelogs.WithMaxAge(7*24*time.Hour),
        rotatelogs.WithRotationTime(24*time.Hour),
    )
    if err != nil {
        return nil, err
    }

    // 按大小分割
    sizeWriter := &lumberjack.Logger{
        Filename:   Config.Director + "/app.log",
        MaxSize:    1, // 1MB
        MaxBackups: 5,
        MaxAge:     7,
        Compress:   true,
    }

    // 同时输出到日期和大小分割的日志
    if Config.LogInConsole {
        return zapcore.NewMultiWriteSyncer(zapcore.AddSync(os.Stdout), zapcore.AddSync(dateWriter), zapcore.AddSync(sizeWriter)), nil
    }
    return zapcore.NewMultiWriteSyncer(zapcore.AddSync(dateWriter), zapcore.AddSync(sizeWriter)), nil
}

// PathExists 检查路径是否存在
func PathExists(path string) (bool, error) {
    _, err := os.Stat(path)
    if err == nil {
        return true, nil
    }
    if os.IsNotExist(err) {
        return false, nil
    }
    return false, err
}

复盘web库gin框架

安装

go get -u github.com/gin-gonic/gin

基础使用

package main

import (
  "net/http"

  "github.com/gin-gonic/gin"
)

func main() {
  r := gin.Default()
  r.GET("/ping", func(c *gin.Context) {
    c.JSON(http.StatusOK, gin.H{
      "message": "pong",
    })
  })
  r.Run() // listen and serve on 0.0.0.0:8080 (for windows "localhost:8080")
}

复杂使用

gin.SetMode(gin.ReleaseMode)
router := gin.Default()

// 不存在的路由
router.NoRoute(controller.NotFound)
// 不存在的方法
router.NoMethod(controller.NotFound)
// 静态文件目录
//router.Static("/files", "./files")
// 静态文件
router.StaticFile("/favicon.ico", "./static/favicon.ico")
// 静态文件目录
router.Static("/static", "./static")
// 模板标签
router.Delims("{{{", "}}}")
// 模板加载路径
router.LoadHTMLGlob("views/**/**/*")
// 模板调用函数
router.SetFuncMap(template.FuncMap{
    "SafeJs":              view.SafeJS,
})

// 使用中间件
router.Use(middleware.Cors())
// 实例化控制器
controllersV1 := new(v1.Controller)

// 路由分组
api := router.Group("api")
{
    // 无需权限校验的分组
    apiV1 := api.Group("v1")
    {
        // 设置路由 POST、GET等
        apiV1.GET("user/test_a", controllersV1.TestA)
        apiV1.GET("user/test_b", controllersV1.TestB)
        apiV1.POST("user/test_c", controllersV1.TestC)
    }
    // 需要权限校验的分组
    apiV1.Use(middleware.JWTAuth())
    {
        apiV1.GET("user/test_d", controllersV1.TestD)
    }

    // 需要权限校验
    //apiV1.Use(middleware.CasbinRBAC())

}
router.Run()

中间件的编写

// 跨域中间件
// Cors 处理跨域请求,支持options访问
func Cors() gin.HandlerFunc {
    return func(c *gin.Context) {
        method := c.Request.Method
        origin := c.Request.Header.Get("Origin")
        c.Writer.Header().Set("Access-Control-Allow-Origin", origin)
        c.Writer.Header().Set("Access-Control-Allow-Headers", "Content-Type,AccessToken,X-CSRF-Token, Authorization, Token,X-Token,X-User-Id")
        c.Writer.Header().Set("Access-Control-Allow-Methods", "POST, GET, OPTIONS,DELETE,PUT")
        c.Writer.Header().Set("Access-Control-Expose-Headers", "Content-Length, Access-Control-Allow-Origin, Access-Control-Allow-Headers, Content-Type")
        c.Writer.Header().Set("Access-Control-Allow-Credentials", "true")
        // 放行所有OPTIONS方法
        if method == "OPTIONS" {
            c.AbortWithStatus(http.StatusNoContent)
        }
        // 处理请求
        c.Next()
    }
}
// JWT 处理中间件
func JWTAuth() gin.HandlerFunc {
    return func(c *gin.Context) {
        // jwt鉴权取头部信息 x-token 登录时回返回token信息 这里前端需要把token存储到cookie或者本地localStorage中 不过需要跟后端协商过期时间 可以约定刷新令牌或者重新登录
        token := c.Request.Header.Get("x-token")
        if token == "" {
            c.JSON(http.StatusUnauthorized, gin.H{"error": "未登录或非法访问"})
            c.Abort()
            return
        }
        fmt.Println("JWTAuth")
        c.Set("claims", 11)
        c.Next()
    }
}

控制器

# 结构体形式的控制器
type IndexApi struct {
}

// Index
func (a IndexApi) Index(c *gin.Context) {
    c.JSON(200, gin.H{"message": "hello world"})
}
# 单个函数控制器方法
func Index(c *gin.Context) {
    c.JSON(200, gin.H{"message": "hello world"})
}

数据输出

c.JSON(200, gin.H{"message": "hello world"})
其他的善用搜索与文档

对Go的复盘计划

距离上一次的go工作已经过去差不多一年半了,最近一年半PHP为主了,对go又生疏了。
接下来开始重新学习go,放下的再捡起来吧

1 4 5 6 7 8 16