跳到主要内容

配置访问日志

Milvus 中的访问日志功能允许服务器管理员记录和分析用户访问行为，有助于了解查询成功率和失败原因等方面。

本指南提供在 Milvus 中配置访问日志的详细说明。

访问日志的配置取决于 Milvus 的安装方法：

配置选项​

根据您的需求从三个配置选项中选择：

  • 基础配置：用于一般用途。
  • 本地访问日志文件配置：用于本地存储日志。
  • 上传本地访问日志到 MinIO 配置：用于云存储和备份。

基础配置​

基础配置涉及启用访问日志并定义日志文件名或使用 stdout。

proxy:
  accessLog:
    enable: true
    # 如果 `filename` 为空，日志将打印到 stdout。
    filename: ""
    # 其他格式化程序配置...
  • proxy.accessLog.enable：是否启用访问日志功能。默认为 false。
  • proxy.accessLog.filename：访问日志文件的名称。如果您将此参数留空，访问日志将打印到 stdout。

本地访问日志文件配置​

为访问日志文件配置本地存储，参数包括本地文件路径、文件大小和轮转间隔：

proxy:
  accessLog:
    enable: true
    filename: "access_log.txt" # 访问日志文件的名称
    localPath: "/var/logs/milvus" # 访问日志文件存储的本地文件路径
    maxSize: 500 # 每个单个访问日志文件的最大大小。单位：MB
    rotatedTime: 24 # 日志轮转的时间间隔。单位：秒
    maxBackups: 7 # 可以保留的封存访问日志文件的最大数量
    # 其他格式化程序配置...

这些参数在 filename 不为空时指定。

  • proxy.accessLog.localPath：访问日志文件存储的本地文件路径。
  • proxy.accessLog.maxSize：单个访问日志文件允许的最大大小（以 MB 为单位）。如果日志文件大小达到此限制，将触发轮转过程。此过程会封存当前访问日志文件，创建一个新日志文件，并清除原始日志文件的内容。
  • proxy.accessLog.rotatedTime：轮转单个访问日志文件允许的最大时间间隔（以秒为单位）。达到指定时间间隔后，将触发轮转过程，导致创建新的访问日志文件并封存以前的文件。
  • proxy.accessLog.maxBackups：可以保留的封存访问日志文件的最大数量。如果封存访问日志文件的数量超过此限制，最旧的文件将被删除。

上传本地访问日志文件到 MinIO 配置​

启用并配置设置以将本地访问日志文件上传到 MinIO：

proxy:
  accessLog:
    enable: true
    filename: "access_log.txt"
    localPath: "/var/logs/milvus"
    maxSize: 500
    rotatedTime: 24 
    maxBackups: 7
    minioEnable: true
    remotePath: "/milvus/logs/access_logs"
    remoteMaxTime: 0
    # 其他格式化程序配置...

配置 MinIO 参数时，请确保您已设置 maxSize 或 rotatedTime。否则可能导致本地访问日志文件无法成功上传到 MinIO。

  • proxy.accessLog.minioEnable：是否将本地访问日志文件上传到 MinIO。默认为 false。
  • proxy.accessLog.remotePath：用于上传访问日志文件的对象存储路径。
  • proxy.accessLog.remoteMaxTime：允许上传访问日志文件的时间间隔。如果日志文件的上传时间超过此间隔，该文件将被删除。将值设置为 0 会禁用此功能。

格式化程序配置​

所有方法使用的默认日志格式是 base 格式，它不需要特定的方法关联。但是，如果您希望为特定方法自定义日志输出，您可以定义自定义日志格式并将其应用于相关方法。

proxy:
  accessLog:
    enable: true
    filename: "access_log.txt"
    localPath: "/var/logs/milvus"
    # 为访问日志定义自定义格式化程序，包含格式和适用方法
    formatters:
      # `base` 格式化程序默认应用于所有方法
      # `base` 格式化程序不需要特定的方法关联
      base: 
        # 格式字符串；空字符串意味着没有日志输出
        format: "[$time_now] [ACCESS] <$user_name: $user_addr> $method_name-$method_status-$error_code [traceID: $trace_id] [timeCost: $time_cost]"
      # 特定方法的自定义格式化程序（例如，Query、Search）
      query: 
        format: "[$time_now] [ACCESS] <$user_name: $user_addr> $method_status-$method_name [traceID: $trace_id] [timeCost: $time_cost] [database: $database_name] [collection: $collection_name] [partitions: $partition_name] [expr: $method_expr]"
        # 指定此自定义格式化程序适用的方法
        methods: ["Query", "Search"]
  • proxy.accessLog.<formatter_name>.format：使用动态指标定义日志格式。有关更多信息，请参阅 支持的指标。
  • proxy.accessLog.<formatter_name>.methods：列出使用此格式化程序的 Milvus 操作。要获取方法名称，请参阅 Milvus 方法 中的 MilvusService。

参考：支持的指标​

指标名称描述
$method_name方法名称
$method_status访问状态：OK 或 Fail
$method_expr用于查询、搜索或删除操作的表达式
$trace_id与访问相关的 TraceID
$user_addr用户的 IP 地址
$user_name用户名称
$response_size响应数据的大小
$error_codeMilvus 特定的错误代码
$error_msg详细的错误消息
$database_name目标 Milvus 数据库的名称
$collection_name目标 Milvus Collection 的名称
$partition_name目标 Milvus Partition 的名称
$time_cost完成访问所需的时间
$time_now打印访问日志的时间（通常等于 $time_end）
$time_start访问开始的时间
$time_end访问结束的时间
$sdk_version用户使用的 Milvus SDK 版本