Skip to content

能力点日志拆分:request日志提前打印 #253

@szl97

Description

@szl97

08a75dd

之前的commit,优化了请求过程中,长时间持有较大的request的问题。

  • 更彻底的优化,应该将能力点日志进行拆分,提前打印request,渠道请求完成后的日志中就不存在request了,把原来的大日志分为请求完成前后两次打印。这部分内存可以提前释放。既可以防止一次性打印的日志过大,又可以避免长时间占用内存。

  • 需要提前计算request中的metrics。代价是可能存在不需要计算的情况却发生了计算(比如chat completion,响应中不存在token usage时才需要计算)

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions