08a75dd
之前的commit,优化了请求过程中,长时间持有较大的request的问题。
-
更彻底的优化,应该将能力点日志进行拆分,提前打印request,渠道请求完成后的日志中就不存在request了,把原来的大日志分为请求完成前后两次打印。这部分内存可以提前释放。既可以防止一次性打印的日志过大,又可以避免长时间占用内存。
-
需要提前计算request中的metrics。代价是可能存在不需要计算的情况却发生了计算(比如chat completion,响应中不存在token usage时才需要计算)