关于leaderboard和deepseek 0324的超参问题

[lichtundschattern]

1、当前的leaderboard是基于v1.0.0还是基于main分支评的
2、评测deepseek-v3-0324的超参可以发一下吗

[sanmaopep]

@lichtundschattern 基于 v1.0.0， 超参是指评估结果吗？

[lichtundschattern]

抱歉，我应该换个问题，就是我本地跑的时候，发现评测deepseek 0324模型的时候，contextLength默认为1w的话，最终分数会比leaderboard要低，改成5w后分数才正常了，这个默认设定是否有问题呢。

@lichtundschattern 基于 v1.0.0， 超参是指评估结果吗？

[sanmaopep]

@lichtundschattern
https://discord.com/channels/1384111402653978645/1384111403098443838
可以在 discord 上分享下你的 eval.zip 不 ？我检查一下有没有环境问题，比如 API Limit
contextLength 参数我们一直都没改过，区别可能是我们 deepseek 评测用的字节火山引擎的 API，不是 deepseek 官方的 API