最近完善了下自己的中文模型能力评测集，包含如下部分： 指令遵循：参考ifeval 设计，考察模型遵守指令的能力，如结构化输出。 阅读理解：关注长上下文的阅读理解和回答能力。 长文本检索：将LLM作为rerank 代码生成：参考HumanEval 设计。 工具调用：目前只设计了单轮调用，不涉及plan和reflect。 Text2SQL，参考了sql-eval。 数学计算：参考gsm8k，考验cot能力。 行测：公务员行测最新考题，包含常识、逻辑、语言理解。 限于精力，每个子集只有30-100道不等。所有的Prompt 和数据都是中文，大量利用GPT-4辅助合成，抓取最新数据避免污染。 评估数据应该不会开放，但是评估代码在重构，重构后应该会放出。 有兴趣建设自己的模型评测数据集的可以参考。