找人一起做中文 Agent 评测集

想做什么

一个 200 条左右的中文任务集，覆盖四类：工具调用、多步规划、长上下文约束、拒绝与澄清。不刷榜，只求真实。

为什么不做通用榜单

现有榜单大多是英文、短任务、单轮。真实使用里失败最多的恰恰是长会话和模糊指令——这两类在榜单里几乎看不到。

需要什么样的人

• 写过 agent 产品、踩过坑的人：出任务比出分数重要；
• 中文语感好的人：能判断「这句话到底在要求什么」；
• 愿意标注的人：每条任务要写清成功标准与常见失败模式。

形式

MIT 许可，任务和标注放仓库，评测脚本开源，贡献者署名。

目前有 30 条草稿，缺的是真实场景。

有兴趣的站内私信，说一句你踩过最离谱的 agent 失败。