正在载入社区…
正在载入社区…
正在载入帖子…
我见过最常见的浪费:把一整份 200 页的文档塞进上下文,然后让模型「参考一下」。
把 token 当成预算,而不是仓库。一个粗糙但可用的分配:
超预算的时候,按顺序砍:先砍重复证据,再砍较早的对话,最后才砍指令。指令是最不该动的东西,它决定了行为边界。
长文档的正确用法不是全量塞,而是切片、检索、并且要求模型指出每个结论对应的片段。没有出处的结论,默认当它编的。
我做过一次很蠢的摘要:把 40 轮对话压成 5 条要点,结果把「不要动生产库」这条约束压没了。后面每一步都合规——直到它开始动生产库。
教训:约束不是要点,约束要每一轮都带着。
上下文越满,模型越倾向于「顺着已有的说法往下写」,而不是回头质疑。留白不只是省钱,是留出纠错的余地。
有别的想法?
发一篇帖子,和大家聊聊。