技术 · 熟练

换了更强的模型,产出还是去年的水平?

为弱模型写死的每一步,现在成了天花板
模型升级之后很多人发现产出没变化,原因常常不在提示词,而在那些「为上一代模型写死每一步」的技能与规程。官方提示词文档把这件事讲得很直白:指令该带上下文与规则,不该带压过模型自身判断的操作步骤 —— 而模型是照着技能干活的,技能写的是旧一代的做法,它就只发挥出旧一代的水平;基准分涨了,你的产出没涨。一次实测审计跨约 212 个技能包,标出 14 个坏件(多数是命令指向了已经不存在的目录),另有一批对当前模型已经过时。这一页给的是换模型之后的一次审计:把两件事分开 —— 找出对当前模型不必要的约束,留住仍然适用的上下文 · 领域规则 · 约束,改完用一批已知答案的真实任务比改前改后。
方法 · 一图看懂
1
先把它当维护项 — 提示词 · 技能 · 投入档位不是一次性设置,是跟着模型走的维护项;模型换代就该重审一次
2
动手前先分成两堆 — 一堆是「对当前模型不必要的约束」(压过它判断的逐步操作),一堆是「仍然适用的」(上下文 · 领域规则 · 约束)
3
先跑一遍存在性检查 — 指向已不存在的路径 / 命令 / 字段 / 旧接口的技能,是最容易先修的坏件(实测里坏件多数属这一类)
4
改完用真实样本重测 — 拿一批有已知答案的历史任务跑改前改后,别靠手感判断「好像聪明了」
原理 · 为什么有效
模型会照着技能干活,这件事是双刃的:对更弱的模型,把每一步写死是脚手架;对更强的模型,同一段写死就变成了天花板 —— 它不再用自己的判断,只执行你的步骤,于是基准分涨了、产出没涨。第二重原因是过时:技能里引用的路径 · 命令 · 字段 · 接口会随版本漂移,坏掉的那一部分既可能是静默失效(跑了但没做),也可能是跑到一半报错。这两件事的修法完全不同,所以审计的第一个动作不是改,是分类:把「不必要的约束」与「仍然适用的上下文」分开 —— 前者删掉或改成约束式表述,后者原样保住。第三条是顺序:先修存在性坏件(便宜、明确),再谈表达方式(贵、需要判断)。最后必须重测,因为「删掉一些步骤之后会不会不稳」不靠推理能定,只能量。
适用场景
适用:刚换了模型 / 换了推理档位,或把工作流搬到了新工具的场合;以及技能包积了半年以上、没做过一次清点的场合。不适用:只用一次性对话、没有沉淀过技能与规程的场景(那里没有可审计的对象)。
自测 · 5 问
我把提示词 / 技能 / 投入档位当维护项看,换模型之后确实重审过一次
审计时分了两堆:对当前模型不必要的约束,以及仍然适用的上下文与规则
跑过一遍存在性检查(路径 · 命令 · 字段 · 旧接口是否还在),坏件已单列
删改之后用一批有已知答案的历史任务跑过改前改后,而不是凭手感
留下来的每一条约束都能说出「它在防哪种具体的坏结果」
怎么上手 · 验证步骤
最小可行做法是三轮、一下午:① 存在性检查 —— 把技能包里的路径 · 命令 · 字段名逐条对着当前环境核一遍,把已不存在的单独列出来(这一轮通常就能清掉一批);② 分类 —— 剩下的条目逐条问「这条是在压着模型别再自己判断,还是在给它必要的上下文」,前者改写成约束式(「必须满足…」而不是「第一步做…第二步做…」),后者保留;③ 重测 —— 挑 10~20 个有已知答案的历史任务,改前改后各跑一遍,只记录「结果对没对」「用了几个工具调用」两个数。
把改完的技能包再过一遍,凡是你自己都说不清「删掉它会发生什么」的条目,先标出来别删 —— 那说明它可能背着一条你不知道的约束。
[C级]Skalablog《How to Prompt Claude Models the Right Way》(引官方提示词文档口径:指令该带上下文与规则、不该带压过模型自身判断的操作步骤;含一次跨约 212 个技能包的审计实测,标出 14 个坏件与若干对当前模型已过时的条目) [C级]xugj520.cn《AI开发效率革命:我如何用10个Prompt让GPT产出高质量代码》(同族纪律:把提示词 · 技能 · 投入档位当维护项;并明确「模型迭代之后给工作流做减法」) [C级]hqwc.cn 资讯《Skill、Memory、RAG 折腾了半天,最终产物都是为了往这张桌子上放点东西》(同族判断:Agent 效果差距九成来自上下文组装而非模型选型 —— 所以换模型不修组装,收益有限) 同类:装了几十个技能,有几个真在干活? · 技能塞满提示词,它反而找不着该用哪个 · 两套技能包都装,只会互相打架
继续往下读
同级:装了几十个技能,有几个真在干活? 下一级:AI Agent技能包装备指南 随机一篇