给手上的模型做个小体检

最后更新于

文章id: model-probe-quizzes

手上挂的模型多了,就会冒出一个很朴素的问题:它今天还正常吗?

官方也好,中转也好,能发出请求、收到响应,只能说明这次调用通了。至于回答质量有没有变化,还得另外看看。总不能等它把手上的活干歪了,才发现哪里不对。

我想要的不是一张模型排行榜,只是一个开工前能跑的小检查。于是做了个探针:先试能不能连,再让它答几道有标准答案的题。

先测能不能用,再测答得怎么样

第一层是 ping。让模型按要求回复一个固定字符串,记录调用是否成功、用了多久。这里的延迟是一次 API 调用的耗时,不是网络工具里那个 ICMP ping。

第二层是单选题。题目要求只输出选项字母,再和标准答案做精确比较。

这两层分开,是为了少冤枉模型。配额、鉴权、超时,都可能让一次调用失败;反过来,请求成功,也不意味着答案一定正确。

为什么不再请一个模型来评分?主要是我这次只想做轻量巡检。题目本来就有明确答案,再加一个裁判,既多一笔调用,也多一个需要解释的评分环节。

答案是 B,输出是 C,比较起来就省心得多。当然,模型如果多说了一句“答案是 B”,严格匹配也可能判失败。这反映的是输出格式,不完全等于知识能力,所以结果还得分开看。

题目不求难,先求说得清

选题时,我更在意答案是否唯一、会不会很快过时。

像“现在最新版本是几”就不太适合:过几个月答案变了,题库自己先坏了。相比之下,一道条件完整、答案明确的小题,反而更方便重复测试。

题面里的“只输出选项字母”也有用。它除了测答案,还能顺便看模型是否遵守格式。不过,格式没跟上,并不能直接推成“接进 agent 迟早出事”;最多是提醒我,这类任务需要更仔细地检查输出。

真正让我意外的,倒不是题目本身。

它可能不是不会,而是没来得及答

推理模型有一个容易忽略的地方:在相应接口里,思考过程也可能占用输出额度。

如果 max_tokens 给得太紧,就可能出现这种情况:模型把额度用在思考上,正文还没输出,调用已经结束。探针拿到空字符串,按错题记下来,最后看着就像它什么都不会。

这次记录里,kimi-k3 调整前后是这样的:

模型 调整前 调整后
kimi-k3 1/8 6/8

同样是八道题,结果差了不少。至少这一次,不能只看正确率,就急着给模型下结论。

所以现在看到低分,我会先检查是不是空回复、有没有截断,再去看题目和答案。具体该给多少额度,要按模型和接口来试,并没有一个通用数字,填进去就能保证它答完。

这轮记录,先这样读

下面是现有记录的整理,不是新跑的一轮终端原始输出。ping 成功率还没有补齐,就不替它填数了。

模型 单选结果 记录延迟
claude-opus-5-5 8/8 2332 ms
glm-5.3-flash 8/8 2914 ms
kimi-k3 6/8 3249 ms

看这张表时,我会把三个问题分开:调用有没有成功、格式有没有按要求、答案有没有答对。延迟再单独看——慢和答错,也不是一回事。

八道题,还不够给谁排座次

八题里错一道,就是 12.5 个百分点;二十题里错一道,也有 5 个百分点。看起来很显眼的差距,可能只是多错了一道题。

多跑一些题,记录会更有参考价值,但题目偏向什么、同一模型多次回答是否稳定,也都得考虑。不能因为这次是 8/8,下次是 6/8,就说谁一定更强,更不能据此认定线路换了模型。

对我来说,这个探针目前最合适的用途还是:发现异常,再回头检查。

如果它能在正式干活之前提醒我“这次有点不对”,就已经比毫无察觉地用下去强了。至于每轮到底花多少钱、能不能一分钟跑完,等完整的调用记录补齐,再算,不抢着给它写个漂亮结论。

CC BY 4.0本页文字内容由 water2H2O 创作,采用 CC BY 4.0 授权(署名即可使用)。委托作品与第三方素材不适用。文中的委托插图版权归原画师所有,不适用 CC BY 4.0。授权说明 →