小模型靠工程约束变可用,AI编程该按交付算账
本周几个新工具把重心从模型能力移向工程约束:不可变日志防小模型谎报、云端沙箱隔离凭证、专用决策API;HPE则主张按合并PR成本而非token衡量AI编码。
Show HN: EchoChain to see what happens when LLMs play telephone
开发者开源Python CLI工具EchoChain,用“AI传话游戏”测试多轮问答后LLM的事实保留与失真:每个模型的回答转为问题交给下一个模型。支持多模型轮换、事实声明追踪、语义相似度、保真度评分与统计检验,可对比不同模型的信息保留能力,目前仅支持OpenRouter。
对一人公司的影响:做多模型选型时,可用它实测哪条问答链路最先丢事实,避免客服或知识库场景悄悄失真。
Stop counting tokens, start counting what ships
HPE观点文章主张AI编码不按token计费衡量,而按实际交付(每次合并PR的成本)衡量。论据是agentic编码任务的token消耗为普通对话的10-50倍、产出也更大;HPE内部把150多个应用的常规代码生成路由到本地开源模型,token成本降30-50%,建议前沿模型做规划、开源模型做执行。
对一人公司的影响:一人公司可按任务类型分流模型,用“每次合并PR成本”替代token账单作为衡量指标。
Gemini Decisions API
Google发布Gemini Decisions API(模型Gemini Decision 1),专做快速决策而非生成文字:支持是/否判断、最多255个选项的多选、评分三类问题,可处理文本、图像、音频、视频和PDF,一次请求评估多达1000个独立问题。输入每百万token 0.10美元、输出免费;对比Jev输入0.042美元仍更便宜。
对一人公司的影响:批量打标、审核、分流这类判断型任务可脱离对话模型,成本大幅下降,值得重构流水线。
Show HN: Rufous – Agent attuned to small models
Rufous是Rust编写的实验性编程Agent harness(Apache-2.0),针对2B–12B小模型调优。核心是“Record”系统:把每次工具调用(含被拒绝的写入与退出码)记入模型无法编辑的不可变日志,回合结束前比对模型自述状态与实际记录,防止小模型谎报成功。早期benchmark中qwen3.5:4b任务完成率从0.25升到1.00。
对一人公司的影响:小模型跑agent时加一层不可编辑的执行记录,能显著降低人工核验成本。
datasette-agent 0.5a0
datasette-agent 0.5a0 给出的做法是:做数据类产品或内部工具时,先试“对话+面板”的模式——用提示词直接生成、边聊边改,而不是先搭好完整应用再迭代;这种交互方式也可借鉴到自己的产品设计中。
对一人公司的影响:一人公司做数据内部工具,可跳过前期架构,用对话式面板快速验证需求。
Show HN: Droneship – sandbox for your coding agents
Droneship把AI编程代理放进云端沙箱运行,隔离本地凭证与开发环境,避免代理误改本地文件或泄露密钥,同时可在隔离环境中测试代码,适用于Claude Code、Codex等代理式开发流程。
对一人公司的影响:让agent放手执行前先隔离,是一人公司保护密钥和本地环境的低成本保险。
今天可以做的一件事
挑一个你反复让AI做的编码任务,今天放进隔离沙箱跑一遍,同时记下它最终合并的实际产出与耗时,作为判断该用前沿模型还是本地小模型的基线。