CuteNote颜值笔记
← 返回
查看原链接原链接
Bilibili1小时32分21秒 · —

Harness Engineering 驾驭工程 · 笔记

驾驭语言模型：Harness Engineering核心结论通过设计工具、规则和流程来引导语言模型完成任务，而非仅靠提示词。引言：故事开篇期末前轻松课通过故事讲解harness工程语言模型不是不聪明可能只是缺乏人类引导Gemma 4 2B模型实验开源小型模型可在终端运行任务：修复PaaS.py中的bug模型不知道文件在附近，幻想编写文件添加引导后，模型正确使用工具完成任务什么是Harness EngineeringAI agent的组成核心是语言模型外围是工具和框架（harness）harness的比喻马具、驾驭控制模型的马鞍和缰绳与prompt和context工程的关系prompt工程：改进输入文本context工程：提供相关信息harness工程：多轮交互中完成任务控制认知框架通过自然语言规则类似法律，影响模型行为规则文件如AGENTS.mdOpenClaw的AGENTS.md每次对话前读取设置行为准则和记忆存储AGENTS.md的实际效果加速任务完成，减少token但可能不总是有效，甚至有害设计原则像地图，而非百科全书避免占据过多上下文控制能力边界通过限制工具工具决定模型能做什么例如OpenClaw与Claude Work区别工具影响能力SWE-agent实验适合人类的工具不必然适合模型工具设计要点模型喜欢命令行和JSON结构为AI设计合适接口标准工作流程规划-生成-评估planner拆解任务generator执行evaluator检查生成器与验证器协作先定合同再执行提高一致性自我反思循环模型输出反馈后迭代反馈可来自编译器或实验结果反馈与学习反馈推动改进语言模型根据反馈调整输出类似梯度下降，但参数不变反馈类型标准答案（难取得）数值奖励（中等）口头反馈（容易但模糊）反馈的有效性随机反馈反而有害模型确实依赖反馈调整情绪影响过度责备降低表现期望信号影响行为长期AI agent的挑战寿命问题需要整理记忆Claude的to dream功能持续学习从交互中积累skill参数更新与口头反馈自动更新harness实验：让模型教另一个模型修改AGENTS.md提升成绩实验：教会笨模型