环境、状态、动作与目标

• 能说明环境、状态、动作与目标解决什么问题，以及何时适用。
• 能解释为什么“状态缺失关键信息”是误区。

自然语言任务往往省略许多必要信息。“整理下载目录”没有说明哪些文件允许改动、整理到哪里、重名怎样处理，也没有说明什么结果算完成。直接执行容易让系统用自己的假设补齐关键约束。

环境、状态、动作和目标提供了一套拆解语言：先描述可观察世界，再决定当前需要记住什么，最后列出允许改变世界的方式和完成条件。

环境是 Agent 可观察并可能改变的外部世界；状态是当前决策所需信息；动作是允许执行的操作；目标定义成功。

像导航：地图与道路是环境，当前位置是状态，转弯是动作，到达地址是目标。

环境包含实际文件、服务和其他参与者。Agent 只能看到观察到的一部分，因此“环境中真实存在的情况”与“系统当前知道的情况”要区分；没有查到某个文件不代表它一定不存在。

状态是为当前决策组织的信息，可以包含已检查文件、上次操作结果和待解决冲突。状态应标注来源与时间；外部世界可能在两次操作间变化，陈旧状态不能自动用于不可逆操作。

动作要描述前置条件、参数、预期效果和失败结果。“移动文件”至少需要来源存在、目标允许写入、重名规则明确；工具可被调用并不等于当前用户有权对任意路径调用。

目标应写成能检查的条件，而不是“尽量做好”。完成、失败、等待用户信息和达到预算是不同终态。环境变化后可以重新规划，但不能为宣称完成而悄悄放宽验收条件。

1. 列出环境中的对象
2. 定义可观察字段
3. 定义允许动作及副作用
4. 写出完成、失败与停止条件

• Agent 设计
• 强化学习问题建模

• 把模型收到的观察当作环境的全部真相，忽略缺失、延迟与并发变化。
• 只记录已做步骤，不记录未解决冲突，使循环在同一问题上重复行动。
• 把工具返回“成功”当作最终验收，而不检查目标位置、内容与副作用。

输入

• 观察
• 历史状态
• 用户目标

输出

• 下一动作
• 更新后的状态
• 完成判断

能力

• Agent 设计
• 强化学习问题建模