共计 2614 个字符，预计需要花费 7 分钟才能阅读完成。
最近，关于智能体（Agent）的研究热度持续上升，各种进展层出不穷，让人目不暇接。为此，一篇《大模型智能体的优化方法综述》的文章，全面梳理和分析了当前在大型语言模型（LLM）智能体优化策略方面的最新动态，为对这一领域感兴趣的读者提供了系统化的见解。
这篇综述将现有的优化方法大致分为两类：参数驱动的优化 和参数无关的优化。前者涉及到监督微调、强化学习（如 PPO 和 DPO），以及微调与强化学习结合的混合策略，重点关注轨迹数据的构建、奖励函数的设计和优化算法等重要环节。而后者则利用 Prompt 工程、外部工具调用和知识检索等手段在不改变模型参数的情况下优化 Agent 的行为。
更进一步，这篇文章还总结了主要的智能体微调与评估数据集，并回顾了 LLM 智能体在医疗、科学、金融和编程等多领域的典型应用。最后，团队也提炼出智能体当前所面临的一些关键挑战和未来的研究方向。
那么，为什么需要专门优化 LLM 智能体呢？近年来，伴随 GPT-4、PaLM 及 DeepSeek 等大型语言模型在语言理解、生成、推理和决策等领域的卓越表现，越来越多的研究者开始探索如何将 LLM 作为智能体，实现自动决策和通用人工智能的潜力。
与传统的强化学习智能体不同，LLM 智能体不依赖显式的奖励函数，而是通过自然语言指令、Prompt 模板和上下文学习来完成复杂任务。这种 “文本驱动” 的智能体模式展现了出色的灵活性与泛化能力，能理解人类意图、执行多步骤操作，并在变化环境中做出决策。
现在，研究者们正在通过任务分解、自我反思、记忆增强及多智能体协作等方式不断提升其表现，涵盖软件开发、数学推理、具身智能以及网页导航等多个领域。不过，值得注意的是，LLM 的训练目标是预测下一个 token，并不是为了长远规划和交互学习的智能体任务，这使得在作为 Agent 时出现了一些挑战。
如，长程规划和多步推理能力不足，容易在复杂任务中出现错误的累积；缺乏持续性的记忆机制，难以基于历史经验进行反思与优化；对新环境的适应能力有限，面对变化场景时反应不够灵活。同时，开源的 LLM 在智能体任务中的表现普遍落后于闭源的模型，成本高、透明度低，使得优化开源 LLM 以提升智能体表现成为重要的研究目标。
现有的综述论文多聚焦于大模型优化或者讨论智能体的局部能力，但从未将 “LLM 智能体优化” 作为独立的研究方向深入探讨。研究团队在这方面填补了空白，首次将“LLM-based Agent 的优化技术”放在核心位置，构建了统一的框架，并对不同技术的优劣势和适用场景进行了系统性比较。
参数驱动的 LLM 智能体优化
在参数驱动的 LLM 优化方面，作者将其分为三个主要方向。
基于常规微调的优化
这一方向进一步划分为两个步骤：构建高质量的轨迹数据以及微调 Agent。首先是数据的获取与生成，高质量轨迹数据的构建需要多样化的轨迹，且要与目标任务对齐以确保有效的学习。主流方法可以归结为四类：
1. ** 专家标注数据 **：由专家手动设计，质量高且对齐强，通常用于微调的黄金标准，但人工成本高且难以扩展。
2. ** 强 LLM 自动生成数据 **：利用像 GPT- 4 这样的智能模型结合 ReAct、CoT 策略生成轨迹，具备高效性，适合大规模构建，但也面临成本高、偏差传播等问题。
3. **Agent 自主探索数据 **：利用开源模型自主与环境交互生成轨迹，成本较低，但需要进一步的筛选机制，以去除低质量数据。
4. ** 多智能体协作生成数据 **：通过多个 Agent 合作完成复杂任务，能够提高数据多样性与交互的复杂度，但系统设计较复杂，稳定性和资源成本也是挑战。
其次是数据的评估与过滤。由于生成的轨迹数据质量参差不齐，评估与筛选是关键步骤。作者将主流评估方法分为三类：
1. ** 基于环境的评估 **：依据任务的完成情况或环境奖励等外部反馈来判断轨迹的质量，虽然自动化程度高，但通常只能关注最终结果。
2. ** 基于人工或规则的评估 **：通过预设规则（如任务完成度）或专家审核进行数据质量控制，适应性强但需要大量人力参与。
3. ** 基于模型的评估 **：借助先进的 LLM（如 GPT-4）对轨迹进行自动打分，能够从相关性、准确性等多个维度进行评估，但需注意模型可能引入新的偏差。
此外，对于低质量样本的利用也至关重要，主流策略包括：对比样本利用、识别并修正失败轨迹等方法以提升学习质量。
基于强化学习的优化
强化学习为 Agent 提供了更主动的学习路径，令模型在环境中探索并动态调整策略。根据奖励函数和偏好对齐的不同，当前的强化学习优化方法也有不同的侧重点。
在奖励函数的优化中，奖励作为智能体提升策略的标准，通过设定清晰的标记帮助 Agent 从交互中逐步学习。作者将当前方法分为三类：
1. ** 基于环境的奖励 **：直接依据任务的完成情况得分，简单且易于实现。
2. ** 基于模型的奖励 **：通过 LLM 或辅助模型对轨迹进行评估，更适合环境反馈不多的情况，但效果依赖评估模型的质量。
3. ** 自定义奖励函数 **：根据任务需求设计多维度奖励，虽然灵活，但设计成本高。
相比于传统的奖励建模，偏好对齐的优化为 Agent 提供了更直接的优化路径，让其学习“哪些行为更受欢迎”。代表性方法 DPO 通过人类或专家的偏好对数据进行对比训练，构建出高效的学习流程。
混合参数微调方法
虽然单独的优化方法各有优势，混合微调策略渐渐崭露头角，综合了常规微调的稳定性与强化学习的灵活性。主要分为：
1. ** 顺序式两阶段训练 **：采用“先常规微调，后强化学习”的思路。
2. ** 交替优化 **：在常规微调与强化学习间多次切换以实现更细致的优化。
参数无关的优化方法
不同于参数微调，参数无关的优化方法通过调整 Prompt、上下文和外部信息结构，在资源受限的情况下展现出强大潜力，细分为五类策略：
1. ** 基于经验的优化 **：利用记忆模块或历史轨迹增强 Agent 的长期适应性。
2. ** 基于反馈的优化 **：通过自我反思或外部评估不断修正 Agent 的行为，形成良性循环。
3. ** 基于工具的优化 **：让 Agent 灵活运用工具来提升执行效率。
4. ** 基于 RAG 的优化 **：通过实时获取信息增强推理过程，适合知识密集型任务。
5. ** 多智能体协作优化 **：通过信息共享与反馈机制实现更高效的协作。
随着优化方法的不断进步，基于 LLM 的智能体在多个真实场景中逐渐崭露头角，从理论研究走向实际应用。然而，也面临着数据偏差、算法效率、迁移能力和评估标准等多个挑战，亟待在未来得到解决。
