AI智能体三大关键AI智能体三大隐患
过去一年，工程师Utkarsh Kanwat亲自构建了12个AI智能体系统，并总结了好的AI智能体需要具备三大关键：
1. 明确的边界：比如，UI生成智能体能将复杂的自然语言，转换为功能性React组件，但最终的审核仍由人类完成。AI负责处理复杂的部分，但人类在关键决策点上掌控最终话语权。
2. 可控的操作范围：数据库智能体并非“自动执行查询”，而是确认每个操作的执行条件和影响，确保数据的完整性和安全性。
3. 无状态设计：函数生成智能体基于明确的描述进行工作，避免了不必要的状态管理和复杂的上下文控制。
除了上述三大发现，作者Utkarsh还总结了三个隐患——
一、错误率的复合性
作者Utkarsh解释道：当AI智能体系统需要处理多个步骤时，即使每个步骤都能保持95%的可靠性，整个系统的可靠性将急剧下降。他通过一个简单的数学推导证明：
- 如果每个操作的可靠性为95%，那么5步的成功率为77%，10步为59%，而20步的成功率只有36%。
- 要在生产环境中使用AI智能体，系统需要达到99.9%的可靠性，这就意味着单步操作的可靠性必须达到99.99%以上，但目前的AI智能体模型无法达到这个水平。
举个例子，作者Utkarsh的DevOps智能体能够成功运作，正因为它并非全自动化的20步流程，而是3到5个相对简单、可验证的操作，且在关键节点上加入了人工确认的环节。因此，过于复杂的自动化操作链不可行。
二、上下文窗口和token成本飞速增长
AI智能体的另一个难题是token成本的指数增长。对于“对话型智能体”来说，每一次新的交互都需要处理所有先前的上下文，这种累积的上下文需要消耗大量计算资源。
作者Utkarsh亲自试验过一个数据库智能体系统，发现随着对话的深入，每增加一次查询的token消耗就成倍增长：最初的几次对话查询token成本较低，但到50次查询时，每次响应的token消耗已经超过了实际收益，成本无法承受。
基于此，他总结出：“对于大多数应用场景，token成本使得对话智能体经济上不可持续。”
相比之下，作者Utkarsh自创了一种方法——函数生成智能体，可以实现无状态操作。简单来说，就是给定一个明确的描述，生成一个相应的函数，过程中没有任何需要追踪的上下文。因此，这种智能体的成本控制相对简单，且能高效运作。
三、工具设计才是关键，而非“自动化”
即使解决了上面的问题，AI智能体在实际应用中仍然面临着一个巨大挑战：工具设计和反馈机制。为了让AI智能体在复杂环境中运作有效，所有工具的设计必须做到精准无误。
作者Utkarsh举了自己构建的数据库智能体为例。该智能体并非仅仅“自动执行查询”，而是在整个过程中管理了连接池、处理事务回滚、管理查询超时，并确保每一个步骤都能提供结构化反馈，供AI做出决策。
这样的设计让AI能在复杂的系统中稳定运行，避免了过多的错误。
作者Utkarsh对2025年的展望并不乐观。
他预测，很多依赖“完全自动化”的初创公司将遭遇困境，因为其智能体系统的20+步复杂工作流程很难通过数学模型得到支撑。
因此，未来的赢家将是那些专注于开发约束性强的、具体领域的AI工具，并且通过明确的边界和人工决策点，保证系统可靠性的公司。
感兴趣的小伙伴可以点击原文：utkarshkanwat.com/writing/betting-against-agents/
