feat: 导出 SproutClaw .sproutclaw 配置
包含 extensions、skills、prompts、settings、auth、models、mcp 等配置。 排除 node_modules、npm 缓存、sessions 等运行时数据。
This commit is contained in:
@@ -0,0 +1 @@
|
||||
大家好,欢迎来到这次技术分享。今天的主题是 AI Agent 工程化与落地——也就是说,我们不聊新模型,不聊新论文,专门聊一件事:怎么把那些跑得动 Demo 的 Agent,真正搬进生产环境里。
|
||||
@@ -0,0 +1 @@
|
||||
先抛一个让人有点不舒服的事实。在我和很多团队的交流里,大约九成的 Agent 项目最后都停在了 Demo 阶段。原因不是模型不够强,也不是想法不够好,而是要进生产,需要跨过四道工程化门槛——架构、上下文、评估、可观测。这四件事一件没做,Demo 就永远只能是 Demo。
|
||||
@@ -0,0 +1 @@
|
||||
第一道是性能不稳定,多步推理一叠加,每一步五到十个百分点的抖动累计起来,整体成功率就会断崖式下滑,P95 延迟更是常常翻五到十倍。第二道是成本不可预测,同一个任务在不同上下文长度下,单次 token 消耗能漂移五到五十倍,长尾任务尤其会吞掉预算。第三道是质量难闭环,失败原因是模型问题、提示词问题、还是数据问题往往说不清楚,回归测试也没有,一改 prompt 就提心吊胆。这三道门槛,是绝大多数项目都会先撞上的。
|
||||
@@ -0,0 +1 @@
|
||||
接下来我们看一下 Agent 的标准骨架。基本上可以分成四层。最上面是感知层,负责输入解析、多模态融合、上下文窗口管理。第二层是推理层,承担 Plan、ReAct、Tree-of-Thought、Reflection 这些决策范式。第三层是行动层,把模型的决策落到工具调用、函数执行、API 编排上。最下面是记忆层,包括短期上下文、长期向量库和任务级缓存。每一层都有自己的工程化坑,但只要框架对了,每一层都能独立打磨和替换。
|
||||
@@ -0,0 +1 @@
|
||||
理解了四层骨架之后,下一个常见问题是:到底用哪种模式。简单说有三种。Workflow 是路径固定的 DAG,LLM 只负责填空,可预测、好调试,适合确定性任务。Agent 是路径动态的,运行时让模型自己决定下一步,最常用、也是大部分项目真正在做的事,适合半结构化的探索类任务。Multi-Agent 是多角色协作,把 Planner、Critic、Worker 拆开并发协作,灵活性最高,但复杂度也最高,只在真正需要长程任务的时候用。绝大多数生产场景,从 Agent 开始就够了。
|
||||
@@ -0,0 +1 @@
|
||||
把模式确定下来之后,最先开始做的就是工具编排。一个稳定的工具调用大致是六步:先解析任务、再选工具、然后调用执行、接着验证返回、必要时重试或回退、最后做结果汇总。每一步都要可观测,每一步都要有兜底。最常见的翻车点不在第一步而在第四步——大家往往拿到工具返回就直接喂给模型,缺了 schema 验证和业务规则校验,幻觉就是从这里漏进来的。
|
||||
@@ -0,0 +1 @@
|
||||
讲完工具,下面这页是我个人觉得最重要的一页:上下文工程。模型每天都在变,提示词也每天都在调,但真正决定一个 Agent 智不智能的,是它每一步看到了什么——也就是上下文。围绕这一个核心,至少要做好六件事:检索要稳,重排要准,截断要会取舍,记忆要分长短期,工具说明要够具体,系统提示要把人设、输出格式、安全规则都讲清楚。上下文工程做不好,模型再强也救不回来。
|
||||
@@ -0,0 +1 @@
|
||||
接下来切到运营视角。要上生产,你必须给自己装上四块表盘。第一块是任务成功率,目前这套系统跑到了百分之九十二点四,还在每周提升三个百分点。第二块是 P95 延迟,从初版的十一秒多,收敛到了四点八秒。第三块是单次任务成本,做了模型分级路由和检索结果缓存之后,单次成本压到了四毛二。第四块是三十天 SLO 达成率,靠多模型 fallback 兜住了上游事故,目前在百分之九十九点七。这四个数没有,就别谈上生产。
|
||||
@@ -0,0 +1 @@
|
||||
把这四个指标拉成时间轴,就能看到一条很真实的曲线。绿色是任务成功率,从最早的百分之七十一,一路爬到了百分之九十二点四。红色是单次成本,从一块二降到了四毛二。最关键的三个拐点都标在图上:第四周引入了 reranker,准确率跳了一档;第八周引入了 fallback,长尾任务的成本和失败率一起被压下来;第十一周引入了结果缓存,成本下了最大的一刀。每一次提升的背后,都对应一个具体的工程动作,不是靠运气,也不是靠换模型。
|
||||
@@ -0,0 +1 @@
|
||||
聊一聊会遇到的失败。大致可以分到四个象限。左上是高频浅层的工具错误,schema 不匹配、参数幻觉、超时无回退,这一类靠提前校验就能挡住。左下是低频但麻烦的死循环,反思链路没有终止条件,Plan 反反复复改,必须设硬性停机条件。右下是更难处理的幻觉,编造工具、编造结果,甚至假装成功,这一类只能靠 Grounding,让每一步都对接真实数据源。右上是隐蔽的成本失控,Token 漂移、重复检索、链路套娃,必须做计量和上限。预案的关键,是分类别准备,不是事后扑火。
|
||||
@@ -0,0 +1 @@
|
||||
把这些东西整合起来,给一个十二周可执行的落地路线。第一阶段是前三周,跑通最小可用的原型,金标准 case 通过率到八成以上,再进下一阶段。第二阶段是第四到第七周,把评估集铺到一百条以上,自动回归点亮绿灯,重试和降级机制全部上。第三阶段是第八到第十周,规模化,加缓存、加限流、做多租户隔离、做模型分级路由。第四阶段是第十一到第十二周,灰度上线,从百分之一到百分之十再到全量,盯住 SLO,让飞轮真正转起来。每个阶段都要有"通关"硬指标,否则就只是在赶进度。
|
||||
@@ -0,0 +1 @@
|
||||
最后总结一句话。所谓的 Agent 工程化,不是给系统里加一个 LLM 就完事了,而是把 LLM 真正装进一个有架构、有上下文、有评估、有可观测的工程系统里。这四件事一起做,Agent 才能从 Demo 走到生产。希望今天分享的这套框架,能帮到正在路上的你。谢谢大家。
|
||||
@@ -0,0 +1,69 @@
|
||||
# 01_cover
|
||||
|
||||
大家好,欢迎来到这次技术分享。今天的主题是 AI Agent 工程化与落地——也就是说,我们不聊新模型,不聊新论文,专门聊一件事:怎么把那些跑得动 Demo 的 Agent,真正搬进生产环境里。
|
||||
|
||||
---
|
||||
|
||||
# 02_hero_demo_to_prod
|
||||
|
||||
先抛一个让人有点不舒服的事实。在我和很多团队的交流里,大约九成的 Agent 项目最后都停在了 Demo 阶段。原因不是模型不够强,也不是想法不够好,而是要进生产,需要跨过四道工程化门槛——架构、上下文、评估、可观测。这四件事一件没做,Demo 就永远只能是 Demo。
|
||||
|
||||
---
|
||||
|
||||
# 03_three_pains
|
||||
|
||||
第一道是性能不稳定,多步推理一叠加,每一步五到十个百分点的抖动累计起来,整体成功率就会断崖式下滑,P95 延迟更是常常翻五到十倍。第二道是成本不可预测,同一个任务在不同上下文长度下,单次 token 消耗能漂移五到五十倍,长尾任务尤其会吞掉预算。第三道是质量难闭环,失败原因是模型问题、提示词问题、还是数据问题往往说不清楚,回归测试也没有,一改 prompt 就提心吊胆。这三道门槛,是绝大多数项目都会先撞上的。
|
||||
|
||||
---
|
||||
|
||||
# 04_agent_architecture
|
||||
|
||||
接下来我们看一下 Agent 的标准骨架。基本上可以分成四层。最上面是感知层,负责输入解析、多模态融合、上下文窗口管理。第二层是推理层,承担 Plan、ReAct、Tree-of-Thought、Reflection 这些决策范式。第三层是行动层,把模型的决策落到工具调用、函数执行、API 编排上。最下面是记忆层,包括短期上下文、长期向量库和任务级缓存。每一层都有自己的工程化坑,但只要框架对了,每一层都能独立打磨和替换。
|
||||
|
||||
---
|
||||
|
||||
# 05_three_modes
|
||||
|
||||
理解了四层骨架之后,下一个常见问题是:到底用哪种模式。简单说有三种。Workflow 是路径固定的 DAG,LLM 只负责填空,可预测、好调试,适合确定性任务。Agent 是路径动态的,运行时让模型自己决定下一步,最常用、也是大部分项目真正在做的事,适合半结构化的探索类任务。Multi-Agent 是多角色协作,把 Planner、Critic、Worker 拆开并发协作,灵活性最高,但复杂度也最高,只在真正需要长程任务的时候用。绝大多数生产场景,从 Agent 开始就够了。
|
||||
|
||||
---
|
||||
|
||||
# 06_tool_orchestration
|
||||
|
||||
把模式确定下来之后,最先开始做的就是工具编排。一个稳定的工具调用大致是六步:先解析任务、再选工具、然后调用执行、接着验证返回、必要时重试或回退、最后做结果汇总。每一步都要可观测,每一步都要有兜底。最常见的翻车点不在第一步而在第四步——大家往往拿到工具返回就直接喂给模型,缺了 schema 验证和业务规则校验,幻觉就是从这里漏进来的。
|
||||
|
||||
---
|
||||
|
||||
# 07_context_engineering
|
||||
|
||||
讲完工具,下面这页是我个人觉得最重要的一页:上下文工程。模型每天都在变,提示词也每天都在调,但真正决定一个 Agent 智不智能的,是它每一步看到了什么——也就是上下文。围绕这一个核心,至少要做好六件事:检索要稳,重排要准,截断要会取舍,记忆要分长短期,工具说明要够具体,系统提示要把人设、输出格式、安全规则都讲清楚。上下文工程做不好,模型再强也救不回来。
|
||||
|
||||
---
|
||||
|
||||
# 08_kpi_dashboard
|
||||
|
||||
接下来切到运营视角。要上生产,你必须给自己装上四块表盘。第一块是任务成功率,目前这套系统跑到了百分之九十二点四,还在每周提升三个百分点。第二块是 P95 延迟,从初版的十一秒多,收敛到了四点八秒。第三块是单次任务成本,做了模型分级路由和检索结果缓存之后,单次成本压到了四毛二。第四块是三十天 SLO 达成率,靠多模型 fallback 兜住了上游事故,目前在百分之九十九点七。这四个数没有,就别谈上生产。
|
||||
|
||||
---
|
||||
|
||||
# 09_metrics_trend
|
||||
|
||||
把这四个指标拉成时间轴,就能看到一条很真实的曲线。绿色是任务成功率,从最早的百分之七十一,一路爬到了百分之九十二点四。红色是单次成本,从一块二降到了四毛二。最关键的三个拐点都标在图上:第四周引入了 reranker,准确率跳了一档;第八周引入了 fallback,长尾任务的成本和失败率一起被压下来;第十一周引入了结果缓存,成本下了最大的一刀。每一次提升的背后,都对应一个具体的工程动作,不是靠运气,也不是靠换模型。
|
||||
|
||||
---
|
||||
|
||||
# 10_failure_modes
|
||||
|
||||
聊一聊会遇到的失败。大致可以分到四个象限。左上是高频浅层的工具错误,schema 不匹配、参数幻觉、超时无回退,这一类靠提前校验就能挡住。左下是低频但麻烦的死循环,反思链路没有终止条件,Plan 反反复复改,必须设硬性停机条件。右下是更难处理的幻觉,编造工具、编造结果,甚至假装成功,这一类只能靠 Grounding,让每一步都对接真实数据源。右上是隐蔽的成本失控,Token 漂移、重复检索、链路套娃,必须做计量和上限。预案的关键,是分类别准备,不是事后扑火。
|
||||
|
||||
---
|
||||
|
||||
# 11_roadmap
|
||||
|
||||
把这些东西整合起来,给一个十二周可执行的落地路线。第一阶段是前三周,跑通最小可用的原型,金标准 case 通过率到八成以上,再进下一阶段。第二阶段是第四到第七周,把评估集铺到一百条以上,自动回归点亮绿灯,重试和降级机制全部上。第三阶段是第八到第十周,规模化,加缓存、加限流、做多租户隔离、做模型分级路由。第四阶段是第十一到第十二周,灰度上线,从百分之一到百分之十再到全量,盯住 SLO,让飞轮真正转起来。每个阶段都要有"通关"硬指标,否则就只是在赶进度。
|
||||
|
||||
---
|
||||
|
||||
# 12_cta_closing
|
||||
|
||||
最后总结一句话。所谓的 Agent 工程化,不是给系统里加一个 LLM 就完事了,而是把 LLM 真正装进一个有架构、有上下文、有评估、有可观测的工程系统里。这四件事一起做,Agent 才能从 Demo 走到生产。希望今天分享的这套框架,能帮到正在路上的你。谢谢大家。
|
||||
Reference in New Issue
Block a user