AI Service Lab
把异步服务、模型调用和 Agent Loop 拆成可测试的最小工程,记录从 Python 后端到 LLM Agent Runtime 的实践过程。
当前模块asyncio · Provider · Tool
运行入口FastAPI · Mock Agent Loop
验证方式pytest · 异步回归测试
当前做了什么
仓库从异步 Python 服务基础开始,逐步加入模型 Provider、工具调用和 Agent Loop。当前已经有 Mock Agent Loop,先用确定性结果验证调度流程,再接入真实模型。
工程边界
- 当前重点是请求生命周期、异步调度和工具编排,不包装成完整 Agent 框架。
- 优先验证超时、异常、取消和阻塞调用等失败路径,再扩展 RAG 与 MCP。
- 模型调用使用接口隔离,避免业务逻辑直接绑定某一家 API。
下一步
补充 Tool Calling 的参数校验、超时和重试策略,增加 trace 与成本记录,再把 Agent Runtime 接入可重复运行的评测样例。