把生产验收闭环交给AI,在后朋克现场感受当下—— 周复盘 #1
继续记录我们的事件量化自动交易系统(Polytrader)的耕耘足迹 本周复盘 这周主要还是完善系统的信息检索能力,以及进行实现后的实际运行情况验收,并对系统目前的执行效率进行优化。 目前系统经过最近几个月的迭代和发现的问题的修复,算是初步具备了相对之前更健壮、更完善的信息检索架构和运行能力。 目前有了 Tavily 以及 Perplexity 作为双主要信息检索渠道,配合一些前置的基础或背景信息提供,以及后置的一些信息按需补充环节,对于公开信息的事件,已经具备了不错的信息检索、收集、整合以及分析的能力。 并且相关实现了信息置信度以及信息完整性分数这两个指标,用于作为当前阶段策略开发的一部分。 目前实盘已继续运行,进入更长期、稳定的数据和市场反馈收集阶段。 具体来看 一、系统核心功能与基建 1. 完成了多层信息检索架构的实盘运行验收(最新 Tavily + Perplexity,以及一些垂直渠道源协作的信息检索流程) 为信息检索架构设计并执行了 L1-L5 层的全面测试,分 4 次子阶段补跑了一批之前因为相关问题导致信息收集结果不太准确的历史事件的数据。 2. 系统执行流效率优化: 清除了系统执行流的一些涉及 LLM 阶段的定期大量冗余重复运行,每日减少了明显的 LLM 冗余调用浪费,适当提升了执行效率。 实现了交易前二次复核机制,在未通过的情况下系统会自动进行妥善的退避处理,代替之前的手动审核确认。 这样对于市场事件的预测和交易的执行流的状态流转更流畅、自洽。 本周最大的收获 这周最大的收获是在交易系统的工程方法上:工程方法论。 建立并应用了初步的任务验收闭环 ——利用Claude CLI 窗口在任务实现后直接进行生产验收检查,较大程度上增加了 AI 代理执行任务成果的预期确定性。 经过这几个月的量化交易系统的实现,我发现在功能和任务实现后,处理不符合预期的工程 bug 问题上,占用了较多不必要的时间。 所以这段时间,我就在想如何实现一个功能、机制或任务,从和 AI 协作实现,一直到生产环境中确定性表现符合预期,形成这样一个通过的闭环。 这样才能算是真正的实现,并且可以在很大程度上避免一个功能在实现之后(即使当时做了不少测试、审计甚至是一些验收),过了一段时间才发现问题。这个时候再去调试和解决,时间以及影响成本其实都会大很多。 所以目前我想到的最好办法是:理论上,一个功能或机制的实现,及其最终在生产环境中的通过,与这个任务的实现是一个整体。 就像吃饭与刷碗是一个整体一样(虽然我吃饭后,并不常常刷碗,哈哈)。 这样肯定要比之前更好。 这周在工作的过程中发现了一个比较务实的初步闭环方式,我觉得还挺有帮助的。 首先我需要简单说一下,我是如何与 AI 协作实现功能的,这样对于理解这个办法很重要。 我的开发工具是 Claude CLI。 任务协作方式是:每次几乎任何问题或实现,我都会起一个 tasks/task{num}.md,在里面写上本次的任务(无论是功能实现、debug,还是 ask)。 任务实现进度管理方式:我一般也是多窗口使用 Claude。无论大小任务,都会记录在项目的 working_memory.txt 中。其中简要记录了对应 Claude 窗口在做什么任务、以及当前的进度状态,包括如下: - 正在执行... - 正在写实现文档... - 正在按实现文档执行... - 已实现,待确认 - ———— 生产验收通过(OK) 备注: ...