AI 蒸馏人类经验的能力边界

一、引子：用 AI 蒸馏投资大师，为什么都不太像？

最近我系统调研了 GitHub 上八个宣称「用 AI 模拟巴菲特、芒格等投资大师」的开源项目，包括 AI Hedge Fund（51.7k ⭐）、GuruAgents（CIKM ‘25 论文）、女娲·Skill（10k+ ⭐）等。

这些项目的做法惊人地一致：从大师的著作中摘取知名语录 → 手工设定评分规则（ROE > 15%、D/E < 0.5）→ 写入 prompt → 让 LLM 以大师的口吻输出分析。没有人在微调模型，没有人在做偏好对齐——所有人的本质都是「人先理解大师，再把自己的理解翻译成 prompt」。

问题是，这样蒸馏出来的「AI 巴菲特」，在面对巴菲特的真实历史决策时表现如何？

我用巴菲特的 13F 公开持仓数据做了还原测试：给 AI 只有当时能看到的历史数据，看它能不能做出和真人一样的选择。结果很工整——经典价值投资标的（苹果，各种时点）：几乎全对。非经典标的（Costco 高 PE 买入、Charter 通信负净资产建仓）：几乎全错。

蒸馏出来的不是巴菲特，是格雷厄姆。

这引出一个更深层的问题：人类经验中，哪些部分可以被 AI 蒸馏，哪些永远不能？

二、ACT-R 的答案：L1、L1.5、L2

认知科学家 John Anderson 从 1970 年代开始构建的 ACT-R 理论，把人类知识分为三类。恰好对应 AI 蒸馏的三层精度边界。2026 年 4 月，36氪发表了一篇基于 ACT-R 分析 Skill 蒸馏能力的文章，将这个边界讲得很清楚。

L1：生产式规则 → 蒸馏效果最好

IF-THEN 规则。模型拿到就能执行。「如果流动比率 < 2.0，标记为财务强度不足」——这是巴菲特的操作手册，可以被完整编码。

SkillsBench（Li et al., 2026）的 84 个任务、7308 条测试轨迹提供了客观证据。加了 Skill 后，平均通过率提升 16.2 个百分点。但拆开看，效果极度不均衡：

  • 医疗健康领域：+51.9 个百分点（诊断手册是公开的，模型训练过但没被激活——Skill 做的是精准路由）
  • 软件工程领域：+4.5 个百分点（编程知识在大量 post-training 中本来就处于高激活状态，Skill 的边际增益很小）

同一套 Skill 机制，同一个模型，领域差异十倍。Skill 能做好的，是模型已经知道但没被激活的 L1 知识。

L1.5：扩散激活 → 「不完美但有用」

不是告诉模型做什么，而是把模型的输出分布往某个方向推。写「说人话」「多用短句」——模型本来就会，Skill 只是改变了检索权重。这是用户觉得「AI 变成了那个人」的主要来源，也是效果最不稳定的那一层。

Goodman（1955）论证过：给定有限范例，和这些范例兼容的可能模式是无限的。AI 永远无法从有限语料中唯一确定一个人的风格。多给几个范例确实更准，但极限在那里。

L2：效用（Utility）→ 写不出来，写出来就坏了

这是区分专家和熟手的核心。

ACT-R 中，Utility 是决定「哪条规则优先执行」的数值参数。十年经验的医生和刚毕业的住院医知道完全相同的诊断规则。但每一条规则上的 Utility 值截然不同。老医生知道什么时候该推翻指南。

SkillsBench 有一个反直觉的发现：写得越详细的 Skill，效果反而越差。 Comprehensive 级别（试图面面俱到）的通过率比 Detailed 级别下降了 2.9 个百分点。SWE-Skills-Bench（Han et al., 2026）测了 49 个真实项目 Skill，约 80% 对通过率零改善。

Polanyi（1966）的隐性知识理论解释了原因。骑自行车时，你的焦点意识在路面上，辅助意识在平衡、踩踏、重心。如果你强行把辅助意识拉到焦点位置——「现在关注你的每根手指」——骑行立刻崩溃。Utility 是辅助意识——它是被「做」出来的，不是被「想」出来的。写成语言的那一刻，它就不再是它了。

三、一个洞见：应用系统提升 L1，基模团队攻坚 L2

到这里，一个有意思的分工就浮现了。

Agent 框架提供的是 L1 能力

Claude Code、女娲·Skill、SPARK——这些应用层系统的核心功能是：读写文件、执行命令、编排步骤、多 Agent 并行调研。它们让 L1 层面的任务自动化变得极其高效。但它们没有在教模型怎么思考。 一个 skill 文件能告诉模型「先检查护城河再评估管理层」，但不能告诉模型「什么时候该推翻上面所有的检查」。

L2 的提升来自基模团队的后训练突破

AI 近年最令人震撼的能力跃升，不是在应用层发生的：

  • RLHF 偏好对齐：几百万对「好代码 vs 坏代码」的人类偏好 → 模型在权重层面隐式拟合出代码品味。AesCoder（ICLR 2026）用纯偏好奖励信号训练出的 4B 模型，在代码美学上超过了 GPT-4o。
  • 推理期算力：Fable 5、DeepSeek V4 在输出前内部自检——「这个设计 extensible 吗？」「命名一致吗？」——模型学会了无监督的自我审查。
  • Constitutional AI：自我批评 → 自我修正的训练循环，让模型获得了元认知——「我刚才写的那个设计有什么问题？」

这些都不是 Skill 文件能做到的。它们是权重级别的改变。

SPARK 的启示与环境交互的边界

SPARK（Zhou et al., NeurIPS 2026）提出了一套自动化技能蒸馏流程：让强模型在真实任务环境中探索试错 → 从成功轨迹中蒸馏 skill → 弱模型复用。在 86 个 Docker 化任务上，SPARK 生成的 skill 超过了人类手写的 skill。

但这套方法能否用于蒸馏巴菲特的投资判断？SPARK 依赖三个条件：Docker 容器提供确定性评分、可以反复交互试错、有足够的成功轨迹可供蒸馏。投资决策是开环问题。 没有 pytest 告诉你「这步对了」，也不能试一种策略等十年看收益。

所以，蒸馏投资大师比蒸馏编程技能更难——不是方法不好，是问题天然缺数据和反馈。

这个分工的推论

  1. 做 AI 应用的人，应该深耕 L1。 把可编码的流程自动化做到极致。女娲·Skill 的 6 Agent 并行调研、SPARK 的交互式技能蒸馏——这些都是 L1 工程的顶级实践。

  2. 别指望应用层攻克 L2。 如果模型本身没有足够的判断力，再好的 Skill 文件也写不出巴菲特的直觉。L2 能力的跃升——权重层面的隐式编码、推理期的自我审查、从有限决策中捕捉人类看不到的统计模式——依赖基模团队在预训练和后训练上持续攻坚。

  3. 但 L2 的天花板在动。 AesCoder 证明了小模型也能学品味，SPARK 证明了 AI 蒸馏的 skill 可以超过人类手写。这些不是发生在投资领域，但它们的方向一致：权重正在逐渐接管那些曾经只能由语言模糊描述的能力。