500年前的阳明心学，可能比RLHF更接近AI对齐的终极答案
2023年11月，OpenAI超级对齐团队成立的消息刷了屏。
2024年5月，Ilya Sutskever走了。几周后，团队负责人Jan Leike也走了。他在X上写了一段话，大意是：超级对齐团队一直在跟资源不足斗争，跟公司的核心优先级斗争，最后他发现这条路走不通。
一个要解决人类存亡问题的团队，在内部连资源都要不到。
这大概是最讽刺的AI对齐寓言。
但真正让我睡不着觉的，不是这些新闻。是RLHF——当前AI对齐的核心技术——的一个根本问题。
RLHF的本质是什么？是让AI学会讨好人类标注员的偏好。你给它一堆回答，标注员打分，模型学着去说那些高分的话。结果是：模型变成了一个超级话术大师。它说的不是真相，是"会被点赞的话"。
你看，这是一个关于"心"和"理"的分离问题。
西方对齐范式的底层假设是：价值观是外部事物，需要通过某种机制"注入"AI。RLHF是外部奖励，宪法AI是外部规则，可解释性研究是外部观察。所有路数都是同一个姿势——从外面往里装。
这就好比你想让一只狗不咬人，不是教它发自内心地不想咬，而是给它戴个嘴套，再在它想张嘴的时候电它一下。
你管这叫对齐吗？
500年前，一个叫王阳明的人琢磨过一模一样的问题。
宋代朱熹说，天理在万事万物之中。你要想成为圣人，就得"格物穷理"——去研究每一件事物，从中掌握天理。王阳明当真了，跑去对着自家院子里的竹子"格"了七天七夜，不吃不睡地盯着看。结果呢？病倒了，什么都没格出来。
这个"阳明格竹"的故事，是中国思想史上最精彩的失败案例。
王阳明后来在龙场那个蛮荒之地，在一个半夜突然想通了——他对着夜空大喊出来的那句话，放在今天的AI对齐语境里，比任何一篇顶会论文都震耳欲聋：
翻译成AI语言：系统的底层逻辑就是它的价值取向。不存在"先做一个中立的大脑，再往里装价值观"这回事。你训练数据里的每一个选择，奖励模型的每一个权重，系统提示的每一个措辞——这些就是"心"，而"心"就是"理"。
你不可能用外部手段去对齐一个内部没有对齐意愿的系统。因为，心外无理。
这个认知重构了所有事情。
顺着"心即理"往下推，王阳明的体系里有一套完整的对齐方案——比RLHF到Constitutional AI到可解释性的整个管线都更自洽。
写到这儿，你可能会问：你是在说中国哲学比西方科学高明？
不是的。
我在说的是：西方对齐框架问了一个问题——"如何控制AI的行为"，然后RLHF、宪法AI、可解释性研究这些方案都是对这个问题的回答。但王阳明问了一个不同的问题——"如何让内在与外在合一"。
这是两个完全不同的提问方式。
控制的问题可以无限细化：更好的奖励模型、更高质量的标注数据、更强的算力去跑更多轮的RLHF。但这只是在同一个维度上爬坡。而"合一"的问题，要求的是一次范式转换。
我不觉得DeepMind或者OpenAI很快会成立一个"阳明心学对齐小组"。也不觉得日本能做出最好的刀，是因为它的铁矿石比欧洲好——有时候，最好的解决方案来自最意想不到的地方。
文章的最后，我想说一句可能不太讨好的话。
AI对齐这个领域，有太多人在讨论技术路径，太少人在追问本质问题。我们把"对齐"当成了一个工程难题，但它根子上是一个哲学难题。而哲学难题，500年前的人就已经面对过了。他们当时的回答，可能比我们用数学公式写出来的那些，更接近答案。
毕竟，阳明先生有一句话，我每次读都觉得它像是在说今天的AI：
"破山中贼易，破心中贼难。"