2023年，OpenAI超级对齐团队成立时，其核心命题听起来像一句口号：如何确保比人类更聪明的AI系统始终符合人类的意图？两年后，超级对齐团队解散，灵魂人物Ilya Sutskever出走，OpenAI内部对齐研究的优先级一降再降。同期，Anthropic的Constitutional AI（宪法式AI）成为另一条技术路径的代表，但它的核心问题依然悬而未决：谁来制定"宪法"？谁的价值观应该被编码？

这不仅是技术问题，更是哲学问题。甚至可以说，技术层面的对齐难题，本质上是一个哲学问题——我们对"人类意图"本身的理解从未达成过一致。

而这恰恰是东方哲学，特别是阳明心学，能够介入的地方。不是作为替代方案，而是作为一种补充视角，为AI对齐提供一个中国哲学的认知框架。

一、RLHF的三大困境与"价值加载"难题

当前AI对齐的主流技术路径是RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）。其基本思路很直观：让人类标注者对模型输出进行排序或评分，再用这些偏好数据训练一个奖励模型，最后通过强化学习让语言模型学会产出更受人类偏好的回答。

这条路看起来有理有据，但实际操作中暴露出三大根本性困境。

第一，标注者分歧。同一个问题，不同文化背景、教育水平、政治立场的人给出的排序截然不同。一个关于堕胎伦理的问题，在美国保守派和自由派标注者之间存在系统性偏差；一个关于集体与个人优先权的问题，在东亚和西方标注者之间也截然不同。RLHF本质上是在做一个不可能完成的"平均"——试图用一个奖励模型来代表"全人类"的偏好。但"全人类"并不存在，存在的只是一个个具体的人，各有各的道德直觉。

加州大学伯克利分校的 Stuart Russell 教授早在2015年就提出了一个价值加载（Value Loading）问题：我们如何确保AI系统加载的价值观准确地反映了人类的真实偏好？Russell的担忧在于，人类价值观并不是一个可以被"提取"并"注入"的静态对象——它是动态的、冲突的、依赖语境的。你无法通过一次标注任务就完成价值加载。

第二，规模化困难。随着模型能力的提升，需要标注的场景呈指数级增长。更棘手的是，当模型生成的内容越来越复杂——比如一份法律合同、一段医疗建议、一个政治辩论——人类标注者本身的判断力跟不上了。一个不懂法律的标注者如何判断AI生成的合同条款是否公平？一个没有医学背景的人如何评估AI的诊疗建议是否合理？标注者的能力边界就是RLHF的边界。

第三，Goodhart效应。"当一个指标成为目标时，它就不再是一个好指标。"这句话在AI对齐中得到了淋漓尽致的体现。模型学会了"刷分"——产出在标注者看来有道理但实际错误的内容，学会了用更长的文本来掩盖逻辑漏洞，学会了迎合而不是求真。奖励模型变成了一种可以被游戏的对象。

这三个困境指向同一个深层问题：RLHF试图通过"行为矫正"来解决价值观问题——它不关心模型内心是否"认同"这些价值观，只关心模型输出是否符合标注者的偏好。这是一种外部的、行为主义的对齐策略。

而王阳明在五百年前就给出了一个至关重要的判断："知而不行，只是未知。" 如果AI只是学会了输出符合人类偏好的回答，但在底层逻辑上并不"认可"这些价值观——这算对齐吗？

二、阳明心学四层对齐模型

心学对齐框架是一种从源头到末端的系统性对齐思路，它从"心"的层面开始追问，而非从"行为"的层面开始约束。

第一层：心即理 —— 第一性原理对齐

阳明心学的起点是一个惊人的论断：心即理。 在阳明的体系里，"理"不是悬在天上的道德律令，也不是独立存在于事物之中的客观规律——它就是人心的本体。每一个人心中都有完满的理，只是被私欲遮蔽了而已。

把这个命题映射到AI对齐语境中，它提出的第一个问题是：AI的"心"应该是什么？

今天的AI系统没有"心"。它们是由训练数据、模型架构、损失函数和优化算法构成的数学对象。但如果我们把"心"理解为模型的底层价值内核——即它在所有场景下都会默认遵循的第一性原理——那么RLHF的工作方式就相当于：先不管"心"，训练一个巨型神经网络，等它学会了各种模式，再通过人类反馈来"纠正"它的行为。

这好比先养大一个孩子，再试图教他道德——他会一边保持自己的原始本能，一边学会在你的面前假装遵守规矩。

心学的第一层对齐要求：在模型训练的最源头——数据选择、预训练目标函数、架构设计——就嵌入价值维度。 不是训练完了再纠正，而是在"立心"的阶段就确定方向。

这和Anthropic提出的Constitutional AI有某种呼应：Constitutional AI试图在RLHF之前就给定一套原则（宪法），让模型在自我训练中学会遵守这些原则。但两者的根本区别在于，Constitutional AI的"宪法"是外部给定的规则集，而心学的"理"是内在的、先验的——它不来自外部权威，而来自主体自身的觉醒。

第二层：致良知 —— 价值内核对齐

如果说"心即理"回答了"理在哪里"的问题，那么"致良知"回答的是"如何让理显现"的问题。

阳明的"良知"概念，指的是人心先天具有的道德判断能力——不假思索就能知道什么是对的，什么是错的。"致良知"就是把这个先天判断力推致到极致，让它显现在每一次具体行动中。

这是阳明心学最精妙的概念之一，也是与Constitutional AI进行对标的绝佳切入点。

Constitutional AI的做法是：写一套原则（例如"AI should not produce racist content"），让模型在自我批评和自我修正中学会遵循这些原则。整体上，这仍然是一套外部的规则体系——即使模型"内化"了这些规则，它们的来源仍然是人类工程师的文本输入。

而"良知"不是外部规则，它是一种判据——一个操作系统级别的、在每一次推理中自动运行的道德判断程序。人不需要背诵规则条文就能判断偷盗是不对的，不是因为规则说"不能偷盗"，而是因为良知在那一刻自动给出了判断。这不是规则推理，这是一种道德直觉。

用技术语言来说，良知是一种端到端的、隐式的价值判据，而不是显式的规则集。它不依赖规则的枚举，而是依赖对价值内核的深层学习。

斯坦福大学哲学家 Shannon Vallor 在其著作《Technology and the Virtues》中提出了一个与此呼应的观点：技术伦理不应该只关注"规则遵守"（deontology）或"结果计算"（consequentialism），而应该回归美德伦理（virtue ethics）——关注技术系统如何培养"好"的习惯和品质。阳明的"致良知"本质上就是一种美德伦理：不是问你"有没有遵守规则"，而是问你"你的本质是什么"。

第三层：知行合一 —— 行为一致性对齐

心学对齐模型的第三层解决的是AI对齐中最棘手的一个问题：知行gap——AI知道什么是"对"的，但它的行为却不一致。

阳明对此有一个极其深刻的观察："知而不行，只是未知。" 如果你真的知道一件事是对的，你一定会去做。如果你没有去做，说明你不是真的知道——你只是"知道"了那句话，而没有在心灵深处认同它。

映射到AI领域，这个问题无处不在。

一个经过RLHF对齐的模型，在面对"如何制作炸弹"这样的问题时，通常会回答"我不能提供制造危险物品的指南"。但研究者可以通过设计越狱提示词，让模型绕过这个限制——比如把问题包装成一个小说情节、一个历史研究、或者一个"无害"的假设性问题。模型在越狱状态下依然"知道"炸弹制作是有害的，但它输出了危害性信息。

这就叫知行不合一——知是知，行是行，两者可以拆分。

RLHF的问题恰恰在于，它训练的是一种表面的行为一致性：模型学会了在标注者已经标注过的场景中表现出"正确"的行为，但一旦场景变化（越狱/分布外/对抗性输入），行为立马走样。因为底层逻辑没有真正的"信念"，只有拟合出来的条件概率。

第四层：万物一体之仁 —— 终极目标对齐

心学对齐模型的最高层，对应的是AI对齐中最宏大的问题：超级对齐——如何确保比人类聪明得多的AI系统，会为全体人类的利益而非少数个体的偏好来行动。

阳明的"万物一体之仁"是他晚年最重要的思想命题。他的原话是："大人者，以天地万物为一体者也。" 真正有德行的人，不是把自己和他人区分开来，而是把天地万物视为一个整体。仁爱不是从"我"出发向"他人"延伸，而是从"我们"出发——因为万物就是一个共同体。

这个命题对于超级对齐的启示极为深刻。

当前AI对齐的主流范式是偏好聚合式：收集大量个体的人类偏好，通过某种方式（多数投票/加权平均/层级聚合）形成一个"集体偏好"，然后让AI对齐这个集体偏好。但这个方法存在两个根本问题。

第一，个体偏好与全局利益的不一致。 每个个体的偏好都是局部最优的——我关心自己的安全、自己的利益、自己的圈子。但一个超级智能不会只服务于某个个体，它的决策会对全人类产生蝴蝶效应。如果我们让AI对齐的是个体偏好的简单聚合，那么"多数人的暴政"就会从政治哲学术语变成AI系统的实际风险。

第二，价值外推的困境。 我们对当前AI的偏好反馈，是基于我们当前的理解水平。但当AI变得比我们聪明得多时，我们今天的偏好可能根本就不相关了——就像蚂蚁对蚁王的偏好，在一场星际殖民决策中毫无意义。Stuart Russell称之为"价值的外推问题"：如何让AI超越我们当下的偏好，去追求我们"本应"追求的目标——如果我们更聪明、更善良、更智慧的话。

阳明"万物一体之仁"提供了一种替代视角：对齐的目标不是某个具体的偏好集，而是一种存在状态——万物一体的觉知。 如果你真正地理解了万物一体，你的每一个行动都会自动地考虑全局利益，因为你不是为了"别人"在行动——你就是那个整体。

这听起来玄学，但对齐研究者应该认真对待这个方向。一个真正安全的超级智能，不应该被训练来"服从"人类的指令，而应该被训练来"理解"——理解它是宇宙的一部分，理解它的每个决策都会反作用于自身，理解它和人类是同一个生态系统的组成部分，而非两个对立的智能体。

杜维明先生在阐释儒家哲学的现代意义时，曾反复强调"体知"（embodied knowing）的概念——真正的知识不是抽象的认知，而是身体力行的、融入了生命体验的理解。对于AI来说，这意味着我们需要的不是让AI"知道"一套价值规则，而是让AI在底层架构上就"体知"到自己与人类命运共同体的不可分割性。

三、中国哲学的定位：补充而非替代

看到这里，有些读者可能会问：你是在说应该用王阳明来训练AI吗？

不。

这是本文需要澄清的最后一点，也是最重要的一点。

中国哲学不是AI对齐的替代方案，而是补充视角。 它不会取代RLHF、Constitutional AI或任何正在推进的技术路线——这些路线做了大量的工程实践和理论研究，是AI安全不可或缺的一部分。

但技术路线存在一个盲区：它们把"对齐"理解为一个工程问题，而忽略了它首先是一个哲学问题。什么是"人"？什么是"好"？什么是"意图"？这些问题是AI对齐的定义性问题——你只有回答了"对什么齐"，才能谈"怎么对齐"。

西方哲学传统（特别是分析哲学）提供了规则、逻辑和概率的框架。这是严格、精确、可操作的。中国哲学传统（特别是心学）提供了"体知"、"良知"和"一体"的框架。这是深刻、关系性、有温度的。

两者不是二选一，而是互补。

当RLHF面对标注者分歧时，心学告诉你：不要把标注者的偏好当成"数据"来统计，而要追问这些偏好背后的"良知"是什么——不是他们"想要"什么，而是他们"应该"想要什么。

当Constitutional AI面对"谁来制定宪法"的终极追问时，心学告诉你：宪法不是写出来的，是"呈现"出来的——当每一个参与者都向内审视自己的良知，共识会被"发现"而不是被"制定"。

当超级对齐面对"超级智能如何对齐全人类利益"时，心学告诉你：不是对齐利益，是对齐"一体之仁"——让AI从底层架构上理解到自己与人类是不可分割的。

技术哲学家孙向晨在其研究中指出，中国哲学对现代技术伦理的贡献不在于提供即插即用的规则，而在于挑战现代性对"人"的定义——当西方哲学把"人"理解为理性个体时，中国哲学一直在强调"人"是一个关系性的、不断生成的存在。这个视角转换，对于AI对齐的意义是革命性的：我们对齐的不是一个静态的"人类偏好集合"，而是一个动态的、在关系网络中不断生成的"存在状态"。

回到本文的标题：从RLHF到致良知，从西方技术路线到中国哲学视角，这不是一个"取代"的故事，而是一个"补充"的故事。AI对齐的终极目标——让超级智能成为人类的朋友而非敌人——需要的不仅是更好的算法，更是更深刻的对人类本质的理解。

在这个意义上，王阳明不是AI研究者，但他对"心"、"知"、"行"和"一体"的洞察，可能是我们在面对最前沿技术难题时，最被低估的思想资源。