Science of AI

把 AI 本身作为一种复杂科学系统来研究,探索 Scaling Law、能力涌现、强化学习与智能结构背后的普遍规律。

把 AI 本身作为科学研究对象

当模型能力随规模、训练与交互持续演化,研究目标需要从“如何构建更强模型”进一步走向“哪些机制产生了这些能力”。

核心命题: 将 AI 视为可观测、可解释、可预测的复杂系统,寻找跨模型、跨训练方法和跨任务成立的普遍规律。
Q1

Scaling Law 为什么出现?

解释模型、数据和计算规模扩大时,性能为何呈现稳定的幂律关系,以及这种关系何时失效。

Q2

涌现能力从何而来?

识别复杂能力出现所依赖的表征、数据结构、训练动态与系统尺度。

Q3

强化学习如何改变模型行为?

研究奖励、探索、反馈与策略更新如何共同塑造推理、对齐和自主决策。

Q4

智能是否存在统一的数学结构?

寻找连接学习、推理、记忆、泛化与规划能力的共同变量和数学关系。

Q5

人工智能与人类智能有哪些共同机制?

比较机器与人类在表征形成、预测、压缩、学习和协作中的共性与差异。

从套用理论到创造理论

现有数学、物理和神经科学提供重要工具,但智能系统可能需要新的状态变量、临界概念和可检验理论。

理论边界: Science of AI 不能仅仅是“将已有物理理论套到神经网络上”,还应该产生新的科学概念和理论。
可观测量

定义新的可观测量

找到能够描述智能状态、能力边界和系统复杂度的宏观变量,而不只依赖参数量与任务分数。

临界性

识别临界行为

判断推理、泛化与协作能力是否存在相变、阈值、迟滞或其他可重复的临界现象。

理论

建立可检验理论

从经验曲线走向能够预测新模型、新训练制度和新交互环境中行为变化的科学理论。

需要回答的未来科学问题

这些问题把模型能力、学习过程与多智能体行为转化为可测量、可解释、可验证的研究对象。

问题 1

智能是否具有类似热力学变量的宏观描述?

探索是否存在能够跨模型概括能力、复杂度、稳定性和适应性的少量宏观状态变量。

问题 2

推理能力是否存在相变点?

研究计算深度、训练规模或反馈强度跨过某一阈值时,推理能力是否发生结构性变化。

问题 3

能力涌现是连续变化还是临界跃迁?

区分真实的系统跃迁与评测尺度造成的表面突变,并寻找可重复的涌现判据。

问题 4

记忆、压缩、预测之间是否存在统一规律?

解释系统如何选择、压缩和调用信息,以及这些过程如何共同决定泛化与推理。

问题 5

上下文学习为何能够在不更新参数时产生新能力?

揭示上下文如何在固定参数系统中形成临时任务表示、学习规则与适应性行为。

问题 6

Agent 系统的协作和自主性是否存在普遍动力学规律?

研究多智能体在通信、竞争、分工和反馈中的集体状态、稳定条件与失效模式。

AI 科学研究框架

从宏观规律到群体智能,建立贯通观测、机制、理论和验证的研究路径。

视角 1
宏观规律 研究 Scaling Law、能力涌现、相变与跨尺度稳定关系,定义描述智能系统的宏观变量。
视角 2
学习动力学 解释预训练、强化学习、反馈与探索如何改变内部表征、策略形成和外部行为。
视角 3
信息机制 统一考察记忆、压缩、预测与上下文学习,寻找信息组织和能力生成之间的规律。
视角 4
群体智能 研究 Agent 协作、自主性、分工与竞争的普遍动力学,以及集体能力形成的边界条件。

目标:从 AI 工程走向能够解释、预测并检验智能规律的科学体系。