Scaling Law 为什么出现?
解释模型、数据和计算规模扩大时,性能为何呈现稳定的幂律关系,以及这种关系何时失效。
把 AI 本身作为一种复杂科学系统来研究,探索 Scaling Law、能力涌现、强化学习与智能结构背后的普遍规律。
当模型能力随规模、训练与交互持续演化,研究目标需要从“如何构建更强模型”进一步走向“哪些机制产生了这些能力”。
解释模型、数据和计算规模扩大时,性能为何呈现稳定的幂律关系,以及这种关系何时失效。
识别复杂能力出现所依赖的表征、数据结构、训练动态与系统尺度。
研究奖励、探索、反馈与策略更新如何共同塑造推理、对齐和自主决策。
寻找连接学习、推理、记忆、泛化与规划能力的共同变量和数学关系。
比较机器与人类在表征形成、预测、压缩、学习和协作中的共性与差异。
现有数学、物理和神经科学提供重要工具,但智能系统可能需要新的状态变量、临界概念和可检验理论。
找到能够描述智能状态、能力边界和系统复杂度的宏观变量,而不只依赖参数量与任务分数。
判断推理、泛化与协作能力是否存在相变、阈值、迟滞或其他可重复的临界现象。
从经验曲线走向能够预测新模型、新训练制度和新交互环境中行为变化的科学理论。
这些问题把模型能力、学习过程与多智能体行为转化为可测量、可解释、可验证的研究对象。
探索是否存在能够跨模型概括能力、复杂度、稳定性和适应性的少量宏观状态变量。
研究计算深度、训练规模或反馈强度跨过某一阈值时,推理能力是否发生结构性变化。
区分真实的系统跃迁与评测尺度造成的表面突变,并寻找可重复的涌现判据。
解释系统如何选择、压缩和调用信息,以及这些过程如何共同决定泛化与推理。
揭示上下文如何在固定参数系统中形成临时任务表示、学习规则与适应性行为。
研究多智能体在通信、竞争、分工和反馈中的集体状态、稳定条件与失效模式。
从宏观规律到群体智能,建立贯通观测、机制、理论和验证的研究路径。
目标:从 AI 工程走向能够解释、预测并检验智能规律的科学体系。