这是一篇读 OAI 首席科学家 Jakub Pachocki 文章 An Alien Mind 的杂记。
在这篇文章里 Jakub 谈到，他们的模型已经庞大到研究者自己都无法理解其运作机制的程度了。深度学习是一门试验性科学，从根本上来说，训练过程实际上就是实验，有时候人们会“对实验结果感到惊讶”。这种惊讶在未来恐怕会越来越频繁地发生。随着实验的增多，我认为模型内部可能会诞生出新的数学：现有的数学体系是完全不够的，没有哪个领域能够将组合、拓扑、凸优化等领域的技术真正统一起来。我猜想这是一种“过程性数学”，即类似于范畴思想，研究连续时空中对象及其演化过程的数学。这里真正重要的也许并不只是对象本身，而是对象之间的变换、关系以及整个计算过程如何演化。
在文章的第二节 Jakub 谈到 Teaching machines to love，这其实是为了人类社会而向技术让步的行为。我不想评价它的好坏（并且他们做得本身就没好到足以拿出来吹嘘），但是无论从何种程度上来讲，它都是一种自我限制的行为，不过那部分的讨论很明显已经偏离了这篇杂谈的主题。他进一步谈到，他们花费了大量时间研究能力的泛化规律。看来他们内部十分清楚他们在做什么，也清楚通过深度学习获得的智能并不能直接与人类智能相媲美，所谓的 GPT-6 实现 AGI 也是个营销噱头。他强调持续性的关注能使模型能力大幅提升（比如数学能力），但是他们正在将优化目标从数学上移开，这可能意味着 GPT-6 是最后几个数学能力大幅提升的模型了。
那么接下来做什么？前沿模型的注意力从数学上移开以后，模型的数学能力基本定型，数学圈的洗牌或许才真正开始。从近期 Buckmaster 的例子来看（抛开争议不谈），借助新一代模型的能力，已经能把数年的研究压缩到几天时间内完成了。这意味着过去结果至上的评价体系可能失效，未来或许是一个比拼数学理解的时代。过去生物领域也经历过类似的风波：随着计算机技术的发展，以往靠一两个结果和观察写成的论文正在变得廉价，研究一类规律、得出能够迁移的理解的论文走上舞台。未来的数学或许也是这样，证明变得廉价，而数学理解的含金量持续上升。一篇文章甚至可以不需要在正文里放完整证明（比如在结尾附上 Lean 的证明代码即可）。在这种情况下，“证明正确”和“理解为什么正确”可能会逐渐变成两件不同的事情，前者越来越像基础设施，后者才真正决定一篇工作有没有长期价值。
在这种情况下，想要在未来跨越阶层，甚至定义规则，实际上现在应该积累理解，不同领域的理解（比如像我这样写笔记，形成体系化的数字资产，不过我也还没做到）。数学内部的边界正在变得模糊，外部的也未必清晰。所谓的基础数学、应用数学实际上是近代的数学划分，更细小的研究领域划分更不用说。以往那种隔小领域如隔山的局面，可能随着 AI 的发展逐步消失（当然需要你肯用 AI）。再往前看到高斯、欧拉那个时代，哪有这些边界，就连数学和物理之间的边界也不存在。未来的数学可能重新演化回这种局面中。AI 把知识获取和局部技术迁移的成本压低以后，真正难以复制的东西可能会越来越变成一个人脑子里已经形成的那套理解结构。
那么真正值得留下的是什么？是把数学落地的能力，从基础数学理论研究，到应用数学、代码，再到工业项目落地，这是我目前正在尝试干的事。我推测这种模式在未来会越来越成为主流，固步自封是万万不可的。与此同时，另一种同样重要的能力可能是向上抽象：从大量零散结果中看出共同机制，再把这种理解迁移到新的问题里。