在每次提问时,ChatGPT所消耗的电力相当于一个普通家庭使用一整天的电量。但菲尔兹奖得主陶哲轩却认为,这种技术背后的数学基础其实在高中教材中就已涉及。他彻底剖析了大型模型,得出的结论是:其中的关键仅有两项——微积分和矩阵乘法。不要急着关闭页面,虽然你可能觉得数学与自己无关,但这篇文章会让你在未来面对“AI黑箱”“神经网络”等相关术语时,心中更加从容。
训练模型的过程实际上类似于教小孩认识猫和狗。当模型第一次将猫认成狗时,我们会纠正它——“这实际上是猫”。模型同样会根据计算结果与真实答案比对,弄清楚错误的原因。此时,微积分便派上用场,用以计算每个参数对错误的贡献。例如,假设有一千个调节旋钮,微积分负责算出应该如何调节旋钮,以便下次做出正确的答案。这个过程被称为梯度下降,听起来复杂,其实就像下山寻找最低点,朝着坡度最大的方向前进,直到到达谷底。
那么,矩阵乘法的作用呢?可以将整个模型视为一个庞大的Excel表格,数字排列密集。你输入的句子会被转换为一串数字,与模型的参数矩阵进行运算,经过多层计算后,最终输出一个结果。当你问“苹果手机好用吗”时,模型首先将输入转化为数字,再经过层层乘法,最终得出“苹果手机在系统和生态方面有优势”的答案。它能区分“苹果”是水果还是公司,正是因为矩阵乘法自动计算了“苹果”与周围词的关联程度。 乐玩lewin-乐玩国际
可能此时你会疑惑:就这些,那为何构建大型模型如此复杂?答案不在于数学本身,而在于模型的规模。一个拥有千亿参数的模型,在进行一次前向计算时,需要进行极其庞大的矩阵乘法。训练这一模型需要反复将海量数据输入,运算梯度、调整参数,循环进行几百万到上亿次。
相比之下,你可以用纸和笔模拟一个简易模型,设置三层矩阵,手动调整参数并构建一个基础聊天机器人,一个周末就足够了。然而,要使其在实际应用中有效,参数数量、数据规模和计算实力必须大幅提升。只有当这些条件满足时,模型的性能才会自然显现。这是工程的成功,而非单纯的数学成就。
因此,那些将AI概念复杂化的科普内容,可能是由于不了解,或者故意让你感到“你无法理解”。陶哲轩的观点十分明确:真正的基础只有这两项工具。微积分负责优化,矩阵乘法负责计算,前者找出学习原因,后者则使模型生成结果。关注的核心应该在于它的计算方式以及可能出现的错误。 乐玩lewin-乐玩国际
如果有人告知你“只有博士才理解AI”,你可以告诉他,从原理上看,仅需高中数学水平。复杂性的来源是规模、数据量和计算成本,而这些与智商无关,仅仅是时间和金钱的问题。如果你有兴趣,可以尝试安装Python,进行几个矩阵乘法的练习,或编写一个简单的梯度下降示例,经过一个下午就能看到模型从随意猜测到逐渐满足准确性的转变。在那个时刻,你或许会跟我一样,意识到所谓的人工智能其实是相当切实的。