ChatGPT 都出来 3 年了，我作为一个计算机博士生，直到现在才了解大语言模型背后的原理。起因是我在找工作，那个公司要求做一个后训练 (Post Training, 具体来说是 RLHF) 的系统。我一开始觉得很难，因为我从来没有接触过。截止日期当天，我也没事做，就说试试吧，结果不到三个小时就弄完了 。背后的数学原理我觉得和初中数学，甚至小学数学差不多。这让我开始反思，连我一个 CS 在读博士都被那些看起来很高端的术语比如 Post-training, SFT, RLHF, DPO, LoRa, GRPO 给唬住了，我很难想象一个大学文科毕业的学生会有一丝一毫自己 …