RLHF 之路：强化学习复习之上篇
写在前面 决定开启一个新系列，是时候系统性地学习一下 Alignment、RLHF 等相关内容了。 学习过程中，经常会在一些公式推导上卡住，可能是因为之前的基础不够扎实，加上学过的内容遗忘较多。 于是，希望通过这一系列的笔记，帮助自己系统地回顾RL、和学习RLHF等内容。（顺带把之前手写的笔记电子化） ...
写在前面 决定开启一个新系列，是时候系统性地学习一下 Alignment、RLHF 等相关内容了。 学习过程中，经常会在一些公式推导上卡住，可能是因为之前的基础不够扎实，加上学过的内容遗忘较多。 于是，希望通过这一系列的笔记，帮助自己系统地回顾RL、和学习RLHF等内容。（顺带把之前手写的笔记电子化） ...