【人工智能】OpenAI科学家Hyung Won Chung演讲精华版 | 2023年的大模型 | 涌现 | Transformer | 并行训练 | 后训练阶段 | 奖励模型 | 目标函数学习

 

近日，OpenAI 研究科学家 Hyung Won Chung 在首尔国立大学做了题为「Large Language Models (in 2023)」的演讲。在这次演讲中，他谈到了大型语言模型的涌现现象以及大模型的训练和学习过程，其中包括预训练和后训练阶段，最后他还展望了一下未来，认为下一次范式转变是实现可学习的损失函数。 Hyung Won Chung 是一位专攻大型语言模型的研究者，博士毕业于麻省理工学院，之后曾在谷歌大脑工作过三年多时间，于今年二月份加入 OpenAI。他曾参与过一些重要项目的研究工作，比如 5400 亿参数的大型语言模型 PaLM 和 1760 亿参数的开放式多语言语言模型 BLOOM（arXiv:2211.05100）。 原视频地址：https://www.youtube.com/watch?v=dbo3kNKPaUA #人工智能 #openai #llm