撰文：Tanya Malhotra新人注册送38元白菜

源泉：Marktechpost

编译：DeFi 之说念

图片源泉：由无界疆土AI用具生成新人注册送38元白菜

跟着生成性东说念主工智能在往时几个月的宏大收效，大型话语模子（LLM）正在束缚更正。这些模子正在为一些值得注主义经济和社会转型作念出孝顺。OpenAI 树立的 ChatGPT 是一个当然话语处理模子，允许用户生成有意旨的文本。不仅如斯，它还不错恢复问题，回来长段落，编写代码和电子邮件等。其他话语模子，如 Pathways 话语模子（PaLM）、Chinchilla 等，在效法东说念主类方面也有很好的发达。

大型话语模子使用强化学习（reinforcement learning，RL）来进行微调。强化学习是一种基于奖励系统的反馈开动的机器学习神志。代理（agent）通过完成某些任务并不雅察这些手脚的效果来学习在一个环境中的发达。代理在很好地完成一个任务后会获得积极的反馈，而完成地不好则会有相应的惩处。像 ChatGPT 这么的 LLM 发达出的超卓性能皆要归功于强化学习。

ChatGPT 使用来自东说念主类反馈的强化学习（RLHF），通过最小化偏差对模子进行微调。但为什么不是监督学习（Supervised learning，SL）呢？一个基本的强化学习范式由用于熟习模子的标签构成。然而为什么这些标签不可平直用于监督学习神志呢？东说念主工智能和机器学习接头员 Sebastian Raschka 在他的推特上共享了一些原因，即为什么强化学习被用于微调而不是监督学习。

不使用监督学习的第一个原因是，它只展望品级，不会产生连贯的反应；该模子只是学习汲取熟习集同样的反应打上高分，即使它们是不连贯的。另一方面，RLHF 则被熟习来意料产生反应的质料，而不单是是排行分数。

Sebastian Raschka 共享了使用监督学习将任务再行表述为一个受限的优化问题的念念法。蚀本函数推敲了输出文本损成仇奖励分数项。这将使生成的反应和排行的质料更高。但这种神志只好在方针正确产生问题-谜底对时才智收效。然而积累奖励关于罢了用户和 ChatGPT 之间的连贯对话亦然必要的，而监督学习无法提供这种奖励。

不选择 SL 的第三个原因是，它使用交叉熵来优化标志级的蚀本。固然在文本段落的标志水平上，改反抗应中的个别单词可能对举座蚀本只好很小的影响，但若是一个单词被辩说，产生连贯性对话的复杂任务可能会十足改造陡立文。因此，只是依靠 SL 是不够的，RLHF 关于谈判总共这个词对话的布景和连贯性是必要的。

监督学习不错用来熟习一个模子，但阐明教养发现 RLHF 常常发达得更好。2022 年的一篇论文《从东说念主类反馈中学习回来》裸露，RLHF 比 SL 发达得更好。原因是 RLHF 谈判了连贯性对话的积累奖励，而 SL 由于其文本段落级的蚀本函数而未能很好作念到这少量。

像 InstructGPT 和 ChatGPT 这么的 LLMs 同期使用监督学习和强化学习。这两者的推敲关于罢了最好性能至关迫切。在这些模子中，领先使用 SL 对模子进行微调，然后使用 RL 进一步更新。SL 阶段允许模子学习任务的基本结构和实质新人注册送38元白菜，而 RLHF 阶段则完善模子的反应以栽种准确性。

• 白菜
• 新人
• 注册
• 38元
• RLHF