人人都能看懂的 ChatGPT 原理课--掘金小册课程推荐/优惠

你将获得

• ChatGPT 为什么能够与人进行对话？
• ChatGPT 的内部结构长什么样？
• ChatGPT 是如何被训练出来的？
• ChatGPT 会对人类生活产生什么影响？
• 未来的人工智能模型发展趋势是什么？

作者介绍

JioNLP，自然语言处理算法专家，GitHub 开源软件 JioNLP 千星作者，目前从事多模态图文理解模型研发。

小册介绍

2022 年 11 月 30 日，OpenAI 机构非常低调地发布了一个聊天机器人—— ChatGPT。它是一种软件应用程序，旨在根据用户的提示，模仿类似人类的对话。

ChatGPT 可谓是相当炸街，堪称万能工具，不论是根据用户指令写新闻稿，询问技术问题，还是检查代码 Bug，寻求建议信息，统统都可以做出较为恰当的回复，具有很强的参考意义。

在 ChatGPT 发布的一周之内，有超过一百万的用户尝试了这个线上工具。一个月之内，ChatGPT 的账户注册数量就达到了一个亿，这个爆发式增长的速度打破了纪录。

围绕 ChatGPT 展开的各种技术创新也爆发式地涌现了出来，比如 Prompt 工程、AutoGPT、DeepSpeed 等等。各个互联网科技公司也都竞相发布自己的类 ChatGPT 产品模型。

与此同时，互联网上也充斥着各种博眼球的标题：

• ChatGPT 标志着人工智能将毁灭人类；
• 某某国内公司早已布局XX大模型，性能已经对标 ChatGPT；
• 开源 XX 模型，可将 ChatGPT 部署在 6G 大小的显卡上；
• ChatGPT 将会替代掉医生、律师、程序员等工种；
• ChatGPT 标志着强人工智能时代的来临。

对于不懂 ChatGPT 原理的人来说，上述这些新闻标题确实是蛮唬人的，公众的情绪、心态，以及股市的股价都随着标题大幅度摆动。但是，当了解了 ChatGPT 原理之后，就会对这些虚张声势的媒体文章有个客观、冷静、清醒的认识。

而 ChatGPT 作为一个 AI 算法模型，具有一定的技术壁垒，想要了解其内部的原理，对于绝大多数人来说并不容易。

基于此，这本小册子将以最直观、最浅白的方式，深入浅讲解 ChatGPT 的技术原理，揭开这个世界上目前为止最先进大模型技术的神秘面纱。毫无 AI 和机器学习背景的同学阅读起来也没有困难，文中内容将重点以举例、形象类比、贴近人们常识理解的方式，帮助大家理解 ChatGPT 模型原理细节。相信你读完之后，会有一种豁然开朗的感觉。

• 针对很多非 AI 领域的读者，可以从零开始，了解掌握ChatGPT 模型原理，可以更加清晰、理智地看待当前火爆的AI大模型技术的形成、趋势、前景；
• 针对 AI 领域从业人员，可以快速温习、熟悉 ChatGPT 的原理与训练方式，也可以深刻把握当前 AI 领域模型训练范式的变化，寻找到新的自身的行业定位。

适宜人群

如果您是：

• 具备高中及以上学历，在工作、生活中接触到 ChatGPT，想要对其内部原理有一个基本了解。
• AI 行业从业人员，如高校的本科生、研究生，算法工程师等等，对于 ChatGPT 引领的 AI 模型训练新范式欠缺了解。

这本小册子将为你答疑解惑。

• 概览：ChatGPT 与自然语言处理

• 发展：从 GPT1.0 到 ChatGPT，经历了什么？

• 基础：ChatGPT 是一个语言模型

• 核心：ChatGPT 是如何处理文字输入的？

• ChatGPT 的灵魂：Attention 注意力机制

• ChatGPT 的组件：Transformer 模型结构

• ChatGPT 的结构：Encoder-Decoder

• 模型训练基础：监督学习与 ChatGPT 预训练

• 模型训练基础：GPT 中的 few-shot 小样本学习

• 模型训练基础：什么是强化学习？

• 模型训练核心：ChatGPT 中的 RLHF 人工反馈强化学习模式

• 模型训练核心：GPT 系列模型所依赖的数据

• ChatGPT 的优缺点及影响

• ChatGPT 吹响了第四次产业革命（AI 革命）的号角