ChatGPT里的G、P、T，分别代表什么？你知道吗？

身处这个AI变革的时代，唯有躬身入局，脚步跟上。

这是一篇我的学习笔记，希望对你了解ChatGPT有帮助。

ChatGPT里的GPT，分别代表什么？

GPT，Generative Pre-trained Transformer，生成式预训练变换模型。

什么意思？

Generative，生成式，是指它能自发的生成内容。

Pre-trained，预训练，是不需要你拿到它再训练，它直接给你做好了一个通用的语言模型。

Transformer，变换模型，谷歌提出来的一个很厉害的模型，他可以帮助更好的去处理NLP相关的问题，是非常棒的神经网络结构。

Transformer虽是由谷歌提出的。但是应用最成功的是OpenAI的ChatGPT。

因为ChatGPT是站在巨人的肩上走出来的。

ChatGPT是全人类社会的结晶，没有前人的铺垫，ChatGPT不会这么顺利走出来。

后面也会有更多的非常厉害的应用，会基于ChatGPT走出来。

Transformer中有一个很重要的概念，注意力机制。

什么是注意力机制呢？

就是从你输入的信息中，挑出重要的信息，把注意力集中在这些重要的信息上，忽略不重要的信息。这样就能更好的理解你说的话。

注意力机制能帮助Transformer模型集中注意力在输入信息中最重要的部分。

机器学习方式，分为监督学习、无监督学习、强化学习。

监督学习：有标签数据，可以直接反馈，可以预测结果和未来

无监督学习：没有标签和目标，没有反馈，而是它自己去寻找数据中的隐藏结果

强化学习：是一个决策过程，有一系列的奖励机制和惩罚机制，让机器学习如何做到更好

ChatGPT用到的是无监督学习和强化学习。

ChatGPT能进行大量的内容生成和创造，其实是靠的猜概率。

比如，天气灰蒙蒙的，我的心情很___

经过大量数据训练过的AI，会预测这个空格出现的最高概率的词是「沮丧」。

那么「沮丧」就会被填到这个空格中，所以产生了答案：

天气灰蒙蒙的，我的心情很沮丧

这感觉很不可思议，但事实就是这样。

现阶段所有的NLP(自然语言处理)任务，都不是机器真正理解人类的世界。

他只是在玩文字游戏，进行一次又一次的概率解谜。

在这个”猜概率“的文字游戏中，大预言模型（LLM，Large Language Model）演进出了最主流的两个方向：BERT和GPT。

BERT是之前最流行的方向，几乎统治了所有NLP领域。

并在自然语言理解类任务中发挥出色(例如文本分类，情感倾向判断等）。

而GPT方向则较为薄弱，最知名的玩家就是OpenAl了。

事实上在GPT3.0发布前，GPT方向一直是弱于BERT的（GPT3.0是ChatGPT背后模型GPT3.5的前身）。

BERT和GPT区别是？

BERT，是双向语言模型，联系前后猜中间的字，所以是双向，就像完型填空。

比如：我___20号回家

BERT猜的是「我打算20号回家」，猜的是中间的「打算」。

GPT，是单向语言模型，猜下一个字，所以是单向，像写作文。

比如：我打算20号___

GPT猜的是「我打算20号回家」，猜的是后面「回家」两个字。

怎么给GPT提问？

有两种方式：fine-tune和prompt。

fine-tune，调参：需要对模型参数进行更新，来完成生成内容。

fine-tune 专业，门槛高，受众小。但是多样性、准确度高，适合复杂任务。少数玩家的游戏。

prompt，提示词：不需要修改模型和参数，只需要给一些提示和样例，就能完成任务。

prompt更简单，门槛低，受众大。适合处理简单的任务。所有玩家都。

我们在ChatGPT输入框中输入的内容，就是prompt。

ChatGPT是生成式AI。

AI从内容产出方式上，分为两种：分析式AI和生成式AI。

分析式AI，主要用于分析，归类。你喂给它多少数据，它就能分析出什么样的内容，它局限于数据本身。

生成式AI， 在学习归纳数据分布的基础上，创造数据中不存在的新内容。可以生成文本、图片、代码、语音合成、视频和3D模型。

ChatGPT是生成式AI，最擅长文本和写代码。

最后，从知识获取的角度说，ChatGPT是全新一代的 “知识表示和调用方式”。

早期，知识以结构化的方式存储在数据库中。我们通过 SQL获取。

后来，随着互联网的诞生，更多文本、图片、视频等非结构化知识存储在互联网中。我们通过搜索引擎获取。

现在，知识以参数的形式存储在大模型中。我们用自然语言直接调用这些知识。