小企业做网站多少钱网站建设百科

GPT到底是什么

首先，我们需要了解GPT的全称：Generative Pre-trained Transformer，即三个关键词：生成式 预训练 变换模型。

（1）什么是生成式？

即能够生成新的文本序列。

（2）什么是预训练？

即能够在模型数据集基础上进行无监督学习，当学习到一些通用的特征或知识，就能够讲这些知识迁移到其他任务上。

这种无监督学习，是没有标签/目标，也没有反馈，它自己会寻找数据中隐藏的结构。下图展示了三种学习模式的差别，而ChatGPT采用的实无监督学习 和 强化学习。

（3）什么是变换模型？

这是一种神经网络结构，通过对输入序列的层层处理，得到最终的输出。

简单地说，它就是一个黑盒子，例如我们在做文本的翻译任务时，当我们输入一个中文，经过这个黑盒子，输出翻译后的英文。当然，这个黑盒子内部有一系列的复杂操作，通过一些 encoder 和 decoder 生成最终的输出，如下图所示。

GPT的本质是猜概率

现阶段的GPT都是在“玩文字游戏”，它只是在进行一次又一次的概率解题，和我们玩填字游戏是一个逻辑，只不过，我们人类是靠知识和智慧，而AI主要靠概率计算。经过大量的数据训练后，AI预测到下图所示的空格中可能会出现的最高概率的词，进而将其进行输出。

在基于大语言模型（LLM）基础上，逐渐演进出了两个最主流的方向：BERT 和 GPT。在GPT3.0发布前，GPT一直弱于BERT，而3.0发布之后GPT貌似一骑绝尘了。GPT方向上，最知名的玩家非OpenAI莫属，从我们开始熟悉的GPT3.5到GPT4.0。

生成式AI全景图

生成式AI应用全景图如下图所示，可以看到，它可以做很多个类别的事情，从文本到编码再到图片，以及今年Sora大模型掀起的视频生成浪潮，基于每个类别提供的动力，我们可以在其上层开发构件潜在的应用程序。

目前生成式AI应用最广泛的当属 文本 和 编码 了，也可以看到，文本 只是 生成式AI生态中的 一环，而不是全部，而这一环就是我们现在学习的 ChatGPT。

ChatGPT的进化过程

下面这张图完整展示了ChatGPT的进化过程，经过了多年的技术积累，最终形成了针对人类反馈信息学习的大规模预训练语言模型。

ChatGPT可以做什么

ChatGPT很能干，它可以干50+件事情！

其中，问答、翻译、写文案、提炼文字、生成代码、代码解释 等是最常见的应用场景。

ChatGPT不可以做什么
首先，我们需要知道：ChatGPT本身不是联网的，它的大模型本身就存在时效性，在解决你的问题之前，它所学到的知识将始终落后当前一段时间，因为大模型的重新训练成本很大，因此不是每天更新的，所以不会联网。

因此，我们便可以知道，ChatGPT还不会很快地取代Google和百度帮你查到最新的技术文档，也没法代替小爱同学帮你查询天气，无法替代高德地图帮你推荐附近的美食 等等。