课程: 生成式 AI vs. 传统 AI
今天就开通帐号，24,000 门业界名师课程任您挑！
生成式预训练转换器（GPT）
“为什么科学家不信任原子？ 因为它们太会无中生有。” 这是 ChatGPT 写的一个冷笑话， 其中的 GPT 代表 “生成式预训练转换器”， 它是一个大语言模型， 就像是每个人肩上站着的鹦鹉所形成的网络。 它们听人们讲话，然后重复所听到的内容。 这些都是基础模型， 具有极大的灵活性， 可以应用于许多不同的任务。 实际上， 我们可以使用 GPT， 来总结书的内容、写文章、开发软件， 甚至是写冷笑话。 但是这些生成式人工智能系统， 是如何创造出这个笑话的呢？ 答案就在它的名字里。 “生成式”，意味着它可以生成新内容。 并且这个模型是预训练的。 还记得吗？ 人工神经网络， 可以进行监督学习和无监督学习。 通常我们使用监督学习来训练模型。 还记得计算机科学家， 会训练系统对数据进行分类吗？ 例如，信用卡公司， 可以把交易归为诈骗类和非诈骗类。 GPT 中的“预训练”指的是， 鹦鹉们去听大量的对话， 正如系统去阅读大量的书、文章和网页一样。 它可以使用无监督学习， 把经常一起出现的词聚类。 之后，使用监督学习， 得出不同词语之间相互关联的概率评分。 比如系统看到“鸡为什么过”， 它会使用监督学习预测下面的词为“马路”。 GPT 一个个地预测后面的词语。 GPT 的最后一个部分是转换器。 转换器可以把一组词语转换成不同的东西。 系统选出它认为最值得关注的内容， 使用编码器和解码器进行转换。 比如这句话“鸡为什么过马路？” 句子中最需要我们注意的词语 有“鸡”、“过”和“马路”。 这个转换器让系统 优先处理值得关注的词语， 并预测句子中的下一个词。 词语和概率竟然可以构成一个 能写冷笑话的系统。 但你一定记得， 这些系统看过数万亿字节的文本， 并且在词语之间构建了千亿种关系。 这些鹦鹉几乎听过世界上所有的笑话， 知道常见的玩笑主题有科学家、酒保和鸡。 通过进一步注意这些细节， 模型可以预测每个词出现的概率， 直到发现一个和其他笑话一致的结构。 得到的数据和反馈越多， GPT 就会生成更好的新文本。 这也是为什么新版本的 GPT 会越来越强， 因为它从和每个人的互动中获取信息， 制造出更好的笑话。
下载课程离线学习
下载课程到移动设备，轻松离线学习。在领英学习 iOS 或安卓版 APP 下载课程