AI百科：CHATGPT的工作原理

AI百科：CHATGPT的工作原理

By Benjamin Hendricks

ChatGPT迅速获得了数百万人的关注，但许多人都持谨慎态度，因为都不了解它的工作原理。而本文就是试图将其分解，以便更容易理解。

然而，就其核心而言，ChatGPT是一个非常复杂的系统。如果想要玩ChatGPT或者想弄懂它是什么，核心界面是一个聊天窗口，可以在其中提问或提供查询，AI会做出回应。要记住的一个重要细节是，在聊天中，上下文会被保留，这意味着消息可以引用先前的信息，而ChatGPT将能够根据上下文地理解这一点。

当在聊天框中输入查询时会发生什么?

神经网络

首先，在ChatGPT的框架下，有很多东西待发现。机器学习在过去10年里一直在迅速发展，ChatGPT利用了许多最先进的技术来实现其结果。

神经网络是相互连接的“神经元”层，每个神经元负责接收输入、处理输入，并将其传递给网络中的下一个神经元。神经网络构成了当今人工智能的支柱。输入通常是一组称为“特征”的数值，表示正在处理的数据的某些方面。例如，在语言处理的情况下，特征可能是表示句子中每个单词的含义的词嵌入。

词嵌入只是一种文本的数字表示，神经网络将使用它来理解文本的语义，然后可以将其用于其他目的，比如以语义逻辑的方式进行响应！

因此，在ChatGPT中按回车键后，该文本首先被转换为词嵌入，这些词嵌入是在整个互联网上的文本上进行训练的。然后有一个经过训练的神经网络，在给定输入词嵌入的情况下，输出一组合适的响应词嵌入。然后，使用应用于输入查询的逆操作将这些嵌入入翻译成人类可读的单词。这个解码后的输出就是ChatGPT打印出来的内容。

ChatGPT模型大小

转换和输出生成的计算成本非常高。ChatGPT位于GPT-3之上，GPT-3是一个拥有1750亿个参数的大型语言模型。这意味着在OpenAI使用其大型数据集调整的广泛神经网络中有1750亿个权重。

因此，每个查询至少需要两次1750亿次计算，这加起来很快。OpenAI可能已经找到了一种方法来缓存这些计算以降低计算成本，但不知道这些信息是否已经发布到任何地方。此外，预计将于今年年初发布的GPT-4，据称参数增加了1000倍!

计算复杂性会导致实际成本!如果ChatGPT很快成为付费产品，不必感到惊讶，因为OpenAI目前正在花费数百万美元免费运营它。

编码器、解码器和RNN

自然语言处理中常用的一种神经网络结构是编码器-解码器网络。这些网络的设计目的是将输入序列“编码”为紧凑表示，然后将该表示“解码”为输出序列。

传统上，编码器-解码器网络已经与循环神经网络(RNN)配对，用于处理顺序数据。编码器处理输入序列并产生固定长度的向量表示，然后将其传递给解码器。解码器处理这个向量并产生输出序列。

编码器-解码器网络已广泛应用于机器翻译等任务，其中输入是一种语言的句子，输出是将该句子翻译成另一种语言。它们也被应用于摘要和图像说明生成任务。

变压器与注意力

与编码器-解码器结构类似，变压器包括两个组件;然而，转换器的不同之处在于它使用一种自关注机制，允许输入的每个元素关注所有其他元素，从而允许它捕获元素之间的关系，而不管它们彼此之间的距离如何。

变压器还使用多头注意力，允许它同时关注输入的多个部分。这使得它能够捕获输入文本中的复杂关系并产生高度准确的结果。

在2017年发表“Attention is All You Need”论文时，变压器取代了编码器-解码器架构，成为自然语言处理的最先进模型，因为它可以在较长的文本中实现更好的性能。

变压器架构，来自https://arxiv.org/pdf/1706.03762.pdf

生成式预训练

生成式预训练是一种在自然语言处理领域特别成功的技术。它涉及以无监督的方式在海量数据集上训练广泛的神经网络，以学习数据的通用表示。这个预训练网络可以针对特定任务进行微调，比如语言翻译或问答，从而提高性能。

生成式预训练架构，摘自《通过生成式预训练提高语言理解能力》

在ChatGPT的例子中，这意味着对GPT-3模型的最后一层进行微调，以适应在聊天中回答问题的用例，这也利用了人工标记。下图可以更详细地了解ChatGPT微调:

ChatGPT 微调步骤，来自https://arxiv.org/pdf/2203.02155.pdf

把一切结合在一起

因此，在ChatGPT的框架下有许多活动部件，这些部件只会不断增长。看到它如何继续发展将是非常有趣的，因为许多不同领域的进步将帮助类似GPT的模型获得进一步的采用。

在接下来的一两年里，我们可能会看到这种新的使能技术带来的重大颠覆。--------------------------峰会预告

据悉，由千家网主办的2022年第23届中国国际建筑智能化峰会上海站与北京站将于近期正式拉开帷幕，本届峰会主题为“数智赋能，碳索新未来”，届时将携手全球知名建筑智能化品牌及专家，共同分享AI、云计算、大数据、IoT、智慧城市、智能家居、智慧安防等热点话题与最新技术应用，并探讨如何打造“更低碳、更安全、更稳定、更开放”的行业生态，助力“双碳”目标的实现。

欢迎建筑智能化行业同仁报名参会，分享交流！

报名方式

上海站（2023年2月21日）：https://www.huodongxing.com/event/3638582473900

北京站（2023年2月23日）：https://www.huodongxing.com/event/4638577546900

更多峰会信息，详见峰会官网：http://summit.qianjia.com/

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。