ChatGPT 简介
大约 1 分钟
ChatGPT 简介。
1. ChatGPT 发展历史
GPT-1 是由 OpenAI 于 2018 年推出的第一代 GPT 模型，使用了 12 层 Transformer 架构，共有 117M 参数。GPT-1 在多项自然语言处理任务上均取得了较好的效果，例如文本生成、机器翻译、问答等。[1][2]
GPT-2 是在 GPT-1 的基础上进一步扩展和优化的模型，使用了更大的数据集和更多的参数。GPT-2 采用了 48 层 Transformer 架构，共有 1.5B 个参数。GPT-2 在多项自然语言处理任务上取得了 SOTA 的效果，例如文本生成、文本分类、语言推理等。GPT-2 还引起了广泛的社会讨论，因为它能够生成高度逼真的文本，包括假新闻和有害内容。
GPT-3 由 OpenAI 于 2020 年推出。GPT-3 使用了 1750B 个参数，比 GPT-2 大了一千倍以上。GPT-3 在多项自然语言处理任务上取得了 SOTA 的效果，并能够完成一些常识推理和常识问答等任务。与 GPT-2 相比，GPT-3 不仅参数更多，而且采用了更多的训练数据，以及更加复杂的预训练任务。
GPT-1/GPT-2/GPT-3 简介，知乎，https://zhuanlan.zhihu.com/p/473001104 ↩︎
The Journey of Open AI GPT models，medium.com，https://medium.com/walmartglobaltech/the-journey-of-open-ai-gpt-models-32d95b7b7fb2 ↩︎