上一期我们聊了ChatGPT，今天我们来聊聊ChatGPT的母公司OpenAI。
OpenAI于2015年因埃隆马斯克、彼得泰尔和其他PayPal帮成员以及LinkedIn联合创始人雷德霍夫曼等一众硅谷大佬的投资而成立，成立之初是一家非营利性机构。2019年，OpenAI通过官方博客宣布重组为一家“有限利润（capped-profit）”的公司。
图片来源：OpenAI官网
根据博客原文，OpenAI 新的组织架构是这样的：
OpenAI Nonprofit：专注开发新的人工智能技术，而非商业产品来创造出最大的价值。
OpenAI LP：“有限盈利”(capped-profit) 公司，筹集投资资金并以类似初创公司的股权吸引员工，增加对计算和人才方面的投资，确保创建和采用安全和有益的AGI。
其中，OpenAI 非营利组织保留控制权。
同年OpenAI接受了微软10亿美元的投资，双方表示将合作替Azure云端平台服务开发人工智能技术，并希望最终打造通用人工智能（AGI）。
那么为了实现打造AGI，OpenAI也做了多次迭代，ChatGPT也因此而诞生(ChatGPT 是从 GPT3.5 系列中的模型进行微调而产生)。GPT全称是Generative Pre-trained Transformer （生成式预训练变换器）。
2018年6月OpenAI发布GPT-1模型，采用的是生成式预训练Transform模型（由谷歌2017年首次提出的Transform模型），GPT 使用 Transformer 的 Decoder 结构，并对 Transformer Decoder 进行了一些改动（如下图所示）。
GPT1的训练主要分成无监督预训练和有监督微调两部分：无监督预训练指的是现在大规模语料下，训练一个语言模型；有监督微调指的是基于下游任务的标注数据进行模型参数调整。GPT1使用一个包含超过7000本书籍的数据集（BookCorpus）,比谷歌Transformer更高效，在多种NLP效果中展示出更优的训练结果。
2019年发布GPT-2模型，扩大训练规模，使用了40GB数据集，形成了一个48层，15亿参数的大模型。这个模型去掉了“fine-tuning微调过程”，让机器完全自己学，并进行了泛化，即要求这个模型能够做到各种语言，各种文体，各种语言资料都能进行训练。另外GPT-2 可以针对滥用进行微调。
2020年发布GPT-3模型，这次使用了570GB数据集，形成1750亿参数的大模型，是目前为止最强大的语言处理模型。海量的训练造就了GPT-3在文章撰写、代码编写的优异表现，同时让人震惊的是其2000万美元的训练成本，高昂的价格让人望而却步。另外值得注意的一点是从GPT-3开始，其模型就不再完全公开了，只能通过API访问。
2022年发布 InstructGPT 模型，形成13亿参数的模型，InstructGPT模型基于GPT-3模型并进行了进一步的微调，在模型训练中加入了人类的评价和反馈数据，而不仅仅是事先准备好的数据集。通过结合监督学习+从人类反馈中获得的强化学习，来提高GPT-3的输出质量。虽然 InstructGPT参数是GPT-3百分之一的规模，反而在评测中收获了更多好评。
ChatGPT正是从GPT-3.5模型微调迭代而来，同时，随着ChatGPT的爆火，其母公司OpenAI也愈加受到技术人才的青睐。其中谷歌两位重量级AI研究员相继官宣加入OpenAI，分别是在谷歌任职2年5个月的高级研究科学家Jason Wei和任职3年5个月的AI研究员Hyung Won Chung。他们都是Google Brain团队中的成员。
微软和谷歌这两大巨头在AI领域角逐，不知道谁会是最后赢家？又会对OpenAI后续发展产生多大影响？
了解更多独角兽资讯，搜索荷马国际！
荷马国际是由前阿里巴巴和华尔街金融机构高管于2014年联合创立的金融科技公司，是数字化全球资产配置的领航人。公司专注于为国内高净值人士提供资产管理、投资顾问、财务咨询、财富管理等服务，致力于为客户提供安全、便捷、高效的全球性资产配置解决方案，实现财富的保值、增值及传承。
本文作者可以追加内容哦 !
