生成式AI, 在学习归纳数据分布的基础上,创造数据中不存在的新内容。可以生成文本、图片、代码、语音合成、视频和3D模型。

比尔盖茨:ChatGPT是1980年以来最具革命性的科技进步。

身处这个AI变革的时代,唯有躬身入局,脚步跟上。

1、ChatGPT里的GPT,分别代表什么?

GPT,Generative Pre-trained Transformer,生成式预训练变换模型。

什么意思?

Generative,生成式,是指它能自发的生成内容。

Pre-trained,预训练,是不需要你拿到它再训练,它直接给你做好了一个通用的语言模型。

Transformer,变换模型,谷歌提出来的一个很厉害的模型,他可以帮助更好的去处理NLP相关的问题,是非常棒的神经网络结构。

2、Transformer虽是由谷歌提出的。但是应用最成功的是OpenAI的ChatGPT

因为ChatGPT是站在巨人的肩上走出来的。

ChatGPT是全人类社会的结晶,没有前人的铺垫,ChatGPT不会这么顺利走出来。

后面也会有更多的非常厉害的应用,会基于ChatGPT走出来。

3、Transformer中有一个很重要的概念,注意力机制

什么是注意力机制呢?

就是从你输入的信息中,挑出重要的信息,把注意力集中在这些重要的信息上,忽略不重要的信息。这样就能更好的理解你说的话。

注意力机制能帮助Transformer模型集中注意力在输入信息中最重要的部分。

4、机器学习方式,分为监督学习、无监督学习、强化学习


监督学习:有标签数据,可以直接反馈,可以预测结果和未来

无监督学习:没有标签和目标,没有反馈,而是它自己去寻找数据中的隐藏结果

强化学习:是一个决策过程,有一系列的奖励机制和惩罚机制,让机器学习如何做到更好

ChatGPT用到的是无监督学习和强化学习。

5、ChatGPT能进行大量的内容生成和创造,其实是靠的猜概率

比如,天气灰蒙蒙的,我的心情很___

经过大量数据训练过的AI,会预测这个空格出现的最高概率的词是「沮丧」。

那么「沮丧」就会被填到这个空格中,所以产生了答案:

天气灰蒙蒙的,我的心情很沮丧

这感觉很不可思议,但事实就是这样。

现阶段所有的NLP(自然语言处理)任务,都不是机器真正理解人类的世界。

他只是在玩文字游戏,进行一次又一次的概率解谜。

6、在这个”猜概率“的文字游戏中,大预言模型(LLM,Large Language Model)演进出了最主流的两个方向:BERT和GPT

BERT是之前最流行的方向,几乎统治了所有NLP领域。

并在自然语言理解类任务中发挥出色(例如文本分类,情感倾向判断等)。

而GPT方向则较为薄弱,最知名的玩家就是OpenAl了。

事实上在GPT3.0发布前,GPT方向一直是弱于BERT的(GPT3.0是ChatGPT背后模型GPT3.5的前身)。

7、BERT和GPT区别是?

BERT,是双向语言模型,联系前后猜中间的字,所以是双向,就像完型填空。

比如:我___20号回家

BERT猜的是「我打算20号回家」,猜的是中间的「打算」。

GPT,是单向语言模型,猜下一个字,所以是单向,像写作文。

比如:我打算20号___

GPT猜的是「我打算20号回家」,猜的是后面「回家」两个字。

8、怎么给GPT提问?

有两种方式:fine-tune和prompt。

fine-tune,调参:需要对模型参数进行更新,来完成生成内容。

fine-tune 专业,门槛高,受众小。但是多样性、准确度高,适合复杂任务。少数玩家的游戏。

prompt,提示词:不需要修改模型和参数,只需要给一些提示和样例,就能完成任务。

prompt更简单,门槛低,受众大。适合处理简单的任务。所有玩家都。

我们在ChatGPT输入框中输入的内容,就是prompt。

9、ChatGPT是生成式AI


AI从内容产出方式上,分为两种:分析式AI和生成式AI。

分析式AI,主要用于分析,归类。你喂给它多少数据,它就能分析出什么样的内容,它局限于数据本身。

生成式AI, 在学习归纳数据分布的基础上,创造数据中不存在的新内容。可以生成文本、图片、代码、语音合成、视频和3D模型。

ChatGPT是生成式AI,最擅长文本和写代码。

10、最后,从知识获取的角度说,ChatGPT是全新一代的 “知识表示和调用方式”

早期,知识以结构化的方式存储在数据库中。我们通过 SQL获取。

后来,随着互联网的诞生,更多文本、图片、视频等非结构化知识存储在互联网中。我们通过搜索引擎获取。

现在,知识以参数的形式存储在大模型中。我们用自然语言直接调用这些知识。