人工智能大数据,工作效率生产力
Ctrl + D 收藏本站,更多好用AI工具
当前位置:首页 » AI资讯

聊GPT-4、文心一言之前,你需要知道的5件事

2023-12-14 92

观点 / 刘润 主笔 / 尤安 责编 / 李桑

这是刘润公众号的第1841篇原创文章

昨天,一觉起来,美国的OpenAI正式官宣了大模型GPT4 。

距离上次基于GPT3.5的ChatGPT的推出,才刚刚过去105天。

科技进步的速度和力度,再一次让人震撼。

好像刚感叹完GPT3.5通过谷歌程序员面试,GPT4就已经把美国的模拟律师资格考试都考到前10%了。

转战到考场,也能把美国高考题(SAT考试),做出可以进哈佛的成绩。

甚至,还展现出了识图方面的巨大潜力。

我们总认为,不着急,还有很多AI做不到。

但是,AI一项一项,都做到了,而且是以超乎人们想象的水平做到。

于是,很多人开始着急,急着寻找机会。

但是在寻找机会之前,建议你,一定沉下心,再看一看。

看懂这个席卷了我们一次又一次的GPT,到底是什么?

聊GPT-4、文心一言之前,你需要知道的5件事插图

GPT-4

已知,GPT4,应该比GPT3.5厉害。但是,到底厉害在哪儿?

GPT4正式发布前,有2个猜测:

1,GPT4的机器学习参数,将从1750亿个,增加到100万亿个。能力差距,堪比一个月薪1750元的人,和一个月薪100万元的人。

2,GPT4将支持多模态,也就是文字、图片、音频,甚至视频等。能力差距,堪比一个聋哑且盲的人,和一个耳聪目明的人。

相当震撼的猜测。

而openAI的老板Sam对此的回应是:一派胡言(complete bullshit)。

真的是一派胡言吗?

实际发布的结果是:GPT4的能力,看起来确实提升了。

但是:

1,具体学习参数,没公布。OpenAI只给这次迭代定了个性: “GPT4比GPT3.5更可靠、更有创造力,并且能够处理更加细致复杂的指令”。

2,支持多模态,但是就多了一个图片,并且只支持你输入图片,轮到GPT输出时,依然只打字回你。

进步的步子迈多大,不明确,但大方向,却是大致准确的。

要真正理解GPT,这2个大方向,建议你真的看懂:大模型,多模态。

先说说,这次GPT4最亮眼的更新:多模态。

多模态,很了不起吗?

聊GPT-4、文心一言之前,你需要知道的5件事插图1

多模态

多模态是什么?

想象一下,同事忽然发你一句微信消息:“嘘,王总在你后面。”

你收到后马上回头,看到王总,打了一声招呼:“王总。”

这件事,要做到,很了不起吗?

很了不起。短短几秒钟,你一口气处理了文字声音图像等多种信息数据。

多模态,就是多种信息数据的模式和形态。

而这些种类不同的信息数据,比如你在消息里认出的文字,回头看到的一个图像,嘴里说出的一段声音,有时还指向同一个信息:“王总”。

对你来说,在多模态中识别和对应出同一个“王总”,很简单,好像没什么了不起。

但对GPT来说,却是一个远大的理想:跨越多个模态,处理更复杂的任务。

这个理想,为什么远大?

因为,要做到,你首先得有眼睛和耳朵。

升级前的ChatGPT,只能摸索着,用文字和你交流。

但升级为GPT4后,ChatGPT从此有了“眼睛”。

你发它一张图片,它能“看到”,还能“看懂”,并以此为基础,帮你处理更多任务。 比如,帮你P掉“王总”。

这,就是多模态之于GPT4的意义:进化出了眼睛。

了不起。但,这还不是GPT4进化的全部。

聊GPT-4、文心一言之前,你需要知道的5件事插图2

大模型

另一个被频繁提起的进步,是GPT4的基本功——语言能力。

短短105天 ,GPT的语言模型,又得到了新一轮的进化。

一方面,“单词最大输出限制”,提高到了 25000 个单词。

原来,给它处理一篇文章,稍微字多点都不一定能发完整,现在,很多人甚至直接丢网页、PDF给它处理。

并且,在理解和回答问题,尤其是比较复杂的问题时,GPT4也显得更聪明了。

怎么变聪明的?

简单来说,就是GPT-4的“大脑”变得更大,“神经元”变得更多了。

2018年的GPT,参数量是1.17亿。

2019年的GPT2,参数量是15亿。

2020年的GPT3,乃至后来基于GPT-3.5的ChatGPT,参数量是1750亿。

昨天发布的GPT4,虽然官方没有公布具体参数量,但也没人会小看它的参数量。

GPT一出手,就是以亿为单位的参数量。而且每年还在疯狂翻倍。

这,就是提到GPT时,总会提到的“大模型”。

大量的参数,就像大量的神经元,这往往也意味着,更大概率能“猜中你想要的答案”。

人们常常把这种特点,称为:“聪明”。

聊GPT-4、文心一言之前,你需要知道的5件事插图3
GPT-4部分成绩单

想想这种量级的参数量,再看看GPT4那些“碾压”人类的考试成绩单,似乎也能心理平衡了。

虽然,还是不太好接受:难道,要聪明到可以碾压90%的人类,只需要参数量够“大”就行了吗?

没那么简单。

聊GPT-4、文心一言之前,你需要知道的5件事插图4

训练

你有没有想过,当你打开ChatGPT的对话框,打出一个问题时,屏幕那边的ChatGPT,是怎么做这道题的?

比如你在对话框里问: “床前明月光,下一句是什么?”

作为一个人工智能,而不是人,ChatGPT从一开始,答题的路子,可能就和你完全不一样:

它根本不回忆,而是转头就去网上抓数据。看看都有哪些地方出现了“床前明月光”。

再用它那同时“考虑”上亿个参数的“脑子”算一件事:

排在这句之后的字,都有哪些?根据上下文,这些字是正确答案的概率都有多高?

然后转头就把算出来概率最高的文字,选出来,在对话框里回复你。

找组合,算概率,比大小。

你问的是语文题,它做的是数学题。

因为做数学题,才是模型的本质。

那,会不会做错呢?

会。如果,它从网上找的数据样本,刚好是一些错误很多的盗版书,最后通过计算,回复你的是“洒了一碗汤”,怎么办?

显然,模型并不在乎对错,但是人类在乎。

这时,人类就会做一件事:优化它,训练它。

怎么训练?

不如回想下,你是怎么做出这道题的?

首先你先在课本上看到过这首诗。

然后,再做过一些练习题。做完后对答案,有人告诉你对还是错。

对了,加分,你开心,从此记住答案是这个。

错了,扣分,你难过,再去找正确答案。

GPT,也差不多。

先“看书”,输入庞大的数据。

然后“做题”,并得到“反馈”。

做对,加分。做错,扣分。

和你不一样的是,AI不会开心和难过。

但,谁不喜欢分数高呢?

几亿个参数和相应的权重值都会根据这种分数反馈,再调整,再调整。

直到无限趋近于准确。

听起来是不是很完美?但,却有一个重大的难点。

聊GPT-4、文心一言之前,你需要知道的5件事插图5

成本

训练,是需要成本的。

参数量有多惊人,成本就有多惊人。

当一个需要同时“考虑”上千亿,甚至更多参数的“大脑”运转起来时,会需要哪些成本?

首先,每次训练,都能花掉上海几套房。

有数据显示,训练一次以GPT3.5为模型的ChatGPT模型的成本,都要460万到500万美元。

此外,要入局GPT这种级别的产品,“入场券”也非常昂贵。

比如要达到相应的算力,光更早的GPT3在训练中,都需要用到1万枚英 伟达GPU芯片。

以目前比较主流的英伟达A100芯片为例,一颗价格约8万元。

每颗8万元,1万颗,一开局光是芯片的花费,都要8亿元以上。

如果看到这还有勇气考虑,不妨参考ChatGPT的公司OpenAI。

OpenAI在之前基于GPT3.5的ChatGPT上,就至少付了2大笔钱:

交给“机房”的钱,比如算力和数据,就要近20亿元。

交给“人”的钱,比如科学家、工程师的工资,也要近5亿人民币。

这,还不算每天可能高达几万美金的电费。

而新出来的GPT4, 作为“更聪明”的“大脑”,算力成本可能又是一个新的台阶。

这些,都是“聪明”的价格。

如此昂贵,却总有人愿意付。

聊GPT-4、文心一言之前,你需要知道的5件事插图6

最后的话

比如,陆续投资了ChatGPT近900亿人民币的微软。

微软的必应搜索,在目前的全球搜索引擎市场中,份额占比为个位数,排在它前面的,是份额占比超90%的Google。

但是,在搭载了ChatGPT后,必应在它的搜索框里,昂首挺胸地设置了这么一句话:

Ask me anything…

昨天,GPT4发布后,微软更是骄傲地宣布:

新版必应搜索,已经在更早,就用上了GPT4,过去五周中很多人体验的必应就是GPT4加强过的。

今天,百度也正式发布了文心一言。

它会成长为中国的OpenAI吗?

现在,还不知道。

中国,会有属于自己的GPT4吗?

现在,也还不知道。

但是可以明确知道的是:不容易。

数据不容易,芯片也不容易。

但是,我们面对这种不容易的情况,还少吗?

以前怎么办,现在就怎么办。

祝福。

2023年,确定性在哪里?3月20日,下周一晚八点

点击下方按钮预约,分享一些我的感悟

原文链接:https://www.163.com/dy/article/HVVJVAU705199MO5.html

相关推荐

阅读榜

点击榜

hellenandjeckett@outlook.com

加入QQ群:849112589

回顶部