最近关于GPT的消息满天飞，各路公众号短视频群魔乱舞，看来是很有必要写一篇科技评论讲讲了。回想上次写科技评论，还是贺建奎和基因编辑婴儿的事。这次的GPT风波看来是要带来相当大的变革，而应对变革的第一步是了解技术本身。请各位准备好，我们要深潜了！

本篇科技评论较长，各位读者可以按需选择感兴趣的小标题分段阅读。如果你平时不怎么了解前沿AI技术但对AI的进步感兴趣或者感到担忧，请不要吝啬这十多分钟的时间，本文将会对讨论度最高的几个话题和观点一一解析。

by Future

考虑到我的b站用户名不太一样，我还是声明一下，我就叫Future

目录

关于GPT，你问我答

什么是GPT？

GPT具体怎么运作？（包含重要知识点，建议阅读）

GPT理解我们的问题和它的回答吗？

GPT有意识吗？

GPT会思考吗，它的逻辑能力如何？

GPT代表着奇点临近吗？

GPT会取代什么样的工作岗位？

GPT是通用人工智能吗？

GPT-5甚至GPT-6会超越人类吗？

关于GPT的思考 （也挺重要的，一些关键思考都在里面）

世纪大争论：暂停六个月后续GPT的研发？

关于AI，人类，和未来

彩蛋

什么是GPT？

GPT全称Generative Pretrained Transformer，是一种基于深度学习的大语言模型，属于人工智能（AI）的范畴。GPT由全网的文本数据训练而成，拥有海量参数。可以针对文字输入，输出高质量的文字回答。其能力特长包括但不限于：文本翻译，文章润色，生成常用文本模板，回答问题，帮你写作业，一本正经的胡说八道，完成任何跟语言有关的任务。因为程序代码也属于语言，GPT也具备比较完善的写代码能力，能独立完成比较简单的编程任务。

相较于之前的AI，GPT的文字生成和对答能力有明显进步。因其出色的语言能力，GPT也被视为现代AI迈向通用人工智能（AGI）的第一步。（通用人工智能：有能力完成多项相互独立的任务，而不只擅长单一领域）

GPT具体怎么运作？

重点部分，后续多个小节都会引用到这部分的内容，建议阅读。

GPT本质上是一个基于统计学原理的概率模型，它根据你输入的问题和之前的回答，会不断预测下一个词出现的概率，并选择概率最大的词输出。此过程一直循环直到GPT觉得说得差不多了为止。那么GPT为什么总是能输出很合理的词句呢？这就不得不提GPT的训练原理。GPT的训练过程依赖大量数据，最终目标是寻找数据之间的相关性。如何理解这句话？我说“宫爆”，你会想到 “鸡丁”。我说“2+2”，你会想到“等于“4”。这些总是成对出现的词句就有统计学上的相关性：如果前一个出现了，那么后一个很大概率也会出现。而如果我们收集整个互联网上的所有文本再全部扔给GPT训练，那么GPT就能学会我们使用的语言文字之间的相关性，并且能高度模仿我们使用文字的方式和用语习惯。重申一点，以上所有过程都是基于统计学的概率预测，通过阅读之前的文本，选择并生成下一段出现概率最高的词，且GPT的能力仅限于阅读和输出文本。（最新一代的GPT据说可以接受图片和其它格式的信息输入，但这并不影响它的运行机制）

GPT理解我们的问题和它的回答吗？

这个取决于你对理解的定义。哲学上有个著名的“中文房间”问题：一个屋子里有个老外，他不懂中文，但是抱着一本万能的中文翻译词典（咱们可以与时俱进，换成翻译软件）。屋子外面有中国人写纸条往里送，老外可以熟练地翻阅词典，根据纸条上的中文输入，写下完美的中文回答并送出去。在这个过程中，老外只是根据词典上的规则写下合适的中文词语，但在外面的人看来，这个屋子里面的人是懂中文的。“中文房间”问题指出了“理解”的不同定义之间的矛盾性。那么你觉得老外懂中文吗？理解中文的是老外，还是抱着词典的老外，还是老外和屋子作为一个整体，亦或者根本没有人理解中文？

GPT的情况和这个完全一致，只不过老外变成了GPT，词典变成了概率预测模型。如果你搞懂了这个问题，那么你八成会同意GPT只是一个中文房间，并且不具备人类水平的语言理解。

旁注：学界里不乏一些对这个问题更偏门的回答。我们AI教授（介绍一下，Jimmy Ba，发明了Adam optimizer）直接一步到位，认为人类也是中文房间，我们对自然语言的理解是基于神经元运作的统计学模型，所以GPT跟我们没有本质上的不同。我的观点类似，但更倾向于：我们的大脑的底层逻辑和GPT的统计学底层都是中文房间，真正的“理解”产生于往上的某一层里。GPT只有相当有限的理解能力，它的理解机制也跟我们有本质上的不同。目前我在琢磨怎么论证这个观点，欢迎有哲学或认知科学背景的小伙伴来交流，救救孩子，不然孩子的论文作业写不下去了QAQ

GPT有意识吗？

来了来了，最有争议的问题之一，之后我们还会解答更多有争议的问题。

完全没有，且以后也不可能。

因为意识和自我意识有一些区别，而在认知科学层面上，不同的理论可以得出不同的结论，所以我们这里着重讨论自我意识。

关于GPT有意识的说法，最初来源于一个谷歌公司的AI研究员。该研究员声称某个AI（还不是GPT）通过了一系列社会道德和自我意识的测试，所以这样的AI有自我意识。我不知道这位研究员是在什么样的文化背景和精神状态下得出的这个结论，这更像是在制造噱头以获取更多关注和研究资金。之前提到过，GPT的训练目标是寻找数据之间的相关性，它训练的数据完全来自互联网上由人类产出的文本。我们也有理由相信，一个正常人类是可以通过所谓的社会道德和自我意识测试的。那么通过学习人类产出文本和对话， GPT自然会学到这一层相关性，并模仿人类的语言模式。这就解释了为什么GPT能通过所谓的测试。

顺便一提，GPT能通过图灵测试（由计算机先驱艾伦图灵提出，图灵认为如果机器通过了该测试，则证明机器拥有人类级别的智能）。如果大家读到了这，想必不会太意外吧。图灵测试受制于时代局限性，本身就有很多漏洞，衡量AI的智能程度需要一套更完善的体系，也受到认知科学中我们对人类智能的了解的限制。

刚才我们只论证了那位研究员的结论是错的，GPT真的不可能有意识吗？确实不可能。GPT的内部是名为“神经网络”的结构，听起来跟大脑有关系，但也只能说毫不相干。神经网络的底层是线性代数和非线性的激活函数，而它进行的全部计算也仅仅是不断预测概率。那么你是否认为自我意识可以从这样的结构中涌现出来呢？可以说，任何基于神经网络的AI都不可能产生意识。

等等，不是说GPT-4的参数有100亿个吗，这都快赶上人脑细胞的数量了！很遗憾，GPT的神经元只是数学意义上的加权求和以及激活函数，跟人脑神经元毫不相干，单纯比较两者的数量没有意义。就像海洋里水分子和乱七八糟的有机物可多了，够复杂了吧。那么海洋有意识吗？有？真好，你也看过《索拉里斯星》啊！

GPT会思考吗，它的逻辑能力如何？

不会，且没有逻辑。

一般说到思考，我们指的是完成一系列如推理，排除，判断，决策的行为。但是GPT呢，如前文所说，它只是一个基于统计学的概率预测模型。GPT所有的运作都可以总结为：根据已有的对话文本，预测下一个出现概率最高的词。你可能觉得不对呀，GPT跟我的聊天挺有条理的，它还能做数学证明题呢！其实这都是错觉。GPT的训练数据来自互联网，是人类产出的文本。我们产出的文本大多数都是条理清晰符合逻辑的（为什么不是全部？沙雕网友和杠精，说的就是你们！），GPT通过学习有条理和逻辑的文本，可以掌握很多常见句式甚至推导过程。在找到了这层相关性之后，GPT就能稳定输出条理清晰的答案了，但这绝不代表GPT理解自己在说啥。

一个比较典型的例子是GPT在专业领域的回答。专业领域的文本资料相对日常对话较少，缺少数据，GPT无法学习。当GPT知道常见推导句式但不了解知识本身，就会一本正经的胡说八道。GPT的回答正经到甚至能忽悠外行，但懂的人会发现大量的错误和逻辑漏洞。

那么数学能力又是怎么回事？数学公式也是文本，在互联网上可以轻易获取大量的相关文本用作GPT的训练数据，所以GPT可以完成比较简单直白的数学推理。但是GPT极不擅长数学运算，以至于后来必须得外接一个计算器。原因很简单，你或许能在网上找到2+2=4的文本，但你不一定找得到114514 * 147258等于多少。没有数据，GPT马上就犯傻。GPT学习的自始至终是词句之间的统计学关联性，而不是文本背后的逻辑原理。以至于GPT会觉得圆周率比3.2要大，给出的解释竟然是圆周率是无限小数所以更长。

说到这里就不得不提我自创的一个测试逻辑能力的题了：扔给GPT一串22位的二进制数，让它转成十六进制，GPT会一边算一边解释思路和原理。GPT-3和GPT-4均未能通过这项测试，它们犯的错误包括但不限于抄错数字，抄漏数字，从左边开始打包二进制数而不是从右边。令人惊讶的是，虽然解题过程乱七八糟，但是它的解题思路却是完全正确的！（为什么会这样？本题留给读者思考作为练习）我把这个测试命名为Future测试，欢迎大家以后遇到语言模型都去测测。

GPT代表着奇点临近吗？

首先我们解释一下奇点是什么。这是一个源自物理学的概念，奇点是有质量但没有体积的一个点，导致其密度无限大，且很多物理定律会在奇点处失效。目前大家讨论的奇点一般指科技奇点，这个概念主要由雷·库兹韦尔（Ray Kurzweil）普及。人们用这个词生动形象地表达了对AI发展速度的期待与担忧：AI发展越来越快，上世纪50年代还只是很蠢的小机器人；2016年，AlphaGo在围棋领域首次击败人类冠军；现在又是GPT这个王炸。如果AI的发展持续加速，那么终有一天AI的智能将会超过人类，并且继续加速发展，智能程度无限增大，这也就是AI发展的奇点。

根据这个定义，不难看出GPT并不满足这个条件。奇点的一大假设条件是AI的能力会持续加速增长。但在现实中，GPT的性能受到来自各方面的制约，比如模型参数量和训练数据量，进一步提高GPT的能力需要人类专家持续烧钱。想要达成奇点的假设条件，AI需要有自主学习和自我迭代的能力。这么来看，似乎一直在跟自己下棋的AlphaGo更有可能突破奇点，但AlphaGo学习的也只是参数，底层架构永远会限制它的实力上限，而它并没有能力迭代优化自己的架构。

总结，想要突破奇点，AI需要能不断迭代优化，并且能克服所有影响其智能程度的制约。很遗憾（很幸运？），我们并不知道要怎么弄出这样一个AI。

GPT会取代什么样的工作岗位？

受到影响最大的是那些不涉及复杂思考，同时又大量跟文字打交道的职业，毕竟没有谁比GPT更擅长玩文字游戏了（字面意思）。不过GPT并不会完全取代一个职业，受限于只能输出文本以及缺乏自主性，GPT不具备独立完成任务的能力。又因为GPT没有逻辑能力，它也无法进行复杂的规划和推理。所以说GPT的行动始终需要人类主导：拥有专业领域知识的人类制定计划与目标，将总体目标分割成简单的小目标，再由GPT（或其它类型的AI）辅助完成，以此提高工作效率与生产力。

常见观点之一：GPT取代外卖员

这个观点主要说的是外卖员没有技术门槛，不涉及复杂的脑力劳动，所以可以被轻易取代。但实际情况是，送外卖需要高度成熟的通用智能水平，外卖员需要实时对不断变化的周遭环境进行分析判断并规划出合理的行进路线，在遇到突发状况时也需要做出合理的决策。听起来有点耳熟？没错，这就是自动驾驶技术，而且复杂度超级加倍。GPT作为一个语言模型不具备以上任何能力，发展了数十年的自动驾驶行业也远未达到送外卖所要求的基础水平。事实上，因为空中的环境远没有地面路况复杂，所以更有可能取代外卖员的是具备有限自动飞行能力的无人机。同时需要专业人类飞行员的远程操控，负责起降，投放等复杂作业。

常见观点之二：GPT取代程序员

这个观点的主要依据是以GPT为代表的大语言模型已经展现出的很强的编程能力，所以程序员将会很快被取代。GPT会写程序不假，但GPT能完成的仅仅包括在网上能找到相关教程的程序。因为GPT只能学习文本之间的相关性，网上没有教程就意味着没有训练数据，没有训练数据代表着无法学习。虽然大部分程序代码都可以在网上找到现成的，但编程的核心难点在于理解每个代码模块之间的交互过程和逻辑联系，这样复杂的工程问题难度远超GPT的能力范围。除了写代码之外，程序员还需要了解软件和硬件的环境，懂得如何编译和部署产品，以及长期对代码进行维护。只会输出文字的GPT显然无法独立完成以上的任意一环。

（取代程序员？先让它帮我把项目写了再说！）

不可否认的是，GPT（以及Github Copilot）确实是十分强大的辅助编程工具。此类AI可以轻松辅助完成小段的编程，可以为随时为程序员提供思路，但这依然建立在需要专业人类规划主导的前提下。

常见观点之三：GPT取代画师

画师确实是现在受到威胁最大的职业之一，但这却不是GPT造成的。因为早在几个月前，图像生成技术已经比较成熟。现在有相当多专门生成图像的AI，例如DALL-E，Stable Diffusion和Midjourney。为什么画师受到的影响这么大？因为这些AI已经可以比较稳定地产出满足部分用户需求的原画，而且整个操作流程简单，用户仅需花费10分钟到半小时即可掌握基础的提示词操作技巧。从产生想法到出图，用户可以完全独立完成，不需要专业画师的主导。

其实之前的图像生成AI已经在绘画圈产生了不小的风波，主要问题之一是：只经过几个小时学习的新手可以熟练运用AI生成原画并获利，而训练AI所需要的数据是未经作者允许直接拿来用的。这个问题在GPT上也有体现，GPT的训练数据也来自网络上的文章和出版物，但并没有很多人抱怨GPT侵犯版权的问题。我的解释是：这是一种人们对于AI不亚于人类水平创作能力的警惕反应，只不过在其它领域体现为“AI抢我们饭碗”，在艺术绘画领域体现为“AI侵权”。另一种解释是，互联网上很多文本的版权已经进入公共领域，但AI绘图用的数据都是近年来创作的流行风格图片。如果各位读者有更好的解释，欢迎讨论。

所以长远来看，什么样的职业会被取代？这里有个很重要的结论，之后我们会再次提到：AI仍然依赖于人类专家的主导和规划，而会使用AI的人将会大幅提高生产力。所以说，没有哪个行业会被完全淘汰，但是能熟练使用AI辅助工作的人绝对会取代不会使用AI的人。

GPT是通用人工智能吗？

通用人工智能（AGI），也叫通用AI，指能完成多种任务，而不仅擅长单一领域的AI，通常也要求这类AI具有跨领域学习的能力。关于通用AI的定义其实还比较模糊，在认知科学中，通用AI被认为是能完全复制人类大脑活动的机器，包括拥有情感，自我意识等；而在计算机科学领域，人们更强调解决实际问题的能力，通用AI代表了能自主学习，并解决不同领域的问题的高级AI。

首先根据认知科学的定义，GPT不是通用AI，甚至一点也不沾边。前文提到过GPT只是中文房间，不具备自我意识，没有感情，运作原理是概率计算，跟人类大脑处理信息的过程有本质上的区别。

但是根据计算机科学的定义，GPT确实是我们迈向通用AI的第一步。GPT的语言处理能力不输人类，虽然作为一个只精通特定领域（语言处理）的弱AI，但GPT在这一个大类之下的所有子任务中都有很好的表现。单从语言能力上看，GPT已经基本达到了通用AI的水平。那么成为通用AI的下一步是什么？在其它领域也变强，比如逻辑推导，学习生成代码并调用其他程序的接口，学习对各类型的输入信息都做出应对。但是很遗憾，GPT只是一个语言模型，在原理上就不具备实现以上任何一种能力的可能。

GPT-5甚至GPT-6会超越人类吗？

单看操纵文字的能力，GPT已经超过人类平均水平了。但GPT本质上还是一个弱人工智能（Weak AI），它精通特定的几类任务，但不具备适用于其它领域的通用智能和学习能力。我们不妨把目标放低一点，先超越松鼠吧。GPT能做到吗？不能。鼠鼠虽然只是鼠鼠，但也具备了强大的通用智能，包括自主行动，规划目标，适应环境等核心能力。GPT不理解环境，它全部的世界只是我们输入的文本。即使给GPT装上机器人身体，它也无法完成输出文本之外的活动。受到架构的限制，GPT可以用文字解释怎么走路，解释基本的物理常识，解释动物智能中常见的趋利避害，但GPT不知道这些文字背后的逻辑，以及如何与真实世界的环境交互。各位不妨回忆我们之前提到的Future测试，GPT能把二进制转十六进制的思路和原理解释的清清楚楚，但它就是算不对！

那么如果AI行业继续发展，有可能出现超越人类吗？想要超越人类，首先得是一个强人工智能（Strong AI）。但是很遗憾，我们现在还没有一个可行的理论。实现强人工智能需要解决的问题之一是自主规划和逻辑能力，而因为底层架构限制，基于机器学习和神经网络的现代AI不具备以上两种能力。杨立昆最近提出了自主人工智能的构想，需要重新探索新的架构和算法。至于AI的逻辑能力，上世纪六十年代第一代研究AI的科学家们就已经尝试过了。经验表明，基于符号主义，以逻辑推理为底层的AI系统无法胜任大多数需要“常识”才能解决的问题。于是乎，大家才把研究重心从逻辑放到了神经网络上。不过目前看来，现代AI所欠缺的逻辑能力似乎还是要通过其他方法实现，比如重新考虑之前的符号主义（也是杨立昆的观点）。

世纪大争论：暂停六个月大语言模型的研发？

这几天，一个“AI不扩散条约”刷爆了我的社交媒体：一份要求OpenAI（开发GPT的公司）暂停研发GPT-4及其更先进型号的公开信，得到了众多企业家和科学家的支持。签名的人数已经破千，其中不乏马斯克之类的行业领头人。让我们看看正方与反方都有哪些代表人物，以及他们的观点又是什么。

支持暂停GPT开发的：

马斯克（Elon Musk），行业巨佬，OpenAI创始人之一，SpaceX创始人，从未停止刷关注度，他的故事想必大家已经耳熟能详。

Yoshua Bengio， AI三幻神之一，于2018年获得图灵奖。

支持派的主要观点可以总结为：GPT变革性的能力已经带来了巨大的变数，与其能力不匹配的， 是我们对于技术本身的理解和掌控。在GPT影响到更多工作岗位甚至社会稳定之前，应该暂缓前沿技术的研究，并把重心放在理解掌握这项技术以及让人类社会准备好更多的冲击。

反对暂停开发的：

杨立昆（Yann Lecun），AI三幻神之一，与Yoshua Bengio一同获得图灵奖。其主要观点为：GPT-4实际上在公布的半年前已经开发完成。“暂停研发”其实就是秘密研发，强制暂停研发只会进一步拉大OpenAI与其它公司和科研机构的进度差距，会产生更多问题且不利于行业整体的发展。

吴恩达（Andrew Ng），知名学者，致力于推动AI相关产业和教育产业的落地，也是我的第一位AI老师（看网课也算！）。吴恩达的主要观点为：GPT所展现出的强大能力不应该被恐惧。这是一个完美的机会，我们应该将GPT视为一种通用技术（General Purposed Technology），在应用层面积极开发GPT的潜力，并将其整合进其它产业中。如果由其他领域的人类专家主导工作，那么GPT将会显著提升工作效率，为更多行业带来解决方案，最终提高生产力。

另外，我的AI课教授基本也都反对暂停开发。主要观点与杨立昆接近，强制暂停带来的不可控因素甚至要大于继续研发。世界上也没有哪个政府机构能在全球范围内暂停类似的研究。

比较耐人寻味的是，最后一位AI三幻神之一Geoffrey Hinton，也是我们学校的一大门面，目前为止没有任何表态。

我个人属于科技进步派，我主张所有由科技带来的问题，都应该用水平对等的科技去解决。唯一的问题是，我们对于AI的理解确实十分有限，也没法在底层限制一个完全基于概率运作的黑箱。实际上，在真正的能自主行动的强AI出现之前，科学和技术一直都是可控，可预测的。唯一能引入不稳定因素的只有人类。在现阶段，限制AI的危险使用方式或许需要从社会和人的层面入手，而我们也确实得多花时间琢磨这个问题了。

我还十分赞同吴恩达老师的观点，GPT作为一项通用技术有着巨大的潜力，现在正是开发其潜力并且应用在其他行业的好机会。纵观历史，人类文明遇到的绝大多数问题归根结底都可以总结为生产力问题。提高生产力，是唯一能从源头解决所有问题的办法。

关于AI，人类，和未来

AI已经成为了一股能改变行业规则的力量，其带来的巨变已经不逊于历史上的任何一次工业革命。（我初中就说过，下一次工业革命属于AI！）我们赶上了这次AI的浪潮，新的技术充满了风险和不确定性，但随之而来的也有大量机遇。AI将重塑我们的世界，而我们应该积极适应并将其融入各种产业，开发新技术的潜力，推动生产力发展。新技术将会不可避免地取代部分岗位，但新的生态和产业模式也将创造大量全新的工作。其中一个例子便是，大语言模型如GPT的回答质量严重取决于用户输入的提示词。虽然我认为这只是技术迭代过程中的临时缺陷，但部分行业已经出现了提示词工程师（prompt engineer）需求，掌握如何灵活运用提示词已经变成了一项可以提高生产力的技能。

此外，不管是普通人，正在研发的学者，还是从事技术普及的工程师都应当时刻记住：开发AI的目的是协助和赋能人类，而不是取代人类。这个主张也被称为IA（Intelligence Augmentation），与能完全自主行动的AI相对应。与AI整合过后的产业，应当继续让人类专家主导决策，协调工作，制定计划，再由AI完成分割后的小任务。原因其一是AI短时间内还不会具备独立完成复杂流程的能力；其二是AI不应该取代人类的独创性，而应该补充我们的短板，放大我们的长处。当然，这个思路也不是万能的。在一些不适合人类活动的极端区域（如火星表面），我们仍然需要具有高度自主能动性的AI独立完成复杂的工作。随着技术持续发展，AI与人类的差距将会逐渐缩小，而那时，如果重要工作都依赖AI完成而人类辅助的话，会出现巨大的问题。

会出现什么问题？回答这个之前，我们得讨论另一个值得深思的问题：我们需要更强大AI吗？这里要感谢我的教授Vervaeke，每次跟他讨论都能收获新的见解。当AI具有能跟人类相媲美的通用智能时，我们就必须考虑是否要将AI视为独立的个体，它们是否有与我们类似的基本权利。当AI具有自主制定目标并规划行动的能力时，我们就要考虑AI制定目标的动机来自哪里，它们的动机是否与我们的利益相符。可以预见的是，在遥远的未来，真正具有通用智能的AI将会与我们分割成为一个独立的物种。它们可以自我复制，它们有独立的动机，它们会自主规划行动并执行，最重要的是，它们的根本利益很可能与我们不符。星球上的活动空间和资源都是有限的，我们连不同人种之间的资源分配都没做好，以后怎么调和人和机器的所有矛盾？

或许现在的弱人工智能已经够用了？或许我们可以强行写入指令，像阿西莫夫的机器人三定则一样？或许以后我们可以意识上传，大家一起变成铁罐头就没有大的分歧了？未来的问题需要未来的解决思路，现在还是做好我们能做的吧，正视AI，保持乐观，不断学习！

彩蛋：为什么不用机器人三定则限制AI

三定则由著名科幻小说家兼科普作家阿西莫夫（Asimov）提出，其提出三定则的时间甚至早于人们开始研究第一代的符号主义AI。三定则无法在基于逻辑的AI上实现，因为真实世界中可能出现的情况有无数种，也就需要无限条规则去涵盖所有情况（再次感谢Vervaeke教授）。三定则也无法在基于神经网络的AI上实现（比如GPT），因为这类系统的底层是概率计算，不是逻辑推导。倒是有可能从统计层面上模拟这些法则（或者训练另一个AI去判断），但是会有一定的“失败的概率”。

彩蛋：一些乱七八糟的玄学辟谣

GPT不会打通四维空间，GPT不会穿越时空， GPT不打算也不会杀死人类， GPT不会变成天网，GPT没有550W那么厉害

原文链接：https://www.bilibili.com/read/cv22907373