人工智能大数据,工作效率生产力
Ctrl + D 收藏本站,更多好用AI工具
当前位置:首页 » AI资讯

GPT-4,或许真的可以让“人工”更“智能”

2023-12-31 80

自2018年GPT-1发布起,每年一更新。距离2020年GPT-3发布已有两年,这段时间里,大家都在期待和畅想,GPT-4到底会带来怎样的惊喜。

期间,“通过图灵测试”,“GPT-4Beta版访问权限已提供给某公司”等消息不断,甚至OpenAI的首席执行官Sam Altman也在社交媒体账号上写出疑似GPT-4即将发布的言论。当前,关于GPT-4的讨论仍在继续。

GPT-4,或许真的可以让“人工”更“智能”插图

01

GPT是什么

GPT是Generative Pre-trained Transformers的缩写,即预训练模型,是当下火遍全球的AIGC(人工智能生成内容)背后的AI模型。

GPT是由OpenAI研究发布,GPT-1发布于2018年,主要包括两个阶段,先利用大量未标注的语料预训练一个语言模型,然后再在下游具体任务的有标签数据集上进行fine-tune。但fine-tune只能用到特定任务中,是否可以用一个模型解决所有NLP任务,是GPT后续迭代的目标。

GPT-2发布于2019年,与GPT-1相比,去掉了fine-tuning层,采用了多任务的方式,数据和模型参数大约是之前的10倍,同时主打zero-shot任务,即在下游任务中不进行任何训练或微调,以此来训练一个泛化能力更强的词向量模型。

GPT-3 发布于2020年,依旧延续自己的单向语言模型训练方式,结构和GPT-2一样,但是数据约为GPT-2的1000倍,模型参数约为GPT-2的100倍。由于GPT-3庞大的体量,作用到下游子任务时,不进行任何的梯度更新或fine-tune。

GPT-4,或许真的可以让“人工”更“智能”插图1

自2020年GPT-3发布之后,有关GPT-4的猜测就讨论至今。有行业内的人透露道,GPT-4 将包含大约100万亿个参数,但OpenAI的CEO Sam Altman在一次私下问答中否认了这一说法。除了模型大小,分析师Alberto Romero预测,GPT-4将优化计算模型,是一个密集模型,且依旧是纯文本模型。

为什么GPT-4备受关注,这与GPT-3带来的突破变化密切相关。

02

它可以“像人一样”生产内容

GPT-3通过深度学习技术,获取了2019年10月之前人类公开发表的所有文本,包括维基百科、书籍以及社交媒体和公共网络上的词语,进而把不同信息联系起来,用数学方法处理信息。最终,GPT-3可以根据一个简单的命令式写出完整的文章、在不同语言之间进行翻译,还能写菜谱、作曲,甚至还可以自学编程,在SQL和Python中都写出了可运行的代码。

近期火爆全网的图像生产,甚至是视频生成和3D生成等AIGC领域的应用,背后也都与GPT-3的发布有关。AIGC的本质是从文本生成扩展到多模态,并结合原有模态算法进行实现。OpenAI发布的Text-to-image系列模型DALLE和DALLE2,就是在多模态层面持续探索。

GPT-4虽然还未到来,但发布了GPT-3.5的微调版本——ChatGPT,其本质是一个通用聊天机器人。它是在2021年第四季度之前发布的混合文本和代码上进行训练的。

与其他语言模型不同,ChatGPT 拒绝回答有关未接受过培训的主题的问题。OpenAI 首席技术官 Mira Murati 举例道:它不会尝试回答有关2021年之后发生的事件的问题,它也不会回答有关个人的问题。这与它“依赖训练数据中的统计规律,而不是对世界的类人理解”有关。

但GPT-3.5的发布将大家的焦点再次拉到GPT-4上,一位AI创业公司的代表分析称:“GPT-4轻松通过了图灵测试”,OpenAI CEO Sam Altman近期在推文写道:“不要为自己创造的‘技术恐怖’而骄傲,通过图灵测试的能力在‘原力’面前无能为力。”种种言论都在表明,GPT-4即将到来。

03

它可以像人一样思考吗?

但,没有人知道GPT-4会带来怎样的变化,毕竟GPT-3和AIGC的发展下一步,似乎只能是通用化或是“真正地和人一样”。

清华大学计算机系副教授黄民烈认为,GPT-3在内容创作中的应用值得看好,但他认为它不太擅长逻辑推理。尽管GPT-3非常好地利用了数据学习的能力和算力,但未来真正的通用AI脱离知识是不行的。

对此,若把真实语言连接到认知模型上,比如知识图谱,这种关联或许可以实现通用智能的路径。知识图谱也可以用于辅助进行数据分析与决策。不同来源的知识通过知识融合进行集成,通过知识图谱和语义技术增强数据之间的关联,用户可以更直观地对数据进行分析。

当前,确实有一些学者在GPT与知识图谱领域内做研究,比如从预训练语言模型中构建知识图谱,也有将知识图谱生成语料库,输入给NLP模型训练。

然而传统的知识图谱是静态的,他与当前的GPT一样,很难去做逻辑推断或因果分析。没有逻辑推断和因果分析能力,就很难回答“为什么”这一问题,这样就意味着很难做到“可解释”,也很难进一步应用,通过分析自主产生决策。

事件知识图谱的出现或许给这一问题提供了解决思路,事件知识图谱是自然语言处理和人工智能发展的产物。通过抽取事件之间的关系,将事件关联起来,形成事件知识图谱。其中最重要的两类关系是事件时序和因果关系。或许事件知识图谱与GPT的结合会在通用AI,可解释,甚至决策智能等领域,给人们带来一定的想象

原文链接:https://www.163.com/dy/article/HNT9B7C7055612B3.html

相关推荐

阅读榜

点击榜

hellenandjeckett@outlook.com

加入QQ群:849112589

回顶部