内容来源:量子前哨(ID:Qforepost)
编辑丨慕一 编译/排版丨沛贤
深度好文:2000字丨12分钟阅读
如今,量子计算被认为是下一个“十年之约”的爆发点,据行业专家称,它可能掌握着遏制AI对算力“贪得无厌”的秘诀。
随着时间的推移,会出现规模更大、参数密度更高的模型,与此同时,AI算力部署的规模也在同步扩大。仅在今年,像Meta这样的超大规模公司就计划部署数十万个GPU。即使如此,OpenAI的创始人 Sam Altman 仍然坚信,如果我们要进一步发展AI,将需要指数级增长的计算能力。
因此,OpenAI最近的一次招聘动作对量子计算押上了一注。上周,著名光量子计算公司PsiQuantum的前量子系统架构师Ben Bartlett加入了AI巨头OpenAI。
通过Bartlett简历可知,他的研究大部分集中在量子物理、机器学习和纳米光子学的交叉领域,“我主要为光量子设计了一些小跑道,引导它们去进行有用的计算”。
那么,OpenAI 到底希望量子物理学家为它做些什么呢?我们大胆猜测是使用量子优化计算来简化训练数据集、使用量子处理单元(QPU)来处理复杂的图数据库、使用光芯片技术来突破现代半导体封装技术的极限等方面。
D-Wave的量子业务创新副总裁 Murray Thom曾提到,量子计算可能会大大提高训练大型AI模型的效率,使它们能够从参数更少的模型中推导出更准确的结果。
有人说,GPT-4 的参数可能超过一万亿。如果不借助量化和其他压缩策略,AI模型在 FP8 或 Int8 精度下运行时,每十亿个参数需要约 1GB 的内存,而在更高的精度下,所需内存会更多。
而数万亿个参数的大模型正接近单个AI服务器可以有效容纳的极限,也可以将多个服务器串联起来以支持更大的模型,但这会带来性能损失。
而且这只是今天面临的情况。如果 Altman 是对的,这些模型只会变得越来越大、越来越通用。因此,任何可以让 OpenAI 在不显著增加参数数量的情况下,提高其模型训练能力的技术都可以让它占得先机。
D-Wave软件和算法副总裁 Trevor Lanting 说道:“当你训练一个模型时,模型中参数数量确实会增加训练模型的成本和复杂性。”
他解释说,为了解决这个问题,开发人员经常需要选择对训练该特定模型来说最重要的特征,以减少所需参数的数量。D-Wave并没有尝试使用传统经典算力来解决这一问题,而是提出量子优化算法,这可能更有效地确定哪些特征要保留或排除。
因为到目前为止,此类优化问题(比如常见的寻路或物流问题)已被证明是量子计算最有前途的应用之一。
(图片来源:网络)
“我们的量子计算机真正擅长的是优化会相互影响的变量:比如分配某人特定的日程安排或特定的交付,”Thom 说。“如果这些决策是独立的,那就没问题,经典计算机可以轻松完成,但事实上所作的决策会影响其他变量,并像网络一样将影响不断扩大。”
换句话说,现实世界是混沌的。道路上可能有很多辆车,会遇到临时封闭,或者遇到突发天气等情况。与经典计算机相比,量子计算机固有的独特属性允许它们可以同时探索这些影响因子,以确定最佳选择。
这就完全类似于神经网络,其中神经元会放电或者不放电,并且它们与其他神经元有突触连接,这些连接会激发或者抑制其他神经元放电,”Thom 解释说。
Lanting 声称:“这意味着量子算法可以用于优化特定要求的AI训练数据集,而训练后的结果是一个更精简、更准确的模型。”
从长远来看,D-Wave 和其他公司正在寻找将量子处理单元(QPUs)更深入地应用于训练过程的方法。
其中一个用例是将量子计算应用于采样。采样是指AI模型(如大语言模型LLMs)如何根据概率分布确定下一个单词(或更具体地说是标记)应该是什么。
“硬件非常擅长产生样本,因此您可以调整这些样本的权重。我们正在探索将量子退火算法更直接地插入训练工作负载中,这可能会一种的好方法,”Lanting 解释说。
“在机器学习中,没有真正简单的方式来表示图形数据,因为图形是一个复杂的对象,”Pasqal 首席技术官 Loïc Henriet 提到:“你可以相对自然地将图形的结构化数据嵌入到量子动力学中,这产生了一些处理数据的新方法。”
Henriet 解释说,然而,在实现这一目标之前,量子计算系统必须变得更大、更快。
“大型数据集目前还不实用,”他说。“这就是为什么我们需要提升量子比特数量的原因:重复率。因为有了更多的量子比特,就可以嵌入更多的数据。”
在量子图神经网络变得可行之前,还要等多久。Pasqal 在研发一种拥有 10000 个量子比特的系统。不幸的是,研究表明,即使拥有 10000 个纠错量子比特的系统,或者大约100万个物理量子比特的系统,可能也还不足以与现代 GPU 竞争。
除了量子AI算法以外,OpenAI 还需要开发其他硬件技术,而 Bartlett 恰好是这方面的专家。
值得注意的是,Bartlett的前东家 PsiQuantum一直在开发基于硅光子学的量子系统。这表明他的加入可能与OpenAI 在定制AI加速器方面的工作有关。
一些硅光子学初创公司,包括 Ayar Labs、Lightmatter 和 Celestial AI,都将这项技术作为克服带宽限制的一种手段,而带宽正是扩展机器学习性能的主要限制因素。
可以通过使用光,在更长的距离上传输更多数据。在许多这样的设计中,光实际上是通过刻在硅片上的“波导”传输的,这听起来非常像“为光子设计小跑道”。
Lightmatter 公司的研究者认为,这项技术将允许多个加速器作为一个单元运行,而不会因数据离开芯片而造成带宽损失。同时,Celestial 看到了一个机会,通过消除直接与加速器芯片相邻的模块共封装的需要,可大幅增加 GPU 可用的高带宽内存量。这两种能力对于OpenAI这样需要大规模训练AI的公司来说都是极具吸引力的。
原文链接:https://blog.csdn.net/Qforepost/article/details/136794105?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171851495616800215025034%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=171851495616800215025034&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-27-136794105-null-null.nonecase&utm_term=AI%E7%AE%80%E5%8E%86