param

在前沿AI大模型规模呈指数级增长的趋势下，仅凭单卡已经很难满足当下的推理需求。 就拿拥有1750亿参数的GPT-3来说。 仅仅是加载模型参数就需要数百GB的存储空间，远超单个GPU的容纳能力。 因此，多卡并行被视为AI大模型推理的必然选择。...