过去几年，大规模预训练模型在 NLP 领域取得了成功，这类模型可以通过几个示例解决复杂的推理任务，也可以按照指令进行推理。 众所周知的是，预训练模型能取得成功的一个理论基础是，随着容量（即参数量）或预训练数据量的增加，模型能够不断提升性能。 这很自然地引发了研究者们的联想：使用自回归目标对 Transformers 进行缩放的成功是否仅限于文本？ 在最新的一篇论文《Scalable Pre-training of Large Autoregressive Image Models》中，苹果的研究者提出了