无需语言预训练的文本到图像生成模型

现代文本到图像（T2I）系统使用大规模语言预训练进行文本条件图像生成。本文提出Halcyon，一种早期融合的多模态自回归模型，完全从零开始在GPIC数据集上预训练，该数据集包含100M图像-文本对。Halcyon-0.52B在预训练计算量上比LlamaGen-XL/8少18.2倍，性能优于后者。Halcyon-1.6B在预训练计算量上比JiT-T2I-XXL/8++少275倍，性能也优于后者。控制实验表明，仅文本预训练不会提高T2I生成。Halcyon通过替换caption dropout为I2T监督，在不增加预训练预算的情况下，也能保持有竞争力的T2I生成质量。研究表明，强大的T2I系统可以在没有互联网规模语言预训练的情况下从头开始训练。代码和模型可在https://cs.stanford.edu/~keshik/halcyon获取。