导读

对大模型的需求，本质上是对大数据的需求：当前的人工智能算法，尚无法高效地建模不同数据之间的关系， 并以此解决模型泛化的问题；取而代之地，通过收集并处理大量训练数据，人工智能算法能够通过 ` 死记硬背 ’ 的方式，一定程度上提升泛化能力。从这一角度看，大模型对数据的应用，依然处于比较初级而低效的水平。可以预见到，这种方式的边际效应是明显的：数据集越大、模型越大，提升同等精度所需要的代价就越大。要想通过预训练大模型真正解决人工智能问题，看来也是不太现实的。

预训练大模型是人工智能领域的研究热点和前沿技术，近年来在自然语言处理、计算机视觉等方向取得了巨大成功。华为云团队撰写的《预训练大模型白皮书》，将其在大模型研发和落地中的经验总结出来，分享给学术界和工业界，对推动预训练大模型理论、方法、技术、应用的发展具有重要意义。

获取报告