1.1 大语言模型是什么

大语言模型是指在大规模文本语料上训练得到的，参数规模巨大的神经网络语言模型。它有以下5个特征。

（1）参数规模巨大：大语言模型的参数量非常庞大，可以达到数十亿甚至上百亿个参数，远远超过传统的语言模型。

（2）预训练能力强：大语言模型通过在大规模语料上进行无监督预训练，学习语言的统计规律，获得强大的语言理解和生成能力。

（3）可微调：预训练的语言模型可以通过微调来适应下游的具体NLP任务，如文本分类、机器翻译等。

（4）编码器-解码器结构：大语言模型同时包含编码器和解码器，可以更好地支持理解与生成语言的双向运算。

（5）Transformer架构： 大语言模型是基于Transformer的一种更复杂的模型结构，作为大语言模型的底座，Transformer提供了一种有效的方式来处理序列数据，特别是长序列数据。