第一部分 基础知识

第一部分介绍与预训练语言模型相关的基础知识,首先介绍自然语言处理的相关知识,如自然语言处理的定义和发展历史、自然语言的复杂性、自然语言处理的研究领域、自然语言处理的常规任务和常用工具;接着介绍神经网络预备知识,包括神经网络核心概念和主要类型;最后,从预训练的定义和文本表示方法的分类着手,对各类文本表示方法进行详细介绍。

本部分包括以下内容。

自然语言处理介绍

神经网络预备知识

预训练语言模型基础知识