LLM Training
Last updated
Last updated
这些是我从非常推荐的书籍 https://www.manning.com/books/build-a-large-language-model-from-scratch 中整理的笔记,附加了一些额外信息。
您应该先阅读这篇文章,以了解一些基本概念:
这个初始阶段的目标非常简单:以某种合理的方式将输入划分为标记(ID)。
这个第二阶段的目标非常简单:对输入数据进行采样,并为训练阶段准备数据,通常通过将数据集分隔为特定长度的句子,并生成预期的响应。
这个第三阶段的目标非常简单:为词汇表中的每个标记分配一个所需维度的向量以训练模型。 词汇表中的每个单词将在X维空间中有一个点。 请注意,最初每个单词在空间中的位置是“随机”初始化的,这些位置是可训练的参数(在训练过程中会得到改善)。
此外,在标记嵌入期间创建了另一层嵌入,它表示(在这种情况下)单词在训练句子中的绝对位置。这样,句子中不同位置的单词将具有不同的表示(含义)。
这个第四阶段的目标非常简单:应用一些注意机制。这些将是许多重复的层,将捕捉词汇表中单词与当前用于训练LLM的句子中其邻居的关系。 为此使用了许多层,因此将有许多可训练的参数来捕捉这些信息。
这个第五阶段的目标非常简单:开发完整LLM的架构。将所有内容整合在一起,应用所有层,并创建所有函数以生成文本或将文本转换为ID及其反向操作。
该架构将用于训练和预测文本。
这个第六阶段的目标非常简单:从头开始训练模型。为此,将使用之前的LLM架构,通过对数据集进行循环,使用定义的损失函数和优化器来训练模型的所有参数。
使用LoRA大大减少了所需的微调已训练模型的计算量。
本节的目标是展示如何微调一个已经预训练的模型,以便LLM选择给定文本被分类到每个给定类别的概率(例如,文本是否为垃圾邮件)。
本节的目标是展示如何微调一个已经预训练的模型以遵循指令,而不仅仅是生成文本,例如,作为聊天机器人响应任务。