简述 Transformer是现今所有LLM的底层架构，作为序列模型彻底抛弃了RNN的循环结构，完全依赖注意力机制。 Transformer原始架构由多层编码器和多层解码器两个部分组成，其内部和连接引入了三种多头注意力来保证序列之间的语义性，又有逐位前馈神经网络来保证每个词语在每个序列位置中的特征。在外部引入了位置编码让模型感知语序，利用残差连接和…