RNN RNN(循环神经网络)其实核心思想很简单:普通的神经网络每次处理数据都是独立的、互不相关的,而RNN会把"记忆"从上一步传递到下一步,这样就能处理像句子、语音、时间序列这种有先后顺序的数据。 几个关键点帮你理解: 1. 核心机制 每个时间步都会接收两样东西:当前的输入(比如句子里的一个词),以及上一步传下来的"隐藏状态"(可以理解成到目前为…

简述 Transformer是现今所有LLM的底层架构，作为序列模型彻底抛弃了RNN的循环结构，完全依赖注意力机制。 Transformer原始架构由多层编码器和多层解码器两个部分组成，其内部和连接引入了三种多头注意力来保证序列之间的语义性，又有逐位前馈神经网络来保证每个词语在每个序列位置中的特征。在外部引入了位置编码让模型感知语序，利用残差连接和…