整理学习笔记时,我发现,单独记住 BM25、RRF、Redis 或 Trainer 的定义并不难,真正容易混淆的是:它们分别解决哪个问题,又怎样放进同一条系统链路。本文把这些知识点放到一个教育知识库问答的例子中,补上计算过程、使用边界和工程细节。 本文中的系统流程是教学设计,数值算例用于解释算法,不代表线上业务效果。模型和数据库代码需要相应依赖与运…
链式提示(Prompt Chaining) 一、概念 把一个复杂任务拆成多个子任务,每个子任务一个提示词,上一步的输出作为下一步输入的一部分,串成一条链输出最终结果。 本质:串行拆解——不是用一个超详细的大提示硬扛,而是"分而治之",每步只做一件明确的子操作。 二、类型 维度单个复杂提示链式提示任务复杂度LLM 可能撑不住靠拆分逐步完成透明度黑盒,…
RAG标准流程 RAG = 模型 + 相关已拆分的文档片段 -》生成可靠回答 Step 1 索引 结构化、非结构化资料,经由人工精处理后,做成源知识库。 word、ppt、pdf、图片等 能用行列表格标识的是结构化数据 人工处理异常值、重复值 文本提取&文本分块。 转化为纯字符串 把字符串分成文本区块chunk embedding词向量嵌入…
深度学习简介 1.1 什么是深度学习 定义:深度学习(Deep Learning)是机器学习的分支,是一种以人工神经网络为架构、对数据进行特征学习的算法。其中的"深度"指网络中使用多层结构。 核心思想:通过模仿人脑的神经网络来处理和分析复杂的数据,从大量数据中自动提取复杂特征,擅长处理高维数据(图像、语音、文本)。 与机器学习/人工智能的关系:机器…