第 1章　RAG概述 001
1.1 人工智能和自然語言處理概述 001
1.1.1　人工智能的定義和發(fā)展歷史 001
1.1.2　自然語言處理的概念和基本任務(wù) 001
1.2　自然語言處理在大數(shù)據(jù)時(shí)代的挑戰(zhàn)與機(jī)遇 003
1.2.1　大數(shù)據(jù)時(shí)代對(duì)自然語言處理的影響 003
1.2.2　大數(shù)據(jù)時(shí)代的自然語言處理技術(shù)發(fā)展趨勢(shì) 004
1.3　基于RAG的大模型文檔搜索概述 006
1.3.1　RAG模型的含義和基本原理 006
1.3.2　大模型文檔搜索在信息檢索領(lǐng)域的重要性 007
1.4　基于RAG的大模型文檔搜索的工作原理 008
1.4.1　Retriever模塊的工作原理 008
1.4.2　Generator模塊的工作原理 009
1.4.3　Ranker模塊的工作原理 011
1.5　基于RAG的大模型文檔搜索的優(yōu)勢(shì)和應(yīng)用場(chǎng)景 012
1.5.1　優(yōu)勢(shì) 012
1.5.2　應(yīng)用場(chǎng)景 014
第 2章　PyTorch編程基礎(chǔ) 017
2.1　PyTorch簡(jiǎn)介 017
2.2　PyTorch安裝與環(huán)境配置 018
2.2.1　安裝PyTorch 018
2.2.2　環(huán)境配置 019
2.2.3　常見安裝問題及解決方法 019
2.3　PyTorch張量 020
2.3.1　張量的創(chuàng)建 020
2.3.2　張量的基本運(yùn)算 023
2.3.3　張量的索引和切片 026
2.3.4　張量的形狀操作 029
2.4　PyTorch自動(dòng)微分 032
2.4.1　梯度計(jì)算 032
2.4.2　反向傳播 033
2.4.3　停止梯度傳播 035
2.5　PyTorch模型構(gòu)建 037
2.5.1　搭建神經(jīng)網(wǎng)絡(luò)模型 037
2.5.2　模型參數(shù)的訪問和初始化 039
2.6　PyTorch數(shù)據(jù)加載與預(yù)處理 041
2.6.1　數(shù)據(jù)加載 041
2.6.2　數(shù)據(jù)預(yù)處理 043
2.7　PyTorch模型訓(xùn)練與評(píng)估 045
2.7.1　模型訓(xùn)練 045
2.7.2　模型評(píng)估 049
2.8　PyTorch模型保存與加載 053
2.8.1　模型的保存 053
2.8.2　模型的加載 054
2.9　小結(jié) 056
第3章　深度學(xué)習(xí)基礎(chǔ) 057
3.1　感知機(jī)和多層感知機(jī) 057
3.1.1　感知機(jī)的原理和結(jié)構(gòu) 057
3.1.2　多層感知機(jī)的結(jié)構(gòu)和前向傳播 058
3.1.3　多層感知機(jī)的訓(xùn)練算法 059
3.2　卷積神經(jīng)網(wǎng)絡(luò) 061
3.2.1　卷積層和池化層 061
3.2.2　CNN的典型結(jié)構(gòu)：LeNet、AlexNet、VGG、ResNet 064
3.3　循環(huán)神經(jīng)網(wǎng)絡(luò) 073
3.3.1　RNN的結(jié)構(gòu)和原理 073
3.3.2　長(zhǎng)短期記憶網(wǎng)絡(luò) 075
3.3.3　門控循環(huán)單元 076
3.4　Transformer模型 078
3.4.1　Self-Attention機(jī)制 078
3.4.2　Transformer架構(gòu) 080
3.4.3　Transformer在機(jī)器翻譯、語言建模等任務(wù)中的應(yīng)用 084
3.5　BERT模型 084
3.5.1　BERT的預(yù)訓(xùn)練任務(wù)和目標(biāo) 084
3.5.2　BERT的結(jié)構(gòu)、原理和應(yīng)用 088
3.6　GPT大模型 089
3.6.1　GPT的預(yù)訓(xùn)練任務(wù)和目標(biāo) 089
3.6.2　GPT的結(jié)構(gòu)、原理和應(yīng)用 090
3.7　深度學(xué)習(xí)的優(yōu)化算法 091
3.7.1　梯度下降和反向傳播 091
3.7.2　SGD和Adam 094
3.7.3　學(xué)習(xí)率調(diào)整策略 096
3.8　深度學(xué)習(xí)的正則化和防止過擬合方法 099
3.8.1　L1和L2正則化 099
3.8.2　Dropout和Batch Normalization 101
第4章　自然語言處理基礎(chǔ) 103
4.1　基礎(chǔ)知識(shí) 103
4.1.1　分詞算法 103
4.1.2　關(guān)鍵詞提取 106
4.1.3　摘要提取 110
4.2　模型如何看懂文字 113
4.3　ChatGPT大模型 117
4.3.1　GPT模型的發(fā)展歷程 118
4.3.2　ChatGPT模型概述 119
4.3.3　ChatGPT模型的原理和發(fā)展方向 120
第5章　Web可視化 121
5.1　Streamlit介紹 121
5.1.1　概述 121
5.1.2　主要功能 122
5.1.3　應(yīng)用場(chǎng)景 132
5.2　Gradio介紹 145
5.2.1　概述 145
5.2.2　主要功能 147
5.2.3　應(yīng)用場(chǎng)景 153
第6章　RAG文檔分塊和向量化 164
6.1　文檔分塊概述 164
6.1.1　文檔分塊的定義和作用 164
6.1.2　常見的文檔分塊算法 166
6.1.3　文檔分塊在信息檢索和自然語言處理中的應(yīng)用 168
6.2　文檔分塊方法 171
6.2.1　基于規(guī)則的文檔分塊方法 171
6.2.2　基于機(jī)器學(xué)習(xí)的文檔分塊方法 173
6.2.3　基于深度學(xué)習(xí)的文檔分塊方法 174
6.3　文檔向量化概述 178
6.3.1　文檔向量化的定義和作用 178
6.3.2　文檔向量化在自然語言處理中的應(yīng)用場(chǎng)景 179
6.3.3　文檔向量化的評(píng)估指標(biāo) 181
6.4　基于詞袋模型的文檔向量化方法 183
6.4.1　詞頻矩陣 183
6.4.2　TF-IDF矩陣　　 　 185
6.4.3　Hot編碼 187
6.4.4　哈希編碼 188
6.5　基于詞嵌入模型的文檔向量化方法 190
6.5.1　Word2Vec 190
6.5.2　fastText 191
6.5.3　Doc2Vec 193
6.6　基于預(yù)訓(xùn)練模型的文檔向量化方法 195
6.6.1　BERT文檔向量化 195
6.6.2　GPT文檔向量化 197
第7章　RAG向量檢索技術(shù) 199
7.1　向量檢索技術(shù)的定義和應(yīng)用場(chǎng)景 199
7.1.1　向量檢索技術(shù)的定義 199
7.1.2　向量檢索技術(shù)的應(yīng)用場(chǎng)景 200
7.2　向量間距離的計(jì)算 204
7.2.1　內(nèi)積距離 204
7.2.2　歐式距離 206
7.2.3　漢明距離 207
7.2.4　杰卡德距離 208
7.3　基于樹的方法 210
7.3.1　KNN算法 210
7.3.2　KD-樹 211
7.3.3　Annoy 212
7.4　基于哈希的方法 214
第8章　RAG中的Prompt技術(shù) 216
8.1　特定指令模式 217
8.2　指令模板模式 223
8.3　代理模式 227
8.4　示例模式 231
8.5　零樣本提示模式 231
8.6　少樣本提示模式 233
8.7　思維鏈提示模式 234
8.7.1　零樣本CoT 235
8.7.2　少樣本CoT 237
第9章　動(dòng)手實(shí)現(xiàn)PDF閱讀器 239
9.1　PDF內(nèi)容提取 239
9.2　PDF文檔分塊 241
9.3　PDF文檔向量化 243
9.4　PDF文檔相似度計(jì)算 244
9.5　大模型回答 246