滄州建設(shè)銀行招聘網(wǎng)站,西安網(wǎng)站開發(fā)制作,集團公司手機站網(wǎng)站,怎么做網(wǎng)站上做電子書RAG#xff08;檢索增強生成#xff09;是一種結(jié)合信息檢索與生成式大語言模型的AI框架#xff0c;通過外部知識庫增強回答準確性。它解決了大模型知識更新不及時、幻覺問題、信息安全風險及垂直領(lǐng)域知識整合等痛點。RAG流程包括知識準備#xff08;數(shù)據(jù)預處理、分塊、向量…RAG檢索增強生成是一種結(jié)合信息檢索與生成式大語言模型的AI框架通過外部知識庫增強回答準確性。它解決了大模型知識更新不及時、幻覺問題、信息安全風險及垂直領(lǐng)域知識整合等痛點。RAG流程包括知識準備數(shù)據(jù)預處理、分塊、向量化、入庫和問答階段查詢處理、檢索、重排序、信息整合、LLM生成有效提升大模型應(yīng)用的可靠性和專業(yè)性。1、RAG是什么RAGRetrieval-Augmented Generation檢索增強生成, 一種AI框架將傳統(tǒng)的信息檢索系統(tǒng)(例如數(shù)據(jù)庫)的優(yōu)勢與生成式大語言模型(LLM)的功能結(jié)合在一起。不再依賴LLM訓練時的固有知識而是在回答問題前先從外部資料庫中“翻書”找資料基于這些資料生成更準確的答案。RAG技術(shù)核心緩解大模型落地應(yīng)用的幾個關(guān)鍵問題知識新鮮度大模型突破模型訓練數(shù)據(jù)的時間限制幻覺問題降低生成答案的虛構(gòu)概率提供參照來源信息安全通過外掛知識庫而不是內(nèi)部訓練數(shù)據(jù)減少隱私泄露垂直領(lǐng)域知識無需訓練直接整合垂直領(lǐng)域知識2、RAG核心流程2.1 知識準備階段2.1.1 數(shù)據(jù)預處理a. 文檔解析輸入原始文檔如Markdown/PDF/HTML操作提取純文本如解析Markdown標題、段落處理特殊格式如代碼塊、表格、圖片、視頻等例如[標題] 什么是 ROMA [段落] ROMA 是一個全自主研發(fā)的前端開發(fā)基于自定義DSL(Jue語言)一份代碼可在iOS、Android、Harmony、Web四端運行的跨平臺解決方案。 [段落] ROMA 框架的中文名為羅碼。 [標題] 今天天氣 [列表項] 今天的室外溫度為35°C天氣晴朗。文檔的解析過程需要考慮不同文檔內(nèi)容例如文本、圖片、表格等場景以及文檔的語言布局情況可以考慮使用一些優(yōu)秀的三方工具或者一些視覺模型布局分析模型語義理解模型來輔助解析。b. 數(shù)據(jù)清洗與標準化處理提升文本質(zhì)量和一致性使向量表示更準確從而增強檢索相關(guān)性和LLM回答質(zhì)量同時消除噪聲和不規(guī)則格式確保系統(tǒng)能正確理解和處理文檔內(nèi)容。包括:去除特殊字符、標簽、亂碼、重復內(nèi)容。文本標準化例如 時間、單位標準化如“今天” → “2025-07-17”。其他處理數(shù)據(jù)的清洗和標準化過程可以使用一些工具或NLTK、spaCy等NLP工具進行處理。例如:pROMA框架/p 處理 ROMA框架 今天的室外溫度為35°C天氣晴朗。 處理 2025-07-17 的室外溫度為35°C天氣晴朗c. 元數(shù)據(jù)提取關(guān)于數(shù)據(jù)的數(shù)據(jù)用于描述和提供有關(guān)數(shù)據(jù)的附加信息。文檔來源文檔的出處例如URL、文件名、數(shù)據(jù)庫記錄等。創(chuàng)建時間文檔的創(chuàng)建或更新時間。作者信息文檔的作者或編輯者。文檔類型文檔的類型如新聞文章、學術(shù)論文、博客等。元數(shù)據(jù)在RAG中也非常重要不僅提供了額外的上下文信息還能提升檢索質(zhì)量檢索增強精準過濾按時間、作者、主題等縮小搜索范圍相關(guān)性提升結(jié)合向量相似度和元數(shù)據(jù)特征提高檢索準確性ii. 上下文豐富來源標注提供文檔來源、作者、發(fā)布日期等信息文檔關(guān)系展示文檔間的層級或引用關(guān)系iii. 常見的元數(shù)據(jù)提取方式:正則/HTML/… 等解析工具提取標題、作者、日期等自然語言處理: 使用NLP技術(shù)如命名實體識別、關(guān)鍵詞提取從文檔內(nèi)容中提取元數(shù)據(jù)如人名、地名、組織名、關(guān)鍵詞等機器學習模型: 訓練機器學習模型來自動提取元數(shù)據(jù)通過調(diào)用外部API如Google Scholar API、Wikipedia API獲取文檔的元數(shù)據(jù)例如complete_metadata_chunk1 { file_path: /mydocs/roma_intro.md, file_name: roma_intro.md, chunk_id: 0, section_title: # 什么是 ROMA, subsection_title: , section_type: section, chunking_strategy: 3, content_type: product_description, main_entity: ROMA, language: zh-CN, creation_date: 2025-07-02, # 從文件系統(tǒng)獲取 word_count: 42 # 計算得出, topics: [ROMA, 前端框架, 跨平臺開發(fā)], entities: { products: [ROMA, Jue語言], # 實體識別 platforms: [iOS, Android, Web] }, }2.1.2 內(nèi)容分塊(Chunking)在RAG架構(gòu)中分塊既是核心也是挑戰(zhàn)它直接影響檢索精度、生成質(zhì)量需要在檢索精度、語境完整性和計算性能之間取得平衡。內(nèi)容分塊將長文檔切分成小塊可以解決向量模型的token長度限制使RAG更精確定位相關(guān)信息提升檢索精度和計算效率。AutoBots(JoyAgent)功能分塊實際RAG框架中按照文檔的特性選擇合適的分塊策略進行分塊。常見的分塊策略a. 按大小分塊按固定字符數(shù)進行分塊實現(xiàn)簡單但可能切斷語義單元。優(yōu)點實現(xiàn)簡單且計算開銷小塊大小均勻便于管理。缺點可能切斷語義單元如句子或段落被分到不同塊中。例如第一段# ROMA框架介紹ROMA是一個全自主研發(fā)的前端開發(fā)框架基于自定義DSL(Jue語言)。 一份代碼可在iOS、Android、Harmony 第二段、Web三端運行的跨平臺解決方案。ROMA框架的中文名為羅碼。句子被截斷“一份代碼可在iOS、Android、Harmony” 和 “、Web三端運行的跨平臺解決方案” 被分到不同塊影響理解。b. 按段落分塊以段落為基本單位進行分塊保持段落完整性但段落長度可能差異很大。優(yōu)點尊重文檔自然結(jié)構(gòu)保留完整語義單元。缺點段落長度差異大可能導致塊大小不均衡。例如第一段# ROMA框架介紹ROMA是一個全自主研發(fā)的前端開發(fā)框架基于自定義DSL(Jue語言)。 一份代碼可在iOS、Android、Harmony、Web三端運行的跨平臺解決方案。ROMA框架的中文名為羅碼。 第二段# 核心特性1. 跨平臺一套代碼運行于多端2. 高性能接近原生的性能表現(xiàn)3. 可擴展豐富的插件系統(tǒng)第一段包含標題和多行內(nèi)容而其他段落相對較短可能導致檢索不均衡。c. 按語義分塊基于文本語義相似度進行動態(tài)分塊保持語義連貫性但計算開銷大。說明基于文本語義相似度動態(tài)調(diào)整分塊邊界。優(yōu)點保持語義連貫性能識別內(nèi)容主題邊界。例如第一段# ROMA框架介紹ROMA是一個全自主研發(fā)的前端開發(fā)框架基于自定義DSL(Jue語言)。 一份代碼可在iOS、Android、Harmony、Web四端運行的跨平臺解決方案。 第二段ROMA框架的中文名為羅碼。 ## 核心特性1. 跨平臺一套代碼運行于多端使用依賴模型質(zhì)量相同文本在不同運行中可能產(chǎn)生不同分塊結(jié)果。d. 分塊策略總結(jié)e. 優(yōu)化方式混合分塊策略結(jié)合多種分塊方法的優(yōu)點如先按段落分塊再根據(jù)塊大小調(diào)整做到既保持語義完整性又能控制塊大小均勻優(yōu)化重疊區(qū)域根據(jù)內(nèi)容特性動態(tài)調(diào)整塊之間的重疊區(qū)域大小關(guān)鍵信息出現(xiàn)在多個塊中提高檢索召回率f. 常用的分塊工具Lang Chain框架提供多種分塊策略包括RecursiveCharacterTextSplitter、MarkdownTextSplitter等NLTK用于基于自然語言句子的分塊spaCy提供語言學感知的文本分割2.1.3 向量化將高維文本數(shù)據(jù)壓縮到低維空間便于處理和存儲。將文本轉(zhuǎn)換為計算機可以理解的數(shù)值使得計算機能夠理解和處理語義信息從而在海量數(shù)據(jù)文本中實現(xiàn)快速、高效的相似度計算和檢索。簡單理解通過一組數(shù)字來代表文本內(nèi)容的“本質(zhì)”。例如“ROMA是一個跨平臺解決方案…”這句話可能被轉(zhuǎn)換為一個384維的向量[塊1] 什么是ROMA ROMA是一個全自主研發(fā)的前端開發(fā)框架基于自定義DSL(Jue語言)... [ { chunk_id: doc1_chunk1, text: # 什么是 ROMA ROMA 是一個全自主研發(fā)的前端開發(fā)基于自定義DSL(Jue語言)一份代碼可在iOS、Android、Harmony、Web端運行的跨平臺解決方案。, vector: [0.041, -0.018, 0.063, ..., 0.027], metadata: { source: roma_introduction.md, position: 0, title: ROMA框架介紹 } }, // 更多文檔塊... ]常用的Embedding模型2.1.4 向量數(shù)據(jù)庫入庫將生成的向量數(shù)據(jù)和元數(shù)據(jù)進行存儲同時創(chuàng)建索引結(jié)構(gòu)來支持快速相似性搜索。常用的向量數(shù)據(jù)庫包括2.2 問答階段2.2.1 查詢預處理意圖識別使用分類模型區(qū)分問題類型事實查詢、建議、閑聊等。問題預處理問題內(nèi)容清洗和標準化過程與前面數(shù)據(jù)預處理類似。查詢增強使用知識庫或LLM生成同義詞如“動態(tài)化” → “Roma”上下文補全可以結(jié)合歷史會話總結(jié)例如用戶之前問過“Roma是什么”。2.2.2 數(shù)據(jù)檢索(召回)a. 向量化使用與入庫前數(shù)據(jù)向量化相同的模型將處理后的問題內(nèi)容向量化。例如問題: ROMA是什么? 處理后 { vector: [0.052, -0.021, 0.075, ..., 0.033], top_k: 3, score_threshold: 0.8, filter: {doc_type: 技術(shù)文檔} }b. 檢索相似度檢索查詢向量與所存儲的向量最相似(通過余弦相似度匹配)的前 top_k 個文檔塊。關(guān)鍵詞檢索倒排索引的傳統(tǒng)方法,檢索包含“Roma”、“優(yōu)勢”等精確關(guān)鍵詞的文檔?；旌蠙z索合并上面多種檢索結(jié)果效果最優(yōu)。例如檢索“ROMA是什么?”c. 重排序(Reranking)初步檢索在精度和語義理解上的不足通過更精細的上下文分析提升結(jié)果相關(guān)性。它能更好處理同義詞替換、一詞多義等語義細微差異使最終結(jié)果準確。原理使用模型對每個檢索結(jié)果計算相關(guān)性分數(shù)。歸一化重排序模型原始輸出分數(shù)沒有固定的范圍它可能是任意實數(shù)將結(jié)果歸一化處理將分數(shù)映射到 [0, 1] 范圍內(nèi)使其更容易與向量相似度分數(shù)進行比較。例如常用的重排序模型2.2.3 信息整合格式化檢索的結(jié)果構(gòu)建提示詞模板同時將搜索的內(nèi)容截斷或摘要長文本以適應(yīng)LLM上下文窗口token。提示詞優(yōu)化限定回答范圍要求標注來源設(shè)置拒絕回答規(guī)則…例如prompt 模板 你是一名ROMA框架專家請基于以下上下文回答 參考信息: [文檔1] 什么是 ROMA ROMA 是一個全自主研發(fā)的前端開發(fā)基于自定義DSL(Jue語言)一份代碼可在iOS、Android、Harmony、Web四端運行的跨平臺解決方案。 ROMA 框架的中文名為羅碼。 [文檔2] Roma介紹 [Roma介紹](docs/guide/guide/introduction.md) 文檔地址: https://roma-design.jd.com/docs/guide/guide/introduction.html 要求 1. 分步驟說明含代碼示例 2. 標注來源文檔版本 3. 如果參考信息中沒有相關(guān)內(nèi)容請直接說明無法回答不要編造信息 請基于以下參考信息回答用戶的問題。如果參考信息中沒有相關(guān)內(nèi)容請直接說明無法回答不要編造信息。 用戶問題: ROMA是什么 回答: {answer}2.2.4 LLM生成向LLM如GPT-4、Claude發(fā)送提示獲取生成結(jié)果。AutoBots(JoyAgent)示例以上實現(xiàn)了最簡單的RAG流程。實際的RAG過程會比上述麻煩更多包括圖片、表格等多模態(tài)內(nèi)容的處理更復雜的文本解析和預處理過程文檔格式的兼容結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的兼容等等。最后展示一下RAG各階段的優(yōu)化方式如何學習大模型 AI 由于新崗位的生產(chǎn)效率要優(yōu)于被取代崗位的生產(chǎn)效率所以實際上整個社會的生產(chǎn)效率是提升的。但是具體到個人只能說是“最先掌握AI的人將會比較晚掌握AI的人有競爭優(yōu)勢”。這句話放在計算機、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的開局時期都是一樣的道理。我在一線互聯(lián)網(wǎng)企業(yè)工作十余年里指導過不少同行后輩。幫助很多人得到了學習和成長。我意識到有很多經(jīng)驗和知識值得分享給大家也可以通過我們的能力和經(jīng)驗解答大家在人工智能學習中的很多困惑所以在工作繁忙的情況下還是堅持各種整理和分享。但苦于知識傳播途徑有限很多互聯(lián)網(wǎng)行業(yè)朋友無法獲得正確的資料得到學習提升故此將并將重要的AI大模型資料包括AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰(zhàn)學習等錄播視頻免費分享出來。這份完整版的大模型 AI 學習資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領(lǐng)取【保證100%免費】為什么要學習大模型我國在A大模型領(lǐng)域面臨人才短缺,數(shù)量與質(zhì)量均落后于發(fā)達國家。2023年人才缺口已超百萬凸顯培養(yǎng)不足。隨著AI技術(shù)飛速發(fā)展預計到2025年,這一缺口將急劇擴大至400萬,嚴重制約我國AI產(chǎn)業(yè)的創(chuàng)新步伐。加強人才培養(yǎng),優(yōu)化教育體系,國際合作并進是破解困局、推動AI發(fā)展的關(guān)鍵。大模型入門到實戰(zhàn)全套學習大禮包1、大模型系統(tǒng)化學習路線作為學習AI大模型技術(shù)的新手方向至關(guān)重要。 正確的學習路線可以為你節(jié)省時間少走彎路方向不對努力白費。這里我給大家準備了一份最科學最系統(tǒng)的學習成長路線圖和學習規(guī)劃帶你從零基礎(chǔ)入門到精通2、大模型學習書籍文檔學習AI大模型離不開書籍文檔我精選了一系列大模型技術(shù)的書籍和學習文檔電子版它們由領(lǐng)域內(nèi)的頂尖專家撰寫內(nèi)容全面、深入、詳盡為你學習大模型提供堅實的理論基礎(chǔ)。3、AI大模型最新行業(yè)報告2025最新行業(yè)報告針對不同行業(yè)的現(xiàn)狀、趨勢、問題、機會等進行系統(tǒng)地調(diào)研和評估以了解哪些行業(yè)更適合引入大模型的技術(shù)和應(yīng)用以及在哪些方面可以發(fā)揮大模型的優(yōu)勢。4、大模型項目實戰(zhàn)配套源碼學以致用在項目實戰(zhàn)中檢驗和鞏固你所學到的知識同時為你找工作就業(yè)和職業(yè)發(fā)展打下堅實的基礎(chǔ)。5、大模型大廠面試真題面試不僅是技術(shù)的較量更需要充分的準備。在你已經(jīng)掌握了大模型技術(shù)之后就需要開始準備面試我精心整理了一份大模型面試題庫涵蓋當前面試中可能遇到的各種技術(shù)問題讓你在面試中游刃有余。適用人群第一階段10天初階應(yīng)用該階段讓大家對大模型 AI有一個最前沿的認識對大模型 AI 的理解超過 95% 的人可以在相關(guān)討論時發(fā)表高級、不跟風、又接地氣的見解別人只會和 AI 聊天而你能調(diào)教 AI并能用代碼將大模型和業(yè)務(wù)銜接。大模型 AI 能干什么大模型是怎樣獲得「智能」的用好 AI 的核心心法大模型應(yīng)用業(yè)務(wù)架構(gòu)大模型應(yīng)用技術(shù)架構(gòu)代碼示例向 GPT-3.5 灌入新知識提示工程的意義和核心思想Prompt 典型構(gòu)成指令調(diào)優(yōu)方法論思維鏈和思維樹Prompt 攻擊和防范…第二階段30天高階應(yīng)用該階段我們正式進入大模型 AI 進階實戰(zhàn)學習學會構(gòu)造私有知識庫擴展 AI 的能力。快速開發(fā)一個完整的基于 agent 對話機器人。掌握功能最強的大模型開發(fā)框架抓住最新的技術(shù)進展適合 Python 和 JavaScript 程序員。為什么要做 RAG搭建一個簡單的 ChatPDF檢索的基礎(chǔ)概念什么是向量表示Embeddings向量數(shù)據(jù)庫與向量檢索基于向量檢索的 RAG搭建 RAG 系統(tǒng)的擴展知識混合檢索與 RAG-Fusion 簡介向量模型本地部署…第三階段30天模型訓練恭喜你如果學到這里你基本可以找到一份大模型 AI相關(guān)的工作自己也能訓練 GPT 了通過微調(diào)訓練自己的垂直大模型能獨立訓練開源多模態(tài)大模型掌握更多技術(shù)方案。到此為止大概2個月的時間。你已經(jīng)成為了一名“AI小子”。那么你還想往下探索嗎為什么要做 RAG什么是模型什么是模型訓練求解器 損失函數(shù)簡介小實驗2手寫一個簡單的神經(jīng)網(wǎng)絡(luò)并訓練它什么是訓練/預訓練/微調(diào)/輕量化微調(diào)Transformer結(jié)構(gòu)簡介輕量化微調(diào)實驗數(shù)據(jù)集的構(gòu)建…第四階段20天商業(yè)閉環(huán)對全球大模型從性能、吞吐量、成本等方面有一定的認知可以在云端和本地等多種環(huán)境下部署大模型找到適合自己的項目/創(chuàng)業(yè)方向做一名被 AI 武裝的產(chǎn)品經(jīng)理。硬件選型帶你了解全球大模型使用國產(chǎn)大模型服務(wù)搭建 OpenAI 代理熱身基于阿里云 PAI 部署 Stable Diffusion在本地計算機運行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何優(yōu)雅地在阿里云私有部署開源大模型部署一套開源 LLM 項目內(nèi)容安全互聯(lián)網(wǎng)信息服務(wù)算法備案…學習是一個過程只要學習就會有挑戰(zhàn)。天道酬勤你越努力就會成為越優(yōu)秀的自己。如果你能在15天內(nèi)完成所有的任務(wù)那你堪稱天才。然而如果你能完成 60-70% 的內(nèi)容你就已經(jīng)開始具備成為一名大模型 AI 的正確特征了。這份完整版的大模型 AI 學習資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領(lǐng)取【保證100%免費】