RAG 架構拆解:從向量搜尋到知識檢索，零基礎打造你的第一個個人知識庫

上個月有個學生跑來問我:「教授，我在 Dcard 看到一堆人在討論 RAG，說這是 2026 年最該學的東西，但我連 LLM 怎麼運作都搞不太清楚，我有資格學嗎？」

我跟他說了一句話:「你會用搜尋引擎嗎？那你已經懂 RAG 的核心直覺了。」

他一臉困惑。但這是真的。

RAG 到底在幹嘛？用一個你已經懂的概念解釋

RAG——Retrieval-Augmented Generation——聽起來嚇人，拆開來其實就三個動作:找資料、餵資料、生答案。你 Google 一個問題，看了前幾筆結果，然後用自己的話回答朋友。恭喜，你剛剛人肉執行了一次 RAG pipeline。

差別在於，機器版的 RAG 不是用關鍵字比對在「找」，而是用向量語義搜尋。這裡就進入技術核心了。

Embedding:把文字變成座標的魔法

你寫了一篇筆記:「今天學了 Python 的 list comprehension。」RAG 系統要做的第一件事，是把這句話通過一個 Embedding Model（比如 OpenAI 的 text-embedding-3-large 或開源的 bge-m3），壓縮成一個高維向量——可能是 1024 維或 3072 維的浮點數陣列。

這不是隨機數字。這些維度捕捉了語義關係。「list comprehension」和「列表推導式」在向量空間中的距離，會比「list comprehension」和「巧克力蛋糕」近得多。餘弦相似度（cosine similarity）就是衡量這個「近」的數學工具。

坦白講，很多教學文章到這裡就開始含糊。但你得理解——Embedding 的品質決定了你整個知識庫的天花板。垃圾 Embedding 配上最強的 GPT，出來的東西還是垃圾。

向量資料庫:你的知識庫需要一個「大腦索引」

向量算出來了，要存哪裡？這就是向量資料庫的工作。2026 年主流的選項大概分三層:

輕量入門用 ChromaDB 或 FAISS（Facebook 開源的那個，底層是 HNSW 近似最近鄰演算法，時間複雜度大概 O(log n)，對百萬級文檔綽綽有餘）。進階一點上 Weaviate 或 Qdrant，有完整的 API 和過濾機制。企業級就看 Pinecone 或 Milvus。

我個人推薦初學者從 ChromaDB 開始。原因很簡單——pip install 一行搞定，本機就能跑，不用搞雲端配置。等你真的碰到效能瓶頸了（通常是文檔量過十萬或查詢延遲超過 200ms），再考慮遷移。

檢索與生成:中間那個最容易出錯的環節

使用者丟了一個問題進來。系統把問題也做 Embedding，去向量資料庫找最相似的 top-k 個文檔片段（chunk），然後把這些 chunk 塞進 LLM 的 prompt 裡，讓模型「基於以下資料回答」。

聽起來直覺，但魔鬼在 chunking 策略。你的原始文檔要切多大？512 tokens？1024？重疊多少？切太小會丟失上下文，切太大會稀釋語義密度，導致檢索精確度下降。這是個工程取捨問題——沒有標準答案，只有適合你資料特性的答案。

（我見過有人把整本書當一個 chunk 丟進去，然後抱怨「RAG 回答都不準」。拜託，那不是 RAG 的問題，是你餵法的問題。）

還有一個常被忽略的坑:LLM 的 context window 是有限的。就算你檢索到了 20 個相關 chunk，全塞進去可能超過 token 上限，或者讓模型注意力分散——Transformer 的 self-attention 機制在長序列上的表現確實會衰減，這點 2026 年的模型改善了不少，但物理限制還在。

2026 自學路線圖:Dcard 鄉民整理的版本，我補上工程視角

Dcard 上流傳的那張路線圖我看過，大方向沒問題，但我想重新排列優先級:

第一階段（2-3 週）:先搞懂 Python 基礎和 API 呼叫。不用學 PyTorch，不用碰模型訓練。你要當的是 RAG 的「系統整合者」，不是 AI 研究員。

第二階段（2-3 週）:用 LangChain 或 LlamaIndex 跑通一個最小可用的 RAG demo。拿你自己的筆記、PDF、或 Notion 匯出的 markdown 當資料來源。這個階段的重點是「端到端跑通」，不要糾結在每個參數的最佳化。

第三階段（3-4 週）:開始理解底層。Embedding 怎麼選？Chunking 策略怎麼調？Retrieval 的 precision 和 recall 怎麼評估？這階段你會發現——RAG 的難點根本不在「Generation」，而在「Retrieval」的品質控制。

第四階段（持續迭代）:加入 Reranker、Hybrid Search（結合 BM25 關鍵字搜尋和向量語義搜尋）、甚至 Agentic RAG——讓 LLM 自己決定什麼時候該查資料、查哪個資料庫。這已經碰到 Agent 架構的邊界了。

幾個真心建議

別一開始就追求「最強配置」。我看太多人還沒搞懂 Embedding 是什麼，就在研究要不要上 Knowledge Graph + RAG 的混合架構。那是論文等級的東西，不是入門路線。

用你自己的資料。用別人的示範資料集永遠不會有感覺。把你的讀書筆記、工作文件、甚至聊天紀錄丟進去，當你第一次對自己的知識庫提問並得到準確回答時——那個「啊哈時刻」是真的會讓你興奮的。

老實說，RAG 不是什麼高深的黑科技。它是軟體工程的基本功——資料處理、索引建構、系統串接——加上一層語義理解的新皮膚。你需要的不是天賦，是動手做的耐心。

2026 年了，工具鏈已經成熟到這種程度，你唯一的阻礙就是遲遲不開始。

---

---

🛠️ CULTIVATE Recommended Tools | 精選工具推薦

• Codecademy: Learn Python and Data Science interactively from scratch.

Disclosure: CULTIVATE may earn a commission if you purchase through these links.