
AO2 FIELD GUIDE · N055 · AI 問答與 RAG 應用
RAG 引用核對需確認來源真的支持主張,並保留型號、版本與限制。附主張來源矩陣和缺陷分類,分開檢查檢索、生成與引用呈現。
回答附了連結,還需要確認連結指向的版本是否正確、原段落是否支持那句話,以及必要條件有沒有一起呈現。引用可讓審查更容易追溯,但它本身不是答案正確的保證。
RAG 引用核對:先拆主張,再逐項找支援
一句「本系列都可以在室外使用,而且不需額外配置」包含型號範圍、環境適用及配件需求三項主張。來源可能只支持其中一項。審核者先把回答拆成最小可判斷句子,再為每句記錄來源段落、版本與條件,才能看出哪部分有依據,哪部分是生成時自行延伸。
不要用來源數量代替核對。三個連結都引用同一份過期資料,仍無法支援新版本的結論;一份完整的核准來源,也可能足以支持特定範圍的回答。應先定義什麼是可接受的支援關係,而不是要求系統每次固定給出幾個網址。
| 欄位 | 要核對的關係 | 紀錄方式 |
|---|---|---|
| 回答主張 | 單一句子能否判斷 | 功能、範圍與限制分開列 |
| 來源定位 | 哪一段支持這句話 | 文件 ID、版本、頁與片段 |
| 適用條件 | 型號、配置、地區與時點 | 與提問條件逐項對照 |
| 支援程度 | 完整、部分、不支持或衝突 | 保留核對理由 |
| 預期處理 | 保留、修正、補問或轉交 | 指派責任並回歸測試 |
把找到、看懂與引用呈現分成三個檢查點
Microsoft 的 RAG 說明把檢索與以企業內容支援生成回答放在同一架構中,也指出查詢理解、來源與治理的挑戰。這支持我們分開看檢索結果與最終回答,並不代表加入 RAG 就沒有錯誤。應保存當次問題、取回片段與最終文字,讓審核者能分辨錯在哪一步。
第一個檢查點是取回的資料是否對題且獲授權;第二個是回答有沒有忠於資料;第三個是讀者能否從引用找到相應內容。來源正確但引用連結失效,是呈現問題;來源原本就找錯版本,是檢索或資料問題。把它們全部標成模型不好,會讓修復方向失去焦點。
產品條件遺漏,往往比文字錯字更難發現
假想電子模組情境:核准規格寫某功能須搭配指定配件,回答卻只說「支援」,並連到正確 PDF。這不是完全虛構,而是省略了會改變選型的條件。核對時要標出來源中的限制用語、註腳和適用型號,再檢查回答是否保留。只確認引用頁面曾出現那個功能名稱,容易漏掉這類錯誤。
同樣地,測試報告的某次觀察,不應被寫成所有環境的保證;系列頁提到的選配,也不應自動套到每個型號。答案可適度精簡,但需要保留會改變結論的資訊。資料不足時應補問或保留未知,不能由模型用常見產品特徵填空。
| 缺陷 | 可能檢查方向 | 修復後驗收 |
|---|---|---|
| 找錯版本 | 來源主檔、版本過濾與提問條件 | 新舊版與不明版本題 |
| 來源不支持結論 | 取回片段、回答規則與推論範圍 | 逐句支援關係 |
| 遺漏必要限制 | 表格、註腳與切段方式 | 配件、環境與不適用題 |
| 連結無法定位 | 網址、權限與文件頁碼 | 以讀者角色實際開啟 |
來源衝突時,系統不該偷偷挑一份看起來合理的
同時取回新舊規格或官網與型錄不一致時,需要事先定義適用版本與來源優先關係。不能只以檔案上傳時間決定哪份較新;重新上傳的舊報告可能比新版規格的日期晚。先讓資料負責人裁決,將相應關係帶回知識主檔,回答再依使用者的產品與版本條件選取。
對需要保留歷史版本的客戶,舊資料並不一定錯。問題是它是否適用當前提問。測試集應同時有新版、舊版、未提供版本,以及版本衝突的題目;預期行為可分成回答、補問或轉交,而非每題都要求產生一段肯定文字。
讓引用能被讀者實際使用
引用標題應能辨識文件與版本,連結應到達有權存取的位置。長文件可提供頁碼或段落定位,避免讀者在數百頁中重新搜尋。若引用的是內部片段,顯示內容也需符合使用者權限;不能在答案拒絕後,仍用預覽片段透露限制資料。這些呈現要用不同角色實測。
驗收可先抽一組涵蓋關鍵情境的題目,逐句填主張矩陣,再整理缺陷分布與未覆蓋情境。若要報告正確率,應先定義樣本、判定單位、失敗條件與審核方式;本文未替任何系統測出通用分數。發布後仍需針對新文件與常見問題持續回歸測試。
常見問題
引用來源是真實網站,回答就可信嗎?
不一定。先把回答拆成可查核主張,再逐項核對引用段落是否真的支持該句,並比較型號、版本、時間和適用條件。來源網站可信,仍可能引用錯頁或用局部內容支持過大的結論。記錄主張、來源位置、支持程度與缺漏,對無法支持的部分縮小或撤回。驗收時也要測試容易混淆的近似產品,不能只測來源最明確的正常題。
模型引用了正確文件,但省略條件,算錯嗎?
若省略會改變判斷,就算缺陷。例如性能只在指定配置成立,答案卻寫成所有配置都適用,即使引用正確文件也不能通過。先補回必要條件,回查切段是否漏掉表頭或註腳,再檢查回答規則是否允許過度概括。用原題與相近版本題回測,確認條件被保留且沒有錯套其他產品。缺陷紀錄應指出省略哪項條件及可能造成的錯誤決定。
所有答案都一定要有引用嗎?
依用途安排。產品規格、政策、資格與重要商務條件應有可回查依據;招呼、導覽或純格式整理未必每句都要引用。可先建立哪些主張必須引用的規則,指定來源位置與版本檢查。沒有資料時明示未知並補問或交接,不拿無關連結填滿格式。測試也要核對來源是否可被使用者存取,避免對外答案引用內部受限制資料。
來源與方法範圍
查核日期:2026 年 10 月 22 日。官方資料僅支持文中對應的平台或方法說明;工作表、決策步驟與核對方式為 AO2 編輯整理。產業情境依文中標示作假想示例,不作客戶實績、產品資格或效果背書。