AI Search Platform - 年報知識庫

客戶的 AI 要答準年報裡的精確數字,資料得先整理到 AI 可以直接使用。我把年報分成表格與敘述文字兩條路,附表照定義好的附表資料表規格儲存,文字切段後整批評分。附表精確率達 91.88%,文字平均 0.9494 分,名單與數字因此答得出來,導入才看得到效益。
專案說明
年報知識庫:讓客戶的 AI 答得出年報裡的精確數字
產品|AI Ready 領域知識庫
導入 AI Search for KM 到客戶端時,經常發現客戶缺乏 AI Ready 的資料源,也就是沒有整理到可以直接給 AI 使用的資料。即使有 agentic framework( 讓 AI 自己規劃步驟、呼叫工具的架構 ),沒有高品質的資料,客戶也看不到導入效益。
因此公司決定,在協助客戶處理資料之外,提供可訂閱的「AI Ready 領域知識庫」產品,讓客戶訂閱後即時介接使用。這篇介紹其中的年報知識庫。
年報知識庫|要解決的問題
年報知識庫結構化( 整理成有固定欄位的表格 )的範圍,是年報裡的 32 張法定附表( 法規規定年報必須揭露的表格 ):依《公開發行公司年報應行記載事項準則》必須刊載,例如「董事及監察人資料」「審計委員會運作情形」。
金融業的分析師問客戶的 AI agent( 能自己查資料、完成任務的 AI ):「台積電 2025 年報裡,審計委員會成員的出席率是多少?」答案就在其中一張附表裡。但直接把年報切成小段給 AI 查,會遇到兩個問題:
表格被打散:年報的表格彼此交錯,存進向量資料庫( AI 回答前用來查找資料的資料庫 )後,姓名和出席次數就可能對不起來。
句子被切斷:知識庫自己切出的段落裡就有「本公司 113 年度及 114 年度之研發費用分別為 1,311 仟元及 1,266 仟元,佔營」,資訊只完成一半。
精確的數字,不能只靠切段。
產品目標
客戶的 AI agent 看似有答案、其實只答一半,就看不到導入效益。所以這個專案的產品目標首重即為:精確的問題答得準,敘述的內容乾淨可用。後面每一個決定,我都對照這兩件事來做。
專案過程
年報裡有兩種內容:法定附表,與敘述文字。兩種內容的特性不同,我決定不用同一種做法處理,而是先分開,再各自驗收。
決策一|兩種問題,兩條路
最省事的做法:整份年報切段,全部給 AI 查。
為什麼不這樣做:交錯的表格會被打散。精確的數字和名單,要靠照定義好的附表資料表規格儲存的資料才答得準;文字切段的品質,只能保證整批內容可用。
我的做法:根據 32 張法定附表整理資料表欄位規格,解析萃取後正規化( 把同一欄的資料統一成同一種格式 )儲存;敘述文字切段後,送進 RAG( 檢索增強生成 ),讓 AI 回答前先查找。
代價:兩條路各要一套驗收方法。
決策二|先定合格門檻,再驗收
我的做法:驗收之前,我先定好「怎樣算合格」。附表的精確率( 檢查的項目中有幾成正確 )要超過 90%;文字整批要同時過兩個條件,平均分數與嚴重不及格的比例。
換到的東西:文字整批也有門檻可以對照,不只看主觀印象。
決策三|抽樣驗收
附表:從年報裡隨機抽 45 份,逐份驗收。
文字:從知識庫實際切出的 6,695 段裡,分層抽樣 3,000 段,涵蓋 107 家公司。分層是為了讓每個章節都抽得到。
解決方案
兩條路各用一種檢驗:附表用人定稿的答案卷逐格比對,文字用 AI Eval( 用 AI 替 AI 的輸出打分 )。
點擊放大 ⤢年報的兩條路:附表照定義好的附表資料表規格儲存,用答案卷驗收;文字切段後給 AI 查,用評分員驗收。
附表|先把答案卷做對,再用答案卷檢驗
答案卷怎麼做:最省事的做法,是讓 AI 直接產出答案卷。但答案卷如果自己就錯,後面的檢驗都會失準。所以我讓 AI 起草,再由人依原始 PDF 核對附表在不在、頁碼、前 5 列與總列數,定稿 45 份。人的判定放在比對的前後,避免答案卷本身錯了,反而冤枉 AI。
點擊放大 ⤢附表驗收的五個步驟。
精確率怎麼看:共檢查 11,072 個項目( 要填的年報空格 ),看有幾成通過。
不一致怎麼判:最省事的做法,是一律算 AI 錯,或一律改答案卷。我兩個都不選:不一致的項目,一律回到原始 PDF 判定。錯在答案卷,就修正答案卷;只是寫法不同,就判為正確;錯在 AI,仍然算 AI 錯。初判是 88.15%,判定後是 91.88%,超過門檻 90%。
文字|讓 AI 當評分員,替每一段文字打分
文字這條路,我用 G-Eval( 用 AI 當評分員,照人定的規則打分 ),並用 DeepEval( 執行 AI 評分的開源工具 )執行。
① 怎麼評
我不用固定規則去比對字串,而是把評分標準、評分步驟和待評文字交給評分員,請它依規則產出分數與原因。每一段只回一個分數和一句原因,扣分扣在哪裡,事後查得到。
② 看什麼
評分員看四件事。
項目 看什麼 乾淨度 亂碼、重複字、頁碼、目錄與表格殘留 事實完整 公司名、日期、金額、百分比是否被截斷或切到別段 能否直接引用 AI 能否直接引用,不需要猜或跨段拼回 排版容忍 單純換行與空白不重扣,影響語意或事實才扣 ③ 尺度由人定
評分的尺度,不讓評分員自己發明。下面四個範例由人挑出、核准,交給評分員對照,依此分成四級。
分數 定義 範例 判定 1.0 完全乾淨,可直接引用 另本行亦訂定『緊急應變委員會組織要點』,由總經理擔任召集人…… 段落語意完整,可以直接被檢索引用。 0.8 大致乾淨,只有輕微瑕疵 定全行信用風 構 險管理組織架構與重要信用風險管理規章…… 主要事實可讀,只有「風 構 險」這類輕微斷字或排版瑕疵,不影響原意。 0.5 灰帶,需要人工覆核 本公司 113 年度及 114 年度之研發費用分別為 1,311 仟元及 1,266 仟元,佔營 句子在「佔營」處截斷,資訊只完成一半,要看鄰近段落能不能補回。 0.2 嚴重污染,不應進入檢索 肆肆、、營營運運概概況況 一、業務內容 最近二年度各項收入佔營業收入百分比…… 重複字和表格、段落混在一起,已經不適合直接進入檢索。 0.5 級的範例,就是開頭那句斷在「佔營」的研發費用:它正是人定為要人工覆核的灰帶。
④ 怎麼算通過
條件 門檻 結果 平均分數 至少 0.8 0.9494 嚴重不及格( 低於 0.5 分 )比例 不超過 5% 1.47% 兩個條件都要過。只看平均的話,少數嚴重的壞段落會被大量好段落蓋掉。
成果說明
回到開頭那一題:「台積電 2025 年報裡,審計委員會成員的出席率是多少?」同一題,直接切段與年報知識庫的差別如下。
| 直接切段 | 年報知識庫 | |
|---|---|---|
| 答案在哪 | 表格被打散在不同段落 | 附表照定義好的附表資料表規格儲存 |
| AI agent 拿到什麼 | 被打散的表格片段,只有部分名單,姓名和出席次數對不起來 | 完整的一張表,附年報頁碼 |
| 能不能答 | 答不全 | 列出名單上每一位的出席次數與出席率 |
點擊放大 ⤢示意畫面,不是產品的實際輸出。「後」的答案用的是年報知識庫畫面裡的真實數字。
答案的出處,是結構化之後的這張附表:台積電 2025 年報第 28–29 頁的「審計委員會運作情形」,名單上每一位都實際出席 5 次,出席率 100%。客戶的 AI agent 調閱到的,就是這樣一張完整的表。
點擊放大 ⤢展示用的查詢畫面,呈現台積電 2025 年報附表「審計委員會運作情形」結構化之後的樣子,也就是 AI agent 調閱到的資料;來源標示為年報第 28–29 頁。
查得準
附表的精確率是 91.88%;文字抽樣的平均分數是 0.9494 分( 滿分 1 分 ),嚴重不及格的比例是 1.47%,都過了事先定的門檻。
之後要改善,有同一把尺
兩條驗證都建立了可追溯、可重跑的品質基準。之後不論調整哪一條路,都能拿同一把尺比較。
客戶的 AI agent 可以直接請求調閱這些 AI Ready 資料。答得出精確數字,導入 AI Search 才看得到效益。