← 精選專案

AI Search Platform - 年報知識庫

COMPANY意藍資訊
ROLEAI 產品經理
YEAR2026
AI Search Platform - 年報知識庫
重點 BLUF

客戶的 AI 要答準年報裡的精確數字,資料得先整理到 AI 可以直接使用。我把年報分成表格與敘述文字兩條路,附表照定義好的附表資料表規格儲存,文字切段後整批評分。附表精確率達 91.88%,文字平均 0.9494 分,名單與數字因此答得出來,導入才看得到效益。

專案說明

年報知識庫:讓客戶的 AI 答得出年報裡的精確數字

產品|AI Ready 領域知識庫

導入 AI Search for KM 到客戶端時,經常發現客戶缺乏 AI Ready 的資料源,也就是沒有整理到可以直接給 AI 使用的資料。即使有 agentic framework( 讓 AI 自己規劃步驟、呼叫工具的架構 ),沒有高品質的資料,客戶也看不到導入效益。

因此公司決定,在協助客戶處理資料之外,提供可訂閱的「AI Ready 領域知識庫」產品,讓客戶訂閱後即時介接使用。這篇介紹其中的年報知識庫。

年報知識庫|要解決的問題

年報知識庫結構化( 整理成有固定欄位的表格 )的範圍,是年報裡的 32 張法定附表( 法規規定年報必須揭露的表格 ):依《公開發行公司年報應行記載事項準則》必須刊載,例如「董事及監察人資料」「審計委員會運作情形」。

金融業的分析師問客戶的 AI agent( 能自己查資料、完成任務的 AI ):「台積電 2025 年報裡,審計委員會成員的出席率是多少?」答案就在其中一張附表裡。但直接把年報切成小段給 AI 查,會遇到兩個問題:

  • 表格被打散:年報的表格彼此交錯,存進向量資料庫( AI 回答前用來查找資料的資料庫 )後,姓名和出席次數就可能對不起來。

  • 句子被切斷:知識庫自己切出的段落裡就有「本公司 113 年度及 114 年度之研發費用分別為 1,311 仟元及 1,266 仟元,佔營」,資訊只完成一半。

精確的數字,不能只靠切段。

產品目標

客戶的 AI agent 看似有答案、其實只答一半,就看不到導入效益。所以這個專案的產品目標首重即為:精確的問題答得準,敘述的內容乾淨可用。後面每一個決定,我都對照這兩件事來做。

專案過程

年報裡有兩種內容:法定附表,與敘述文字。兩種內容的特性不同,我決定不用同一種做法處理,而是先分開,再各自驗收。

  • 決策一|兩種問題,兩條路

    • 最省事的做法:整份年報切段,全部給 AI 查。

    • 為什麼不這樣做:交錯的表格會被打散。精確的數字和名單,要靠照定義好的附表資料表規格儲存的資料才答得準;文字切段的品質,只能保證整批內容可用。

    • 我的做法:根據 32 張法定附表整理資料表欄位規格,解析萃取後正規化( 把同一欄的資料統一成同一種格式 )儲存;敘述文字切段後,送進 RAG( 檢索增強生成 ),讓 AI 回答前先查找。

    • 代價:兩條路各要一套驗收方法。

  • 決策二|先定合格門檻,再驗收

    • 我的做法:驗收之前,我先定好「怎樣算合格」。附表的精確率( 檢查的項目中有幾成正確 )要超過 90%;文字整批要同時過兩個條件,平均分數與嚴重不及格的比例。

    • 換到的東西:文字整批也有門檻可以對照,不只看主觀印象。

  • 決策三|抽樣驗收

    • 附表:從年報裡隨機抽 45 份,逐份驗收。

    • 文字:從知識庫實際切出的 6,695 段裡,分層抽樣 3,000 段,涵蓋 107 家公司。分層是為了讓每個章節都抽得到。

解決方案

兩條路各用一種檢驗:附表用人定稿的答案卷逐格比對,文字用 AI Eval( 用 AI 替 AI 的輸出打分 )。

年報分兩條路:32 張法定附表照定義好的附表資料表規格儲存、用答案卷驗收;敘述文字切段送進 RAG、用 G-Eval 驗收點擊放大 ⤢

年報的兩條路:附表照定義好的附表資料表規格儲存,用答案卷驗收;文字切段後給 AI 查,用評分員驗收。

  • 附表|先把答案卷做對,再用答案卷檢驗

    答案卷怎麼做:最省事的做法,是讓 AI 直接產出答案卷。但答案卷如果自己就錯,後面的檢驗都會失準。所以我讓 AI 起草,再由人依原始 PDF 核對附表在不在、頁碼、前 5 列與總列數,定稿 45 份。人的判定放在比對的前後,避免答案卷本身錯了,反而冤枉 AI。

    附表驗收五步驟:AI 起草答案卷、人依 PDF 定稿、AI 萃取、逐格比對、不一致回 PDF 判定點擊放大 ⤢

    附表驗收的五個步驟。

    精確率怎麼看:共檢查 11,072 個項目( 要填的年報空格 ),看有幾成通過。

    不一致怎麼判:最省事的做法,是一律算 AI 錯,或一律改答案卷。我兩個都不選:不一致的項目,一律回到原始 PDF 判定。錯在答案卷,就修正答案卷;只是寫法不同,就判為正確;錯在 AI,仍然算 AI 錯。初判是 88.15%,判定後是 91.88%,超過門檻 90%。

  • 文字|讓 AI 當評分員,替每一段文字打分

    文字這條路,我用 G-Eval( 用 AI 當評分員,照人定的規則打分 ),並用 DeepEval( 執行 AI 評分的開源工具 )執行。

    ① 怎麼評

    我不用固定規則去比對字串,而是把評分標準、評分步驟和待評文字交給評分員,請它依規則產出分數與原因。每一段只回一個分數和一句原因,扣分扣在哪裡,事後查得到。

    ② 看什麼

    評分員看四件事。

    項目看什麼
    乾淨度亂碼、重複字、頁碼、目錄與表格殘留
    事實完整公司名、日期、金額、百分比是否被截斷或切到別段
    能否直接引用AI 能否直接引用,不需要猜或跨段拼回
    排版容忍單純換行與空白不重扣,影響語意或事實才扣

    ③ 尺度由人定

    評分的尺度,不讓評分員自己發明。下面四個範例由人挑出、核准,交給評分員對照,依此分成四級。

    分數定義範例判定
    1.0完全乾淨,可直接引用另本行亦訂定『緊急應變委員會組織要點』,由總經理擔任召集人……段落語意完整,可以直接被檢索引用。
    0.8大致乾淨,只有輕微瑕疵定全行信用風 構 險管理組織架構與重要信用風險管理規章……主要事實可讀,只有「風 構 險」這類輕微斷字或排版瑕疵,不影響原意。
    0.5灰帶,需要人工覆核本公司 113 年度及 114 年度之研發費用分別為 1,311 仟元及 1,266 仟元,佔營句子在「佔營」處截斷,資訊只完成一半,要看鄰近段落能不能補回。
    0.2嚴重污染,不應進入檢索肆肆、、營營運運概概況況 一、業務內容 最近二年度各項收入佔營業收入百分比……重複字和表格、段落混在一起,已經不適合直接進入檢索。

    0.5 級的範例,就是開頭那句斷在「佔營」的研發費用:它正是人定為要人工覆核的灰帶。

    ④ 怎麼算通過

    條件門檻結果
    平均分數至少 0.80.9494
    嚴重不及格( 低於 0.5 分 )比例不超過 5%1.47%

    兩個條件都要過。只看平均的話,少數嚴重的壞段落會被大量好段落蓋掉。

成果說明

回到開頭那一題:「台積電 2025 年報裡,審計委員會成員的出席率是多少?」同一題,直接切段與年報知識庫的差別如下。

直接切段年報知識庫
答案在哪表格被打散在不同段落附表照定義好的附表資料表規格儲存
AI agent 拿到什麼被打散的表格片段,只有部分名單,姓名和出席次數對不起來完整的一張表,附年報頁碼
能不能答答不全列出名單上每一位的出席次數與出席率
示意問答:分析師問台積電 2025 年審計委員會出席率,直接切段答不全,年報知識庫從附表列出名單上每一位出席 5 次、出席率 100%點擊放大 ⤢

示意畫面,不是產品的實際輸出。「後」的答案用的是年報知識庫畫面裡的真實數字。

答案的出處,是結構化之後的這張附表:台積電 2025 年報第 28–29 頁的「審計委員會運作情形」,名單上每一位都實際出席 5 次,出席率 100%。客戶的 AI agent 調閱到的,就是這樣一張完整的表。

年報知識庫的台積電 2025 年報:法定附表「審計委員會運作情形」以表格呈現點擊放大 ⤢

展示用的查詢畫面,呈現台積電 2025 年報附表「審計委員會運作情形」結構化之後的樣子,也就是 AI agent 調閱到的資料;來源標示為年報第 28–29 頁。

  • 查得準

    附表的精確率是 91.88%;文字抽樣的平均分數是 0.9494 分( 滿分 1 分 ),嚴重不及格的比例是 1.47%,都過了事先定的門檻。

  • 之後要改善,有同一把尺

    兩條驗證都建立了可追溯、可重跑的品質基準。之後不論調整哪一條路,都能拿同一把尺比較。

客戶的 AI agent 可以直接請求調閱這些 AI Ready 資料。答得出精確數字,導入 AI Search 才看得到效益。

✕