國泰金控資深副總姚旭杰在技術年會中首次揭露生成式AI技術發展框架GAIA。(圖片來源/國泰金控)

早從2018年展開集團數據轉型的國泰金控,相當清楚大型企業擁抱AI的困難,光是讓業務同仁接納新技術、理解數據重要性,就是一段漫長的路。

國泰金控2018年開始發展大數據生態圈,也推動小核心、大中臺、微服務等IT現代化工程,就是希望促進更多數據驅動的創新。國泰金2020年更進一步發展出CaaS服務模式,擴大更多數據資料和應用場景,也發展出了不少AI應用。

但是,國泰金控資深副總經理姚旭杰坦言,過去推動數據轉型十分困難,業務人員得具備一定技術或學習新工具,否則無法直接與數據互動。

GAI爆紅後,員工可以在ChatGPT中用自然語言描述需求,生成圖表或報告,在企業內部直接與數據互動,「這是之前做不到的事情。」姚旭杰強調:「生成式AI真的打開了數據價值。」

看好新一波GAI浪潮,國泰金控全集團,從金控到子公司,紛紛展開不同的GAI創新嘗試。

例如,去年中,國泰金控就運用GAI打造一個雲端知識顧問chatbot,能即時回覆雲端技術問題,分析子公司上雲問題、提供解方。今年,國泰世華銀行打造一款員工助手chatbot,能快速整理行內資訊,解答員工疑問。

不僅如此,國泰子公司業務單位也開始運用GAI,解決業務場景中,長期面臨的痛點。像國泰人壽就用GAI打造智能對練工具,替代真人陪練,還可提升新人面對客戶的應對能力。國泰產險則用GenAI來萃取法院判決中的重要資訊,取代人工查找大量判決文件,讓理賠人員能快速參考判決,評估精神賠償金額。

GAI爆紅不到兩年,國泰旗下子公司已各自累積不少GAI應用,部分應用正在實驗階段,部分應用則已正式上線。

子公司GAI推進步調不同,集團難以有效集中技術資源

不過,隨著集團內部GAI應用逐漸增加、需求量不斷上升,治理層的挑戰也漸漸浮現。

國泰內部去年開始湧現許多AI需求,隨著子公司各自發展GAI應用,集團難以有效集中技術資源,再加上子公司各自的技術基礎不同,推進步調開始出現落差。

對多年前就推動數位轉型的國泰人壽來說,很快就能延續過往經驗,快速啟動全員GenAI計畫。國壽透過開辦訓練課程,讓員工了解GAI技術、思考如何將技術應用到業務場景,包括董事長和總經理都要接受一對一培訓課程。「在這樣的過程中,讓AI應用遍地開花。」國泰人壽數據暨人工智慧發展部協理莊淑儀說。對國泰人壽而言,GAI目前最大挑戰,「是需求很多,需從影響力來排序先後順序。」莊淑儀說。

相比國泰人壽,國泰產險數位轉型起步較晚,礙於產業特性,更有許多業務場景仍採人工作業,較難快速導入新技術,但是,國泰產險督導吳香妮表示,這個處境,更激發了產險內部對GAI的強烈需求。在資源有限的情況下,國泰產險正和金控合作,藉助金控資源,共同推進GAI應用發展。

成立AI卓越中心,排序集團AI應用發展順序

面對AI需求上升、子公司GAI推進步調不同的挑戰,國泰的GAI策略,是先從集團角度下手。今年9月,國泰金控在自家技術年會中,搶先金融同業,公布了集團的GAI戰略和技術框架。

當時,國泰金宣布要透過「AI Ready」、「AI Native」、「AI Empower」三大AI發展策略,實現AIaaS戰略目標,要以AI作為集團核心,驅動轉型和推出創新服務,國泰金控數數發中心副總經理梁明喬說:「期待國泰能成為提供AI金融服務的科技公司。」

國泰在自家技術年會上宣布AIaaS的戰略目標,要靠三大AI策略「AI Ready」、「AI Native」、「AI Empower」實現。圖片來源/國泰金控

AI Ready策略是要打造集團統一技術發展框架,同步子公司間的策略和技術。AI Native則是要將AI嵌入不同業務運作,達到AI應用無所不在的目標。最後一項策略,AI Empower則要提升集團全員工AI和雲端思維,除了要推動雲端轉型和成立AI專責組織,還要在集團擴大AI影響力。

不僅要建立統一的GAI技術框架,來實現三大AI發展策略,今年,國泰還在金控成立AI卓越中心,負責規畫全集團的AI應用發展,排序集團應用發展先後順序。在金控帶領下,各子公司也成立AI卓越中心,依循金控AI CoE策略方向,推動AI應用發展。

國泰分四個階段來發展GAI,從基礎的AI工具,再來是AI助理和AI代理,最後要達到AI應用無所不在的願景。梁明喬強調,這四個階段並非循序漸進,「不是第一個做完,才到第二個。」他表示,目前國泰仍在打造AI工具和AI助理階段,未來會根據法規環境和技術成熟度,適時步入AI代理應用階段。

打造集團統一GAI技術框架,集中子公司技術資源

在技術年會上,梁明喬揭露了集團統一的GAI技術框架GAIA。「GAIA是國泰生成式AI的基礎框架,也是發展AI即服務(AI as a Service)的核心。」他用一句話,點出GAIA的重要性。

這個技術框架具備三大特點。第一,適用於地端和雲端環境。第二則可支援多模態或單一模態輸出。最後,也是梁明喬認為最重要的特點,「可以在這個架構中微調模型,進行彈性擴充。」

GAIA包含三個核心模組,分別是知識庫、Model Hub,和護欄。梁明喬解釋,若將GAIA視為一座模型工廠,知識庫就是模型工廠的圖書館,不僅可協助降低AI幻覺問題,未來要微調模型,或打造RAG架構,專屬知識庫非常重要。

GAIA的知識庫類型可分為對內和對外,對內包含HR知識庫、授信知識庫、洗防知識庫和內稽知識庫等,對外則包含貸款產品知識、壽險產險產品知識、理財產品知識等。

Model Hub是國泰GAIA架構中的另一個核心,梁明喬說:「Model Hub就像是中央控制室。」不僅能提供多種模型選擇,包含雲端、地端、開源或閉源模型,也提供標準化API接口,能介接各種服務。最後,Model Hub也提供成本管理功能,協助開發者管控模型使用開銷。這是梁明喬認為十分重要的功能。

最後一個核心,是國泰自行開發的護欄。梁明喬解釋,護欄如同模型工廠的警衛室,負責確保模型輸入和輸出的安全。GAIA的護欄設計包含複合式規格護欄和多層抽換模組護欄。前者是在知識庫連接模型時進行資訊過篩,後者則是在既有模型護欄上,再加上防護措施,例如增加業務專屬的業務護欄,實現多層次過濾機制。

目前,國泰金控仍在持續完善GAIA架構,預計最快今年完工。不過,在建立統一技術框架的同時,各子公司仍在持續發展應用,因此,如何將各子公司發展的工程整合到GAIA框架,是國泰金控技術團隊現階段需要面對的一項挑戰。

AI評測也是關鍵技術

除了GAI技術發展框架,AI評測平臺,也是國泰GAI發展策略的關鍵技術。這個評測平臺,會運用量化的AI評測指標,來評估AI模型是否符合公平性、可靠性等AI治理原則。檢測完成後,平臺會產出檢核報告,再交由專責單位決策模型上線與否。

國泰金控打造AI評測平臺,確保模型從研發到上線都符合規範。圖片來源/國泰金控

梁明喬表示,國泰根據金管會金融AI指引的六大原則和數發部AI評測中心的十大評測項目,訂定評測項目。並且,國泰透過自建問答集,來建立量化的評測指標。

梁明喬坦言,將治理原則化為量化指標並不容易,需要設立多種適當的情境提問,才能有效檢測模型。

目前,國泰鎖定的GenAI應用,分別是輔助員工、客戶、提升生產力和AI基礎設施4類GenAI應用。

在員工場景中,國泰計畫要建立員工自助開發平臺、AI教練和業務團隊AI助手等應用,客戶場景則包含信用卡消費分析應用。常見的AI副駕駛(AI Copilot)則歸類在生產力應用。最後一項,AI基礎設施,則包含運用GenAI提升反詐技術和風險管理能力。

在技術年會上,國泰公布了新的AI發展藍圖,透露了國泰未來的AI發展重點。首先,這張藍圖中的底層,數據架構層,涵蓋國泰AI發展的基礎設施,不僅包含國泰的地端資料倉儲、ML平臺,也納入了國泰計畫要在雲端環境建立的資料湖倉平臺。意味著,國泰未來的AI發展,將會奠定在雲地混合架構之上。

數據架構層之上的是多元數據源層和數據與AI治理層,前者包含各種資料來源,例如,顧客旅程、客戶關係管理系統、交易數據、夥伴生態系數據等數據來源。後者則包含DataOps和MLops等平臺,國泰今年在技術年會首次曝光的AI評測平臺Cathay RAI,也並列在數據與AI治理層中。而在核心技術模組中,除了傳統AI技術模組,也包含國泰的GAI技術發展框架GAIA。

這些AI技術未來都會運用在四種場景,包括風險管理、客群經營與行銷、投資與財務規劃,和營運效率優化,也就是國泰AI藍圖中的場景層。最後,國泰AI藍圖中的最上層,治理層,是國泰金控在今年設立的AI CoE,負責排序AI應用發展順序。圖片來源/國泰金控

國泰金控打造的GAI技術框架GAIA主要分為三大核心,分別是知識庫、Model Hub和護欄。

知識庫如同GAIA的圖書館,能提供全集團對內和對外知識。對內知識庫包含各種內部服務,例如,HR知識庫、授信知識庫、洗防知識庫和內稽知識庫等,對外知識庫則包含各種產品知識,例如,貸款產品知識庫、產險壽險產品知識庫、理財產品知識庫,和信用卡產品知識庫。

Model Hub則如同GAIA的中央控制室,可分為四大塊,分別是Model Menu、Model Registry、AI Gateway,和底層管理。Model Menu是一個模型清單,可提供多種模型選擇,包含雲端、地端、開源或閉源模型。Model Registry則包含模型服務臺和模型儲存庫。而AI Gateway包含標準化API接口,能介接各種服務,同時,也包含身份認證授權機制。在底層管理中,包含監控日誌蒐集、結果快取,另外,流量費用管理也並列其中。

GAIA最後一個核心是護欄,如同GAIA的警衛室,負責管控模型服務輸入和輸出。GAIA的護欄是由國泰金控自建而成,包含複合式規格護欄和多層抽換模組護欄,前者是在知識庫連接不同模型時進行資訊過篩,後者則是額外防護措施,例如提供業務規則、基礎防護、安全強化等護欄。

除了GAIA三大核心,國泰金控也規劃出GAIA的AI應用核心,包括資料檢索/摘要、解讀判斷、預測分析,和客製化生成等功能圖片來源/國泰金控

 相關報導 

熱門新聞

Advertisement