【行業(yè)資訊】單卡部署千億大模型!江蘇銀行人工智能產(chǎn)能躍升
近日,江蘇銀行(600919)依托國產(chǎn)芯片為代表的混合算力架構(gòu),成功實現(xiàn)單張GPU計算卡千億級推理大模型的規(guī)模化部署。
據(jù)了解,該行從國產(chǎn)操作系統(tǒng)底層依賴庫入手,通過完全自主編譯與適配,構(gòu)建新一代技術(shù)架構(gòu)框架,成功兼容并穩(wěn)定運行近期發(fā)布的MXFP4量化算法。
相較傳統(tǒng)方案,該模型在推理能力顯著提升的同時,實現(xiàn)計算性能3倍加速與硬件資源占用減少75%的優(yōu)化,大幅降低大模型使用成本并提升部署靈活性。
基于“專家經(jīng)驗為主,人工智能為輔”的設計理念,該千億大模型構(gòu)建了具備多種能力的智能體,并在業(yè)務材料錄入與審核場景中率先落地運用。
自上線以來,智能體已累計處理業(yè)務數(shù)萬筆,實現(xiàn)運營效率的顯著提升。
基于國產(chǎn)芯片為代表的千億大模型單卡部署實踐,驗證了國產(chǎn)算力底座支撐金融核心智能場景的可行性,為銀行業(yè)智能化轉(zhuǎn)型提供了更加安全可控的技術(shù)路徑。
未來,江蘇銀行將持續(xù)深化人工智能技術(shù)研究與應用,構(gòu)建全棧自主技術(shù)體系,推動科技與業(yè)務深度融合。通過持續(xù)拓展大模型在數(shù)字化經(jīng)營與風控等領域的場景賦能,積極探索智能體在全行業(yè)務中的應用路徑,全面打造基于國產(chǎn)算力的人工智能驅(qū)動金融新生態(tài)。
0人