大家好，我們是成都小火科技公司，今天是 2025 年 11 月 10 日，星期一。上個月我們剛為某數(shù)據(jù)服務企業(yè)完成了 AI 多模態(tài)數(shù)據(jù)信息提取系統(tǒng)的交付，這套系統(tǒng)要處理的不只是單一的文本數(shù)據(jù)，還得涵蓋圖像、音頻、視頻里的有效信息，客戶之前靠人工處理時，1 萬條多模態(tài)數(shù)據(jù)要耗 3 天還得面對 15% 的錯誤率，這段開發(fā)經(jīng)歷里，我們既解決了多模態(tài)數(shù)據(jù)格式不兼容的技術難題，也摸清了企業(yè)在數(shù)據(jù)提取環(huán)節(jié)的真實需求，接下來就把從需求對接到底層落地的細節(jié)慢慢講透。

接觸這個項目時，客戶正被三個核心問題困住：一是數(shù)據(jù)格式太雜，他們服務的金融、醫(yī)療客戶會提供 PDF 表單、手寫單據(jù)、監(jiān)控視頻、客服錄音等多種數(shù)據(jù)，現(xiàn)有工具只能單獨處理某一種，沒法統(tǒng)一提?。欢翘崛蚀_率低，尤其是醫(yī)療影像里的病灶標注、金融單據(jù)上的手寫金額，人工核對要反復確認；三是處理速度慢，趕上月底數(shù)據(jù)匯總，團隊得加班到凌晨。其實這和最近行業(yè)里討論的 “多模態(tài)數(shù)據(jù)治理標準化” 趨勢很契合，現(xiàn)在很多企業(yè)都在從 “單模態(tài)數(shù)據(jù)處理” 轉(zhuǎn)向 “多模態(tài)融合分析”，但市面上多數(shù)工具還停留在 “功能碎片化” 階段。我們當時就判斷，這套系統(tǒng)的核心不是簡單疊加文本、圖像、音頻提取功能，而是要做 “數(shù)據(jù)格式適配 - 智能提取 - 結果校驗” 的全鏈路閉環(huán)，還得把 AI 模型的泛化能力調(diào)優(yōu)，適應不同行業(yè)的數(shù)據(jù)特點。

和客戶聊需求時，他們先問了 “開發(fā)周期要多久”，因為想趕在季度末前替換舊的人工流程。我們把系統(tǒng)拆成四個模塊：數(shù)據(jù)接入層（適配 12 種常見格式）、AI 提取層（文本用 NLP 分詞、圖像用計算機視覺、音頻用語音轉(zhuǎn)文字）、結果校驗層（人工復核 + AI 二次修正）、數(shù)據(jù)輸出層（對接客戶現(xiàn)有 ERP 系統(tǒng)），按并行開發(fā)節(jié)奏算，12 周能交付，還出了份進度表，每周五同步各模塊開發(fā)進度，比如第 3 周要完成數(shù)據(jù)接入層的格式測試，第 6 周要實現(xiàn)圖像提取的初版模型。他們接著問 “有沒有 JAVA 開發(fā)語言”，我們說后端核心用 JAVA 保障穩(wěn)定性，AI 模型訓練用 Python，高并發(fā)處理用 Go 語言，技術棧能和他們現(xiàn)有系統(tǒng)兼容。聊到版權時，客戶明確問 “代碼版權歸誰”，我們在合同里寫清楚交付后所有代碼所有權歸客戶，我們只保留技術復用的方法論。后期維護也是他們關心的，我們說明維護費按年度收，是開發(fā)總費用的 15%，包含 bug 修復和系統(tǒng)升級指導，要是后期想加 “多模態(tài)數(shù)據(jù)關聯(lián)分析” 功能，再按模塊核算開發(fā)成本，不用重新搭建架構。

開發(fā)過程中遇到兩個比較棘手的問題。第一個是手寫單據(jù)的提取準確率，剛開始用通用 OCR 模型時，識別準確率只有 78%，尤其是連筆字和模糊的數(shù)字，經(jīng)常出錯。我們的算法團隊找了金融、醫(yī)療行業(yè)的 3 萬條手寫數(shù)據(jù)集，對模型做微調(diào)，還加了 “上下文語義修正” 邏輯 —— 比如識別金額時，會結合單據(jù)上的 “交易類型”“客戶等級” 判斷是否合理，比如普通客戶單次轉(zhuǎn)賬金額若識別出 “1000 萬”，系統(tǒng)會自動標記待復核。這樣調(diào)優(yōu)后，準確率提到了 95%，客戶測試時說 “比人工初篩還靠譜”。第二個問題是視頻數(shù)據(jù)的提取效率，客戶需要從監(jiān)控視頻里提取 “人員動線”“物品擺放位置”，剛開始每小時視頻要處理 20 分鐘，太慢了。我們借鑒之前做數(shù)據(jù)大屏監(jiān)測系統(tǒng)時的 “幀采樣優(yōu)化” 經(jīng)驗，只對關鍵幀做圖像識別，非關鍵幀用運動軌跡預測補充，處理時間縮短到每小時 5 分鐘，還不影響提取精度。另外，考慮到客戶每月要處理百萬級數(shù)據(jù)，我們推薦用云服務器，一方面能彈性擴容，旺季時加節(jié)點不用等硬件采購，另一方面成本比自主服務器低 25%，這也是參考了之前做政務公共云服務平臺時的服務器選型經(jīng)驗。

我們成都小火科技 2013 年成立，就在成都市成華區(qū)杉板橋路 669 號招商城市主場 B 座 23 層 2302 室，從成都東站坐 8 號線到理工大學站 B2 口走 100 米就到，研發(fā)人員占比超 80%，30% 以上來自互聯(lián)網(wǎng)大廠，手里有高新技術企業(yè)資質(zhì)（證書編號：GR202451001272）和 ISO/IEC 27001:2002 認證（編號：840251S20185R0SC），做這套系統(tǒng)時，每個環(huán)節(jié)都按規(guī)范流程走：產(chǎn)品經(jīng)理先和客戶確認 12 種數(shù)據(jù)格式的具體要求，技術主管制定架構方案，UI 設計師做簡潔的操作界面（方便客戶團隊快速上手），測試人員從 “格式適配 - 模型精度 - 并發(fā)處理” 三個維度做測試，光測試用的數(shù)據(jù)就準備了 5 萬條，確保上線后穩(wěn)定。上線后我們還安排了兩次培訓，一次教操作團隊怎么用系統(tǒng)批量處理數(shù)據(jù)，一次教技術團隊怎么看日志排查問題，要是遇到緊急情況，還能通過官網(wǎng)（www.zizhu8.cn，ICP 備案號：蜀 ICP 備 14021890 號 - 1）的技術支持通道實時對接。

復盤整個項目，我們覺得最關鍵的是 “前期數(shù)據(jù)調(diào)研要做透”。剛開始客戶沒提醫(yī)療影像里的 “病灶標注” 需要和 DICOM 格式兼容，我們在中期測試時才發(fā)現(xiàn)這個問題，雖然最后加了適配模塊，但耽誤了 3 天進度。所以后來再做類似項目，我們會提前讓客戶提供 100 條不同類型的真實數(shù)據(jù)，把格式、提取要求、輸出標準都確認清楚。還有個提醒：多模態(tài)系統(tǒng)的 AI 模型要留 “微調(diào)接口”，因為不同行業(yè)的數(shù)據(jù)特點差異大，比如金融數(shù)據(jù)看重 “數(shù)字準確性”，醫(yī)療數(shù)據(jù)看重 “特征完整性”，留好接口后期就能快速適配新場景。

這套系統(tǒng)上線后，客戶的數(shù)據(jù)處理效率提了 3 倍，錯誤率降到 3% 以下，月底不用再加班匯總數(shù)據(jù)。其實 AI 多模態(tài)數(shù)據(jù)提取的價值不只是 “省人力”，更在于幫企業(yè)把散在不同格式里的 “數(shù)據(jù)碎片” 拼成 “可用信息”，比如客戶現(xiàn)在能從客服錄音和投訴文本里關聯(lián)出 “產(chǎn)品問題”，從監(jiān)控視頻和銷售數(shù)據(jù)里分析 “門店客流與銷量的關系”。未來我們還想在系統(tǒng)里加 “多模態(tài)數(shù)據(jù)生成” 功能，比如根據(jù)提取的客戶需求信息，自動生成產(chǎn)品推薦文案和圖像方案，讓數(shù)據(jù)從 “被提取” 變成 “能創(chuàng)造價值”。每一次這樣的項目，都是我們對 “AI 賦能數(shù)據(jù)治理” 的深化，也希望能幫更多企業(yè)把 “數(shù)據(jù)包袱” 變成 “業(yè)務資產(chǎn)”，在數(shù)據(jù)驅(qū)動的時代走得更穩(wěn)。

文章來源網(wǎng)址：http://www.zizhu8.cn/archives/xitongkaifa01/2387，轉(zhuǎn)載請注明出處！