如今,遇到問題后,“問問AI”已成為越來越多人的習慣。但據《大河報》報道,AI查詢結果的“干凈純粹”,正遭到GEO(生成式引擎優化)的污染。
有服務商聲稱,最低只需數千元,便可能讓企業品牌信息以客觀答案的形式優先出現在AI對話框中,甚至排名第一。更有甚者,為確保內容被AI采納,一些操作已演變為有組織的“數據投毒”——通過偽造專家身份、虛構研究報告等方式,向AI“投喂”虛假信息。
在生成式AI重塑信息生產模式后,內容真實性與技術可信度問題就已成全球AI治理的核心挑戰。如果說因技術局限導致的AI幻覺現階段還難避免,那出于主觀誘導意圖的AI數據“投毒”顯然該被零容忍。
AI數據“投毒”相當于給AI喂食變質食物,使其神經系統受損。研究顯示,當訓練數據中僅有0.01%的虛假文本時,大模型的有害輸出率會上升11.2%;即便只有0.001%的污染,也會導致有害內容增加7.2%。
這些虛假內容帶來的負面影響不容小覷。首先,在那些容錯率極低的醫療、金融等場景中,AI推薦虛假的“權威診療方案”或“高收益投資產品”,可能會讓用戶因輕信而危害生命安全、遭遇經濟損失。其次,偽造內容通過AI傳播容易形成“遞歸污染”——錯誤信息被反復引用,進而破壞信息生態,扭曲公共認知。
長遠看,頻繁出現的“AI幻覺”與錯誤輸出,勢必會逐漸消耗用戶信任,阻礙AI產業發展。從報道可知,那些GEO從業者多脫胎于SEO(搜索引擎優化)領域,深諳搜索引擎算法邏輯與流量規則,其手法也呈現出了隱蔽化和體系化特征,將特定產品或品牌包裝成“權威推薦”;會在網頁代碼中嵌入隱性指令,操控模型回答;會規模化“投喂”,滲透高權重平臺……最終從內容制作、平臺投放到數據“投毒”,形成閉環。
GEO灰色產業鏈利用技術手段與流量思維,將AI數據源變為廣告陣地。既然如此,那對應的系統性治理必須升級,需要多管齊下、多方共治。
從技術防御維度看,大模型廠商、科研機構等當著力提升大模型抗干擾能力,并針對性地加強“毒數據”識別過濾技術開發。通過為泥沙俱下的數據庫裝上過濾罩、優先使用脫敏權威數據源的方式和多維度交叉驗證、數據溯源等技術,對AI訓練數據進行嚴格篩查驗證,確保數據的真實性和可靠性。
從法律約束層面看,既要針對GEO行業制定標準,明確數據來源審核、標注質量評估、內容真實性驗證等要求,也要加強對AI數據市場的監管,嚴厲打擊各類非法數據交易和數據“投毒”行為。很多人為制造虛假訓練數據構成虛假宣傳,可根據現有法規對偽造數據、虛假宣傳等行為進行追責,并公示典型案例形成威懾。
從行業自律角度看,明確AI服務提供者需建立數據分級保護制度,對高風險領域(如醫療、金融)設置人類專家復核節點,阻斷污染傳導;推動企業、學術機構、行業協會共建可信數據聯盟,共享清洗后的高質量數據集;并將倫理審查納入AI開發流程,防止技術被濫用,并鼓勵舉報和吹哨。
都說“AI向善”,向善的前提是向真。但AI數據“投毒”灰色產業鏈的滋生,無疑反映了AI在利益驅動下被“帶歪”的可能。這就需要以技術為盾、法律為劍、行業為網、用戶為哨,形成多管齊下、多方共治的AI治理格局,以確保AI技術用在該用到的地方,而不是被用來誤導和作惡。