利用AI幻覺檢測圖像真實性示意圖
俄羅斯科研團隊近期在arXiv發(fā)表了一項顛覆性研究——《勿抗幻覺，善用之：基于原子事實NLI的圖像真實性評估》，提出通過利用大視覺語言模型(LVLM)的"幻覺"缺陷來檢測AI生成圖像的反常之處。這項由斯科爾科沃理工學院、莫斯科物理技術學院聯(lián)合MTS AI等機構(gòu)完成的研究，為開源社區(qū)提供了一種無需微調(diào)模型的輕量級檢測方案。
逆向思維：化缺陷為利器
傳統(tǒng)方法往往試圖通過提升模型精度來減少幻覺，而該團隊卻另辟蹊徑：
原子事實提?。菏褂肔LaVA-v1.6-mistral-7b模型生成多角度圖像描述
矛盾檢測：通過自然語言推理(NLI)模型分析陳述間的邏輯沖突
聚類評分：采用k-means算法將矛盾值聚類，以低值簇中心作為"失真指數(shù)"
"就像讓一個容易夸大其詞的人來挑刺，"論文第一作者比喻道，"當模型看到三峰駱駝這種違背常識的圖像時，它可能編造出'雙頭駱駝'等更荒誕的說法，這些矛盾恰恰暴露了圖像的問題。"
測試表現(xiàn)：開源模型的逆襲
研究團隊采用WHOOPS!數(shù)據(jù)集進行驗證，這個包含500張合成圖像的基準測試庫專門用于評估AI的常識推理能力。令人驚訝的是：
在102組真實/異常圖像對比測試中，該方法準確率達到92%，與人類評委共識率持平
性能接近經(jīng)過專門微調(diào)的BLIP2模型，遠超其他零樣本學習方法
InstructBLIP模型表現(xiàn)優(yōu)于同體量的LLaVA模型，展現(xiàn)出更強的矛盾捕捉能力
"最大的啟示在于，模型規(guī)模并非決定性因素，"研究者指出，"關鍵在于如何系統(tǒng)性地捕捉和量化那些細微的邏輯裂縫。"
技術民主化的嘗試
區(qū)別于依賴GPT-4等閉源商業(yè)系統(tǒng)的方案，該研究堅持開源路線：
完整代碼已發(fā)布在GitHub
使用Mistral-7B等可本地部署的輕量模型
避免商業(yè)API可能存在的服務中斷、費用波動等問題
這種取向特別適合獨立開發(fā)者、視覺特效團隊等需要可控工具鏈的群體。正如論文強調(diào)的："在檢測AI生成圖像這個戰(zhàn)場上，開源生態(tài)應該有自己的武器庫。"
FaithScore評估機制示意圖解析。首先，識別大視覺語言模型(LVLM)生成答案中的描述性陳述；接著，將這些陳述分解為獨立的原子事實；最后，將原子事實與輸入圖像進行比對驗證其準確性。下劃線文本標注客觀描述內(nèi)容，藍色文字則標示幻覺陳述，使FaithScore能夠輸出可解釋的事實準確性度量。來源：https://arxiv.org/pdf/2311.01477"
局限與展望
該方法仍存在模型依賴性問題——如果未來AI完全克服了幻覺缺陷，這套機制將失效。但研究者認為："至少在可預見的未來，幻覺仍將是AI的'特征'而非'故障'。"
團隊正在探索將該框架擴展至視頻檢測領域，并開發(fā)更精細的矛盾權(quán)重算法。這項研究或許預示著：在AI安全這場貓鼠游戲中，"以子之矛攻子之盾"將成為越來越重要的戰(zhàn)術。
精選文章：