“考試和分?jǐn)?shù)不應(yīng)該是學(xué)生生活的全部。除了分?jǐn)?shù),我還可以去關(guān)心窗前第一排柳芽的萌動;去欣賞天上金黃的滿月,讓后羿嫦娥、吳剛玉兔的傳說在心中流過;去盛裝的西湖邊騎行,淋一點(diǎn)小雨,吹無數(shù)的風(fēng)……可是,家長的教誨又讓人無法反駁:“你知道嗎,中考差一分,就是一個操場的人!”
這,就是我的煩惱。 ”
以上這段文字是AI生成的,還是人寫的?
我問了7個人,有5個認(rèn)為由AI生成,主要理由是“辭藻堆砌”。
AI通用模型的文本生成能力持續(xù)進(jìn)階,已經(jīng)到了人無法準(zhǔn)確辨別的程度,因此,其不當(dāng)使用可能帶來的虛假新聞、學(xué)術(shù)不端行為、惡意產(chǎn)品評價等問題引起社會高度關(guān)注。
據(jù)公安部網(wǎng)絡(luò)安全局官方公眾號,因使用AI捏造“頂流明星在澳門輸了10億”的謠言,一名男子被處以行政拘留8日。據(jù)介紹,3月10日,網(wǎng)民徐某強(qiáng)為博流量、謀取非法利益,使用軟件“某書”中AI智慧生成功能,輸入熱點(diǎn)詞,制作“頂流明星被曝境外豪賭輸光十億身價引發(fā)輿論海嘯”的謠言信息并在網(wǎng)上發(fā)布,造成謠言迅速擴(kuò)散,引發(fā)大量網(wǎng)民議論,誘發(fā)相關(guān)謠言、話題等頻繁登上熱搜熱榜,嚴(yán)重擾亂公共秩序。
2023年2月16日,“杭州市政府3月1號取消機(jī)動車依尾號限行”的“新聞”瘋傳。據(jù)浙江之聲報道,當(dāng)天杭州某小區(qū)業(yè)主群討論ChatGPT,一位業(yè)主開玩笑說嘗試用它寫“杭州取消限行”的“新聞”,在群里直播了用ChatGPT寫作的過程,并把文章發(fā)在群里,其他業(yè)主不明就里,截圖轉(zhuǎn)發(fā)。
人工智能、人類智能——面對一個文本,該如何鑒別其“真?zhèn)?rdquo;?
3月24日,西湖大學(xué)自然語言處理實(shí)驗(yàn)室的博士生鮑光勝團(tuán)隊(duì)研發(fā)的AI應(yīng)用程序Fast-DetectGPT,將開頭那段“我的煩惱”的文字輸入,程序很快給出判斷結(jié)果:由AI生成的概率為19%。
它說對了,這段文字摘自杭州一名七年級學(xué)生的作文。
文本究竟是人腦構(gòu)思的,還是電腦生成的?或許人難以判斷,但它能夠被判斷——鑒別者可以是AI自己。這是研究者的思路。
Fast-DetectGPT在開源模型GPT-Neo 2.7B上運(yùn)行,無需訓(xùn)練即可識別各種AI大語言通用模型生成的文本內(nèi)容,對GPT3.5、GPT4生成的文本,識別率分別達(dá)到96%、90%。與斯坦福大學(xué)2023年提出的DetectGPT相比,檢測速度提高340倍,識別錯誤率降低75%。去年,以鮑光勝為第一作者、西湖大學(xué)工學(xué)院副院長張岳教授為通訊作者的相關(guān)論文在深度學(xué)習(xí)領(lǐng)域頂級會議——2024國際表征學(xué)習(xí)大會上發(fā)表。
張岳2003年畢業(yè)于清華大學(xué)計算機(jī)科學(xué)專業(yè),此后在牛津大學(xué)獲得該專業(yè)碩士、博士學(xué)位,在劍橋大學(xué)從事博士后研究,現(xiàn)為西湖大學(xué)終身教授,主要研究自然語言處理、文本挖掘、機(jī)器學(xué)習(xí)和人工智能。鮑光勝是他的博士生,曾在微軟(中國)、阿里巴巴工作多年,三年前進(jìn)入西湖大學(xué)。今年,他們關(guān)于Fast-DetectGPT的私有大模型擴(kuò)展Glimpse的論文已被4月將在新加坡舉行的2025國際表征學(xué)習(xí)大會收錄。
澎湃新聞
:對于AI生成的文本,目前主流的識別方法有哪些?
張岳
:主要有監(jiān)督分類器法、零樣本分類器法、水印法。使用監(jiān)督分類器法要收集大量已知數(shù)據(jù),包括AI生成文本和人類創(chuàng)作文本,做分類學(xué)習(xí)。對訓(xùn)練時見過的大語言模型生成的文本,它的識別準(zhǔn)確率較高;但遇到未見過的模型生成的文本,識別準(zhǔn)確率下降。
Fast-DetectGPT、DetectGPT屬于零樣本分類器法,無需收集數(shù)據(jù)進(jìn)行訓(xùn)練,主要通過AI文本的特征來“找同類”。
水印法是在生成AI文本時打上“水印”。國家互聯(lián)網(wǎng)信息辦公室、工信部、公安部、國家廣電總局已發(fā)布《人工智能生成合成內(nèi)容標(biāo)識辦法》,將于9月起實(shí)施,要求相關(guān)服務(wù)提供者對生成合成內(nèi)容添加顯式標(biāo)識,或在生成合成內(nèi)容的文件元數(shù)據(jù)中添加隱式標(biāo)識,就屬于此類。這種方法的準(zhǔn)確率高,但存在標(biāo)記被人為弱化甚至移除的風(fēng)險。
澎湃新聞
:Fast-DetectGPT的工作原理是什么?
鮑光勝
:簡單地說, AI更懂AI,F(xiàn)ast-DetectGPT“認(rèn)出”了同類。
所謂“生成”文本,就是機(jī)器通過上文來選擇下文,選擇依據(jù)是詞匯、句式等在其學(xué)習(xí)的數(shù)據(jù)集中的使用概率,概率越大,越可能被選中——可以想象一下搜索引擎中跳動的下拉提示框。
Fast-DetectGPT的工作基于一個前提:人類和AI通用模型在文本形成中有不同的選擇。人類寫文章時的選擇比較多樣,個體間的差異大;而不同AI通用模型間的差異不明顯——因?yàn)樵谡Z料庫上預(yù)訓(xùn)練的通用模型反映的是人類作為集體的寫作行為,生成文本時也傾向于選擇有更高模型概率的詞匯、句式。因此,兩種文本在詞匯使用、句子結(jié)構(gòu)、語法復(fù)雜度、語義連貫性等方面有不同,我們提取覆蓋這些區(qū)別特征的統(tǒng)計量“條件概率曲率”,分析它們在兩類文本的分布,當(dāng)被測文本的統(tǒng)計特征值主要落在AI生成文本的分布中,則大概率為AI生成的。
不妨這樣理解:作為AI,F(xiàn)ast-DetectGPT面對被測文本,先在不改變原意的情況下改寫,再將自己的文本與被測文本對比,如果被測文本是AI寫的,相似性會比較顯著。
張岳
:人類的思考是因果性的——它來自于行為及其反饋、后果、互動等,而通用模型的思考偏向統(tǒng)計性。寫文章,AI的寫法是學(xué)習(xí)現(xiàn)有數(shù)據(jù),根據(jù)詞與詞之間“共現(xiàn)性”的概率高低等來選擇下文,缺少“泛化性”,也就是將在訓(xùn)練數(shù)據(jù)集中所習(xí),通過背后的因果邏輯“舉一隅反三隅”,應(yīng)用到別處,從而獲得分布以外的泛化性。這與創(chuàng)造性的人類寫作有很大區(qū)別。
澎湃新聞
:那么,“阿爾法圍棋”(AlphaGo)為什么能屢屢下出人類想不到的招數(shù)?而且2016年韓國李世石九段在番棋戰(zhàn)中僅有的一局中盤勝是人類的“最后一勝”,那以后再也沒有贏過AlphaGo?
張岳
:圍棋的變化近于無窮,但結(jié)果只有兩種,或勝或負(fù)(和局極其偶然),弈棋規(guī)則也很明確。在這種情況下,AI程序的“算力”得以充分發(fā)揮,AlphaGo在訓(xùn)練中學(xué)習(xí)了幾萬份專業(yè)棋手的對弈棋譜, 還進(jìn)行了三千萬盤自我對決。而保持高強(qiáng)度比賽狀態(tài)的世界頂尖棋手,平均每年的職業(yè)對局不超過一百盤,即使加上訓(xùn)練對局、打譜,其數(shù)量也完全不在同一量級。
AlphaGo沒有心理波動,這也是它在人機(jī)對弈中的優(yōu)勢之一,但寫作中最可貴的可能就是情感、是“心理波動”。另一方面,“寫得好”也沒有邊界,不存在止境,無法枚舉。
澎湃新聞
:Fast-DetectGPT檢測DeepSeek-v3生成文本的準(zhǔn)確率達(dá)到89%,對DeepSeek-R1的檢測準(zhǔn)確率則較低。我們看到,類似R1的推理模型正成為大模型發(fā)展的新方向,F(xiàn)ast-DetectGPT會有什么優(yōu)化和改進(jìn)?
張岳
:R1通過較長的推理鏈進(jìn)行思考和規(guī)劃,生成的文本內(nèi)容與此前通用模型的輸出分布有差異。我們猜測,這可能是R1在強(qiáng)化學(xué)習(xí),探索新的推理路徑時產(chǎn)生了分布變化,使現(xiàn)有檢測器的工作難度增加。
目前的Fast-DetectGPT演示版使用的是開源小語言模型GPT-Neo 2.7B,說它“小”,是因?yàn)槟P偷膮?shù)只有27億個。如果使用更強(qiáng)的模型,比如671B的滿血版DeepSeek-R1,理論上識別準(zhǔn)確率就會更高。
技術(shù)總是雙刃劍,模仿、鑒別會是持久的“攻防戰(zhàn)”。作為Fast-DetectGPT的私有大模型擴(kuò)展,Glimpse可以檢測26種語言的文本,并有更高的識別準(zhǔn)確率。總的說,AI模型生成的文本會越來越逼真,但人類使用AI程序?qū)ξ谋具M(jìn)行識別的能力也將越來越強(qiáng)大。
關(guān)于我們| 客服中心| 廣告服務(wù)| 建站服務(wù)| 聯(lián)系我們
中國焦點(diǎn)信息網(wǎng) 版權(quán)所有 滬ICP備2022005074號-20,未經(jīng)授權(quán),請勿轉(zhuǎn)載或建立鏡像,違者依法必究。