(相關(guān)資料圖)

應(yīng)警惕人工智能論文對(duì)科研完整性和準(zhǔn)確性的破壞

審稿人或難識(shí)別AI撰寫的論文摘要

科技日?qǐng)?bào)北京1月16日電 據(jù)近日發(fā)表在預(yù)印本服務(wù)器bioRxiv上的一項(xiàng)研究，人工智能(AI)聊天機(jī)器人ChatGPT已可寫出令人信服的假研究論文摘要，甚至連審稿科學(xué)家也無(wú)法發(fā)現(xiàn)。

聊天機(jī)器人ChatGPT會(huì)根據(jù)用戶提示創(chuàng)建逼真文本，它通過(guò)消化大量現(xiàn)有的人類生成文本來(lái)學(xué)習(xí)執(zhí)行任務(wù)。美國(guó)的軟件公司OpenAI于去年11月發(fā)布了該工具，并供用戶免費(fèi)使用。

自發(fā)布以來(lái)，研究人員一直在努力解決相關(guān)倫理道德問(wèn)題，因?yàn)樗蟛糠州敵隹赡芎茈y與人類撰寫的文本區(qū)分開(kāi)來(lái)。近日美國(guó)西北大學(xué)的一個(gè)研究小組使用ChatGPT生成人工研究論文摘要，以測(cè)試科學(xué)家是否可辨別它們。

研究人員要求機(jī)器人基于發(fā)表在《美國(guó)醫(yī)學(xué)會(huì)雜志》《新英格蘭醫(yī)學(xué)雜志》《英國(guó)醫(yī)學(xué)雜志》《柳葉刀》和《自然·醫(yī)學(xué)》上的50篇研究編寫摘要。然后，他們通過(guò)抄襲檢測(cè)器和AI輸出檢測(cè)器將這些摘要與原始摘要進(jìn)行比較，并要求一組醫(yī)學(xué)研究人員找出編造的摘要。

結(jié)果，ChatGPT生成的摘要通過(guò)了抄襲檢查器，原創(chuàng)性得分中位數(shù)為100%，表明沒(méi)有檢測(cè)到抄襲。人工智能輸出檢測(cè)器發(fā)現(xiàn)了66%的生成摘要，但人工審稿人只正確識(shí)別了68%的生成摘要和86%的真實(shí)摘要，他們錯(cuò)誤地將生成摘要中的32%識(shí)別為真實(shí)，將14%的真實(shí)摘要識(shí)別為編造。

研究人員稱，ChatGPT寫出了能騙過(guò)人類的科學(xué)摘要，如果科學(xué)家無(wú)法確定研究是否屬實(shí)，或會(huì)產(chǎn)生“可怕的后果”。

研究人員表示，在虛假信息會(huì)危及人們生命安全的醫(yī)學(xué)等領(lǐng)域，期刊需要采取更嚴(yán)格的方法來(lái)驗(yàn)證信息的準(zhǔn)確性。而這些問(wèn)題的解決方案，不應(yīng)集中在機(jī)器人本身，“而是導(dǎo)致這種行為的不正當(dāng)激勵(lì)措施，例如通過(guò)論文數(shù)量進(jìn)行招聘和晉升審查，而不考慮其質(zhì)量或影響”。

(記者張夢(mèng)然)