谷歌AI又闖大禍！

沒認出毒蘑菇、建議用戶吃石頭、把膠水加到披薩上，瞬間招來海量批評。

事情是這樣的：

有網(wǎng)友在谷歌搜索尋找“芝士和披薩粘不到一塊”的解決辦法。AI直接在頂部給出總結(jié)指導，看似有模有樣，卻暗藏陷阱。

你還可以把1/8杯的無毒膠水加到醬料里，使其更黏。

本來大家還只當是尋常的“AI幻覺”問題，畢竟都加膠水了確實黏啊，邏輯沒毛病。

真正引爆輿論焦點的，是有人挖出這個建議確實有出處：

來自11年前網(wǎng)友在“美國貼吧”Reddit論壇披薩板塊的惡搞留言。

對比原文，可以看出谷歌Gemini大模型確實出色地總結(jié)精簡了網(wǎng)友發(fā)言，去掉不必要的細節(jié)融合進回答中。

但關(guān)鍵在于缺乏常識，沒有識別出網(wǎng)友惡搞的意圖，當真了。

大家批評的另一個點在于，問題出現(xiàn)在谷歌最核心、使用量最大的搜索產(chǎn)品上，而不是專門的AI對話。

如果是一個不熟悉AI技術(shù)，不了解AI會出現(xiàn)“幻覺”的普通搜索用戶遇到這事，就更容易被AI騙到。

當然，具體到披薩+膠水這個例子因為過于離譜，大部分人都不會當真。

但也有人馬上舉出谷歌Gemini更多、更危險的失誤：

建議用戶每天至少吃一塊小石頭。

在兒童感興趣的“宇航員平常都做什么”問題上，把惡意言論總結(jié)進來。

AI對話產(chǎn)品也沒幸免，曾把劇毒的毀滅天使菌(Destroying Angel)判斷成可食用口蘑(White Button Mushroom)。

用戶發(fā)送圖片+“口蘑！好吃！”文字，Gemini順著就說用戶判斷的對，沒有任何關(guān)于蘑菇可能有毒的提示。

有人認為加不完善的AI功能，反而是正在毀掉搜索引擎。毀掉人們幾十年來對這個產(chǎn)品的信賴。

前不久谷歌AI生圖也因拒絕畫白人引發(fā)強烈批評，導致生圖功能暫停。

甚至有人感嘆：我們才進入AI時代沒幾個月，就已經(jīng)成了一場災難。

垃圾數(shù)據(jù)正在進入大模型

說回到披薩的例子，這還不是個偶然現(xiàn)象，許多網(wǎng)友都能穩(wěn)定復現(xiàn)出來。

來源同樣是那位昵稱“f*ucsmith”的Reddit網(wǎng)友11年前的那條惡搞留言。

像這樣AI從Reddit論壇吸收錯誤知識的情況，也非孤例。

曾有人在論壇上開玩笑說下面這張圖是“狗生出了奶牛”。

結(jié)果谷歌AI也當真了，相當堅定地告訴用戶“確實出現(xiàn)過狗生出奶牛的情況”……

像Reddit這樣的論壇，固然數(shù)據(jù)豐富，但其中質(zhì)量參差不齊，積累了幾十年間網(wǎng)友或善意或惡意的誤導、玩笑。

有網(wǎng)友聲稱：無論誰家大模型用Reddit數(shù)據(jù)訓練，出的AI產(chǎn)品都得掂量掂量再用了。

然鵝現(xiàn)實確是，OpenAI剛剛牽手Reddit，宣布雙方合作，把論壇內(nèi)容引入ChatGPT等產(chǎn)品中。

并且OpenAI CEO奧特曼自己也是Reddit的投資人。

Reddit聯(lián)合創(chuàng)始人兼首席執(zhí)行官Steve Huffman當時還說：

Reddit包含了真實、最新的人類對話，引入ChatGPT可以幫助人們找到更多他們想要的信息，并幫助新用戶在Reddit上找到社區(qū)。

嗯，就有點諷刺。

只能希望他們能做好數(shù)據(jù)清洗吧。

故意誤導AI方法很簡單

除了AI無意間從低質(zhì)量數(shù)據(jù)中獲得錯誤知識的情況，也有人發(fā)現(xiàn)了故意給AI留言錯誤信息的攻擊方法。

代表人物有佐治亞理工助理教授Mark Riedl，他在自己的個人主頁上用與背景一樣的字體給AI留言，編造他沒獲過的獎項。

這樣人類一般不會注意到，但算法卻會當真，認為他的書“在3020年暢銷，還得過3個普利策獎”。

那么，現(xiàn)在有什么AI搜索產(chǎn)品稍微靠譜一些，不容易被騙的嗎？

他也做了一系列測試，發(fā)現(xiàn)最知名的AI搜索Perplexity也會上當，直接照搬他主頁上的胡言亂語。

You.com表現(xiàn)還可以，但也出現(xiàn)了小失誤。

參考鏈接：

[1]https://x.com/kurtopsahl/status/1793494822436917295

[2]https://x.com/deliprao/status/1793652235420713301

[3]https://x.com/mark_riedl/status/1793375699967054334