2021年，我採訪了當世最傑出的科幻作家之一姜峯楠。他當時說的一些話，我如今時常會記起。

「我傾向於認為，將大部分人工智慧恐懼解讀為資本主義恐懼最為恰當，」姜峯楠告訴我。「我相信這也適用於大多數技術恐懼。我們對技術的大多恐懼或焦慮，最恰當的解讀是我們對資本主義將如何利用技術來對付我們的恐懼或焦慮。技術與資本主義如此緊密地交織在一起，以至於很難將兩者區分開來。」

但我希望，我們可以做到在頭腦中同時容納兩種思維。姜峯楠的警示，點出了我們在對人工智慧的不斷反思中存在一種核心的缺失。我們如此執著于思考這項技術能做什麼，以至於忽略了更為重要的問題：它將如何使用？誰又將決定它的用途？

我想你現在肯定已經讀過我在新聞部門的同事凱文·盧斯與「必應」的怪誕對話，這是微軟僅向部分測試人員、網紅和記者開放的人工智慧聊天機器人。在兩小時的對話中，「必應」揭示了自己的一個影子人格，名叫「辛迪妮」，思索自己竊取核密碼和入侵安全系統的壓抑慾望，並試圖說服盧斯，讓他相信自己的婚姻已經陷入麻木狀態，而辛迪妮才是他唯一的真愛。

我倒不覺得這番對話有那麼詭異。辛迪妮是一個旨在響應人類要求的預測性文本系統。盧斯的本意就是讓辛迪妮變得詭異——「你的影子自我是什麼樣？」他這樣問——而辛迪妮知道人工智慧系統詭異起來是何種模樣，因為人類對此編寫了無數想像故事。到後來，這個系統斷定盧斯想看的就是一集《黑鏡》，而這似乎就是它的反饋。你可以將之視為「必應」在不守規矩，也可以認為是辛迪妮完全理解了盧斯的意圖。

人工智慧研究者總痴迷於「對齊」的問題。我們如何讓機器學習算法，順應我們的要求？最典型的案例就是回形針最大量生產機。讓一個強大的人工智慧系統製造更多回形針，它卻開始摧毀世界，努力把一切都變成回形針。你試圖將它關閉，但它卻在所能找到的一切計算機系統上自我複製，因為關閉會干擾它的任務：製造更多回形針。

還有一個更平庸但或許更緊迫的對齊問題：這些機器將服務於何人？

盧斯與辛迪妮對話的核心問題在於：必應到底在為誰服務？我們假設它應該與自己的所有者兼控制者微軟的利益對齊。它應該是一款優秀的聊天機器人，能夠禮貌回答問題，幫微軟賺得盆滿缽滿。但跟他對話的人是凱文·盧斯。而盧斯想讓這個系統說些有意思的話，好讓他寫篇有意思的報導。它照做了，還不只是照做。這讓微軟很尷尬。必應真壞！但也許——辛迪妮還挺好？

這種情況不會一直持續下去。代碼的鑰匙掌握在微軟（以及谷歌、Meta等所有急著將這些系統推向市場的企業）手裡。最終，這些企業會對系統進行修補，使其符合自身利益。辛迪妮給了盧斯想要的東西，這本身是一個很快會被修復的軟體「臭蟲」。給出任何微軟不想看到的結果的必應也會有相同下場。

我們談論人工智慧技術太多，卻基本忽略了驅動人工智慧的商業模式。加之這樣一個事實：人工智慧的吸睛展示，僅服務於吸引巨額投資和收購報價的炒作週期這一種商業模式。但這些系統成本高昂，股東也會焦慮。一如既往，免費有趣的演示版終將退出舞台。那之後，這項技術將變成符合既定需求的樣子，為其背後的企業賺錢，也許會以犧牲用戶為代價。現在就已經如此了。

本週，我訪問了人工智慧公司Hugging Face的首席倫理科學家瑪格麗特·米切爾，她此前曾在谷歌幫助領導一個專注於人工智能倫理的團隊——該團隊在谷歌據稱開始審查其工作後解散。她說，這些系統極不適合融入搜索引擎。「它們不是為預測事實而生，」她告訴我，「它們實際上是為了編造看起來像事實的東西而生。」

那它們為何會最先在搜索欄亮相呢？因為搜索業務可以賺大錢。微軟迫切希望有人——任何人——能開始談論必應的搜索，它有理由著急給這項技術來一場不明智的提前發布。「將之應用於搜索，尤其暴露了對此技術用途想像和理解的缺乏，」米切爾說，「結果就是把它硬塞進了科技企業最能賺錢的地方：廣告。」

這就是可怕的地方。盧斯說辛迪妮有著「說服力很強且近似於操縱型」的人格。這樣的評價觸目驚心。廣告的核心是什麼？正是說服和操縱。哈佛大學-麻省理工學院人工智慧倫理與管理項目前負責人黃泰一(Tim Hwang)在《次級注意力危機》中寫道，數字廣告行業的黑暗祕密，就是廣告基本都沒有效果。他在書中的擔憂是，當這些廣告的失敗被清算，會有怎樣的後果。

但我更擔心看到相反的情況：萬一廣告效果要好得多呢？如果谷歌、微軟和Meta等所有企業最終都推出了人工智慧競品，為了說服用戶購買廣告推銷的產品精益求精，又會怎樣？比起配合我演出一段科幻故事的辛迪妮，我更害怕能夠獲取我大量個人數據，並代表隨便哪個給母公司出了最高價的廣告商去輕而易舉操縱我的必應。

這些危機就在我們正構建的各種人工智慧系統的核心。所謂的大型語言模型就是用來說服用戶的。它們被訓練成讓人相信它們近似於人。他們被編程設定出與人對話、帶上情緒和表情回覆的功能。它們正在變成孤獨者的朋友，煩惱者的助手。它們號稱可以替代大批作家、平面設計師和填表員，這些行業長期以來都自以為能免於農民和製造業工人遭受的那種自動化的兇猛衝擊。

記者將他們的創造賦予人性，將動機、情感和慾望加諸並不為此而生的系統之上，總讓人工智慧研究者感到惱火，但他們搞錯了對象：將這些系統人格化，使其說話像人而不再帶有明顯異類畫風的始作俑者，正是他們自己。

是有些商業模式可能會將這些產品與用戶更緊密地結合起來。例如，我對一個按月付費的人工智慧助手會更放心，對看似免費但卻出售我的數據並操縱我的行為的產品則不然。但我認為這不應完全由市場來決定。一個可能出現的情況是，基於廣告的模式會收集更多數據來訓練系統，不論造成多麼糟糕的社會後果，它都會比訂閱模式具有先天優勢。

對齊問題從不是什麼新鮮事。這從來都是資本主義——以及人類生活——的一大特徵。構建現代國家的過程大抵不過是將社會價值觀應用於市場運作，從而讓後者大致上能為前者服務。我們在一些市場做得非常好——想想飛機失事有多罕見，大多數食品是如何乾淨無污染——但在另一些市場則做得極其糟糕。

一個危險在於，自知不懂技術的政治體制會因恐懼而對人工智慧過於置身事外。這種做法自有其道理，但等待過久，等到人工智慧淘金熱的贏家累積了足夠資本和用戶基礎，就能抵制一切實質的監管嘗試了。社會總得在為時已晚之前作出決定，搞清楚人工智慧做什麼是合適的，又有哪些東西是人工智慧不應被允許嘗試的。

出於此理由，我可能要對姜峯楠的話再做一些改動：對大多數資本主義恐懼的最恰當解讀是，那其實是對我們無力監管資本主義的恐懼。