怎樣才能改變一個人的想法？隨着生成式人工智能愈來愈多地融入面向客戶的系統中，例如類似真人通話或網上聊天機械人，這是一個需要廣泛解決的倫理問題。
通過理性話語改變思想的能力，是民主的核心。清晰有效的溝通，是細想和游說的基礎，這對於解決相互競爭的利益至關重要。但游說也有陰暗面：虛假的動機、謊言和認知操控，這些都是人工智能可能助長的惡意行為。
在不遠的將來，生成式人工智能將能夠賦能創建新的使用者介面，可代表任何個人或實體進行游說，以達致建立這樣的系統。利用私人知識庫，這些專門的模型提供不同的真相，為一個目標群體基於其有產生令人信服的回應的能力，進行競爭——每一種意識形態都有一種人工智能。人工智能輔助的社會工程浪潮必然隨之而來，不斷升級的競爭使不良的行為者更容易、更便宜地傳播虛假資訊和進行詐騙。
因此，生成式人工智能的出現，助長了一場認知不安全危機。最初的政策反應是確保人類知道他們正在與人工智能互動。今年6月，歐盟委員會敦促大型科技公司開始標記由人工智能工具創建或操縱的文本、視頻和音訊，歐洲議會正在推動在即將推出的《人工智能法案》中，制定類似的規則。人們認為，這種意識將防止我們被人工代理誤導，無論它們多麼令人信服。
但是，提醒人們注意人工智能的存在，並不一定能保護他們免受操縱。早在1960年代，麻省理工學院的ELIZA聊天機械人實驗顯示，人們可以與具有擬人化特徵的電腦程式（在這種情況下是自然語音模式），形成情感聯繫產生同理心，並將人類思維附於其上，儘管人類已被告知它是一個非人類實體。
我們總是對自己的信念產生強烈的情感依戀，這阻礙了我們客觀評估矛盾證據的能力。此外，我們經常尋求支持而不是挑戰我們的觀點的資訊。我們的目標應該是進行反思性游說，即我們提出觀點，仔細考慮我們的信念和價值觀，以達致有充分理據的同意或反對意見。
但至關重要的是，與他人建立情感聯繫，會令我們更容易陷入操縱，而我們知道，即使聊天機械人並非設計用於這樣的情況，人類也可以建立這些類型的聯繫。如果聊天機械人是為了與人類建立情感聯繫而被製造出來，便會創造出一種植根於人類論述的兩個長期問題的新動態：不對稱風險和互惠。
試想一下，一家科技公司創建了一個游說式聊天機械人。這個機械人在試圖游說他人時，基本上都是零風險，無論是情感上的還是身體上的。反向而言，進行游說的聊天機械人，幾乎沒有任何容納被說服的能力。更有可能的是，個人可以令聊天機械人在他們有限的互動中讓步，然後將其內化供訓練。這將使積極游說——誘導信念的改變，而不是達成暫時的協定——在很大程度上不可行。
簡而言之，可悲的是，我們完全沒有為游說式人工智能系統的普及做好準備。許多行業領導者，包括ChatGPT背後的OpenAI公司，都提高了對其潛在威脅的認識。但是，認識並不能轉化為全面的風險管理框架。
一個社會無法有效地預防游說式人工智能，因為這需要讓每個人都對這種媒介免疫——這是一項不可能完成的任務。此外，任何控制和標記人工智能介面的嘗試，都會導致個人將輸入轉移到新領域，這與複製ChatGPT生成的文本，並將其放到電子郵件中沒有什麼不同。因此，系統所有者需要負責追蹤使用者活動，並評估轉化率。
但游說式人工智能本質上不一定是生成式的。廣泛的組織、個人和實體，已經再增強游說能力以達成目標。考慮一下國家行為者對計算式宣傳的使用，這涉及操縱資訊和公眾輿論，以進國家利益和議程。
與此同時，計算式游說力的演進，為廣告技術行業提供了有利可圖的商業模式。這個新興的領域，不僅展示了游說技術塑造消費者行為的力量，還突出了它們在推動銷售和實現商業目標方面，可以發揮的重要作用。
將這些不同的行為者團結在一起的，是對提高其游說能力的渴望。這反映出技術驅動的影響力不斷擴大，以及其所有已知和未知的社會、政治和經濟影響。隨着游說的自動化，一個全面的道德和監管框架變成當務之急。
Aurélie Jean也為本評論作出了貢獻。
Copyright: Project Syndicate, 2023.
www.project-syndicate.org
