近日，美國OpenAI公司發布的首個視頻生成模型“Sora”給國內外信息產業帶來震撼影響，同時也引發了人們對生成式AI技術被用于深度偽造內容，可能加劇錯誤和虛假信息傳播的擔憂。在生成式AI技術迅速發展的當下，偽造視頻、圖片、語音用于不法目的的行為時有報道。已有多家媒體報道稱，生成式AI技術已被用于深度偽造領域，并被用于誤導選民、干擾選舉、抹黑名人、造謠誹謗、電信詐騙、色情敲詐等不法行為中。

當前，國內外生成式AI技術快速發展，從事該領域研究、開發、應用的新生企業如雨后春筍般涌現，AI手機的開發更是如火如荼。需要看到的是，生成式AI技術的快速發展具有兩面性。一方面是該技術有創造性，能為影視制作、文娛創作、游戲制作、音樂工業等提供全新生產力，促進文化產業繁榮發展；另一方面是該技術具有破壞性，能快速廉價地實現以假亂真、移花接木、無中生有等特定訴求，為不法分子大開方便之門。

如能有效限制生成式AI技術的破壞性，更能有利于生成式AI技術的創造性發揮，在保障這一新生事物行穩致遠的同時，也能夠使之成為國家經濟增長中的新質生產力之一。為此，筆者建議從多個層次扎牢防范風險的籬笆。

在生成式AI大模型的開發過程中，監管機構應督促相關上市公司盡快設立兩類審查制度，切實管控好底層代碼和訓練樣本。

一類審查用于生成式AI大模型的底層代碼。對于從事生成式AI大模型的開發型企業，應在內部建立起對底層代碼審查制度，其底層代碼對監管機構及內部審查機構透明化可查閱，鼓勵頭部開發企業在底層代碼開源可見、主動對外披露方面多做工作。

一類審查用于生成式AI大模型的樣本訓練環節。對于從事生成式AI大模型的訓練型企業，應在內部建立對訓練樣本審查制度，其訓練樣本的來源、脫敏、數據清洗等關鍵環節應設置檢查點，從而避免敏感信息、個人信息被用于樣本訓練，進而生成深度偽造內容。

在生成式AI大模型的安裝及應用過程中，應盡快建立實名認證制度和指令鑒別機制。

通過建立實名認證制度，可確保安裝在個人計算機、服務器、手機、智能移動終端的生成式AI大模型客戶端與用戶實名捆綁，確定生成式AI大模型的指令發出人、指令接受人、內容流向清晰可見，在內容生成流程上實現可追溯、可監控、可預防。

通過建立指令鑒別機制，可在生成式AI大模型的客戶端就及時拒絕并剔除非法指令，提前鑒別出有明顯違法傾向性的提示詞指令，從而預防生成式AI大模型被用于深度偽造的不法目的。

在生成式AI大模型的內容傳播過程中，應建立標簽提示機制。標簽提示機制應安排在視頻、圖片、語音等關鍵位置上，提示受眾注意相關內容由生成式AI提供，確保受眾能分辨出生成式AI大模型的內容，以免出現視聽混淆、錯誤理解等。

對于生成式AI大模型的開發企業、發布商、硬件生產商及主要受眾群體應給予全面覆蓋的警示教育。監管機構應警惕生成式AI技術被用于深度偽造內容后，產生“造謠、信謠、傳謠”的連鎖反應，在網絡終端提前構建快速反應的輿情監控系統，確保實現“違法亂紀的勾當做不得，以假亂真的內容信不得，混淆黑白的消息傳不得”的理念深入人心。

對于銀行網點、快遞收發、電商、短視頻、直播等高頻率內容傳播環節，應督促相關上市公司按照分區負責、統一責任、統一管理的方式，安排專人宣講防范手段、危害重點和典型案例，營造全民防范深度偽造的社會氛圍。

責任編輯：方杰