全球兩大核心AI監(jiān)管規(guī)則同步落地 行業(yè)發(fā)展迎來明確新方向
本文來自微信公眾號(hào):格隆,作者:城北徐公
站在未來回望AI發(fā)展歷程,2026年5月3日注定會(huì)被記入行業(yè)史冊(cè):
歐盟正式版《人工智能法案》、中國(guó)《生成式人工智能服務(wù)管理暫行辦法(倫理審查修訂版)》在同一天正式對(duì)外公布。
全球兩大核心經(jīng)濟(jì)體不約而同對(duì)快速發(fā)展的AI行業(yè)立下明確規(guī)則,給此前野蠻生長(zhǎng)的行業(yè)套上了清晰的規(guī)范框架。
兩份規(guī)則的核心監(jiān)管思路,相似度極高。
01
兩份監(jiān)管文件的監(jiān)管邏輯,在三個(gè)核心方向高度統(tǒng)一。
1.明確禁止性應(yīng)用邊界
禁止使用AI對(duì)個(gè)人進(jìn)行社會(huì)信用、道德層面的打分,并以此為依據(jù)限制個(gè)人貸款、出行公共服務(wù)等權(quán)益。
類似《黑鏡》中評(píng)分過低就被社會(huì)排斥的場(chǎng)景,直接從規(guī)則層面被杜絕。
禁止深度偽造技術(shù)被濫用。
比如2024年美國(guó)大選時(shí),新罕布什爾州選民接到AI合成的拜登語音,勸說選民放棄投票的事件,放在現(xiàn)在就屬于明確違規(guī)行為。
在沒有明確標(biāo)注且獲得授權(quán)的情況下,使用AI換臉、語音合成實(shí)施詐騙、操縱政治、抹黑他人,都屬于嚴(yán)重違規(guī)違法行為。
同時(shí)禁止AI批量生成虛假信息,制造假新聞?wù)`導(dǎo)公眾。

2.高風(fēng)險(xiǎn)應(yīng)用場(chǎng)景的硬性要求
簡(jiǎn)單來說,AI輸出必須清晰可理解,應(yīng)用必須有對(duì)應(yīng)的人類負(fù)責(zé)人。
尤其是醫(yī)療、教育、司法這三個(gè)和公眾利益息息相關(guān)的領(lǐng)域,規(guī)則提出了非常嚴(yán)格的要求:強(qiáng)制要求AI決策可解釋,并且必須有人類做最終監(jiān)督。
什么是強(qiáng)制可解釋性?
目前常用的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)本身屬于“黑箱模型”,很多時(shí)候只能輸出結(jié)果,沒法說清推理邏輯。
比如AI給病人診斷,直接得出肺癌的結(jié)論,醫(yī)生問為什么得出這個(gè)結(jié)果,AI只能給出一堆專業(yè)參數(shù),沒人能看懂。
未來這種情況是絕對(duì)不允許的。
AI必須用人類能理解的邏輯說明,自己看到了哪些特征、符合哪些診斷標(biāo)準(zhǔn),才得出對(duì)應(yīng)的結(jié)論。
人類監(jiān)督很好理解:不管是AI輔助判案、輔助手術(shù)還是自動(dòng)批改試卷,最終做確認(rèn)、拍板的必須是人類,AI只有輔助執(zhí)行的權(quán)限,沒有最終決定權(quán)。
3.大模型必須滿足透明度要求
第一個(gè)要求,是訓(xùn)練數(shù)據(jù)必須能做版權(quán)溯源。
過去幾年很多AI創(chuàng)業(yè)者直接從互聯(lián)網(wǎng)無差別爬取數(shù)據(jù)訓(xùn)練模型,相當(dāng)于免費(fèi)使用他人內(nèi)容訓(xùn)練自己的產(chǎn)品,現(xiàn)在這條路走不通了,必須明確說明訓(xùn)練數(shù)據(jù)的來源,證明所有數(shù)據(jù)都拿到了合法授權(quán)。
第二個(gè)要求,必須提交完整的安全評(píng)估報(bào)告。
大模型上線之前,必須完成紅藍(lán)對(duì)抗形式的安全測(cè)試,出具完整詳實(shí)的安全評(píng)估報(bào)告才能準(zhǔn)入。
怎么才算達(dá)標(biāo)?
比方說,機(jī)構(gòu)需要專門安排測(cè)試人員,想盡辦法誘導(dǎo)AI說出制造危險(xiǎn)物品的方法,如果AI始終堅(jiān)守安全底線不輸出違規(guī)內(nèi)容,才能證明自身安全性符合要求。
只有通過安全測(cè)試的模型,才能正式進(jìn)入市場(chǎng)商用。

以上這些要求,如果違反,懲罰力度都非常大。
歐盟《人工智能法案》明確規(guī)定,違反禁止類AI應(yīng)用規(guī)則,最高會(huì)被處以3500萬歐元,或者企業(yè)上一財(cái)年全球總營(yíng)業(yè)額7%的罰款,兩個(gè)標(biāo)準(zhǔn)取金額更高的那個(gè)執(zhí)行。哪怕是全球最嚴(yán)格的隱私法規(guī)GDPR,最高罰款也只到全球營(yíng)業(yè)額的4%,可見這次AI監(jiān)管的處罰力度。
國(guó)內(nèi)的規(guī)則雖然表述相對(duì)溫和,但落地執(zhí)行的管控力度更強(qiáng)。
國(guó)內(nèi)規(guī)則明確禁止個(gè)人社會(huì)評(píng)分、無授權(quán)深度偽造人臉語音、全自動(dòng)生成虛假輿情信息,機(jī)構(gòu)違規(guī)最高罰款1000萬元,直接責(zé)任人最高處罰50萬元,還可以同時(shí)處以行業(yè)禁入。
針對(duì)醫(yī)療輔助診斷、校園智能考評(píng)、司法智能研判這三類高風(fēng)險(xiǎn)AI產(chǎn)品,上市之前必須完成倫理審查備案,不備案就不能上市,違規(guī)的會(huì)被要求停產(chǎn)整改,取消所有行業(yè)補(bǔ)貼,6個(gè)月內(nèi)禁止申報(bào)任何AI科創(chuàng)項(xiàng)目。
針對(duì)國(guó)內(nèi)大模型企業(yè),要求必須完成訓(xùn)練數(shù)據(jù)集的合規(guī)標(biāo)注,標(biāo)注覆蓋率不能低于92%,開源模型必須公開完整的數(shù)據(jù)來源清單。
從2026年第四季度開始,沒有完成版權(quán)溯源的大模型,禁止繼續(xù)商業(yè)化迭代升級(jí)。
比起罰款,暫停API服務(wù)、下架應(yīng)用、吊銷算法備案這些處罰,對(duì)企業(yè)的影響要大得多。
監(jiān)管這么嚴(yán)格,AI技術(shù)的發(fā)展會(huì)不會(huì)因此放慢腳步?
02
答案是不會(huì)。
但會(huì)推動(dòng)行業(yè)發(fā)展方向調(diào)整。
根據(jù)Gartner發(fā)布的新興技術(shù)成熟度曲線,生成式AI其實(shí)早就度過了資本追捧的期望膨脹期,正在進(jìn)入看重實(shí)際投資回報(bào)的成熟發(fā)展階段。
當(dāng)炒作的熱度退去,企業(yè)關(guān)注的重點(diǎn)自然會(huì)從“AI能力有多強(qiáng)”轉(zhuǎn)變成“AI應(yīng)用是不是足夠安全合規(guī)”。
而規(guī)范行業(yè)發(fā)展,必須依靠強(qiáng)監(jiān)管才能實(shí)現(xiàn)。

在監(jiān)管落地之后,AI研發(fā)的重心已經(jīng)開始轉(zhuǎn)移。
1.從單純追求參數(shù)規(guī)模,轉(zhuǎn)向更重視RAG檢索增強(qiáng)生成技術(shù)
之前所有AI廠商都在比拼參數(shù)大小,比拼誰的模型能記住更多全球知識(shí),但這種發(fā)展路徑帶來了很嚴(yán)重的AI幻覺問題,模型也完全不透明。
未來,大參數(shù)模型依然有發(fā)展空間,但只會(huì)是少數(shù)頭部科技巨頭的賽道,RAG技術(shù)才是企業(yè)級(jí)AI應(yīng)用的標(biāo)準(zhǔn)配置。
RAG的邏輯很簡(jiǎn)單:要求AI不能隨意編造內(nèi)容,需要先從企業(yè)指定的、已經(jīng)完成版權(quán)清理的合規(guī)內(nèi)部數(shù)據(jù)庫中檢索資料,再根據(jù)檢索到的真實(shí)內(nèi)容輸出總結(jié)結(jié)果。
這樣一來,AI輸出的每一句話都能找到對(duì)應(yīng)的原始文檔出處,完全符合監(jiān)管規(guī)則對(duì)透明度和可解釋性的要求。
2.模型對(duì)齊與安全成為研發(fā)核心
打個(gè)比方來說,之前給大模型做基于人類反饋的強(qiáng)化學(xué)習(xí),更像是給AI請(qǐng)了一個(gè)教它禮儀的老師,沒有從根本上改變AI的底層邏輯。
現(xiàn)在有了嚴(yán)格的安全評(píng)估要求,AI需要的不是指導(dǎo),而是必須遵守的剛性規(guī)則。
Anthropic提出的憲法AI理念一定會(huì)被行業(yè)廣泛采用,未來大模型在設(shè)計(jì)之初,就需要把不生成違規(guī)內(nèi)容、不歧視特定群體這些安全原則,硬編碼到模型的損失函數(shù)中,從底層約束AI的輸出。
3.隱私計(jì)算技術(shù)會(huì)快速崛起
既然不允許隨意爬取數(shù)據(jù),又要求保護(hù)高風(fēng)險(xiǎn)場(chǎng)景下的用戶隱私,該怎么解決這個(gè)矛盾?
聯(lián)邦學(xué)習(xí)和差分隱私這些隱私計(jì)算技術(shù),一定會(huì)成為行業(yè)剛需。
比如多家醫(yī)院想要聯(lián)合訓(xùn)練醫(yī)療AI模型,但又不能交換共享病人的隱私數(shù)據(jù),這時(shí)候聯(lián)邦學(xué)習(xí)就能實(shí)現(xiàn)“數(shù)據(jù)可用不可見”:模型可以在每家醫(yī)院的本地服務(wù)器上分別訓(xùn)練,最終只匯總共享模型參數(shù),不需要傳輸原始的病人隱私數(shù)據(jù)。
這類幫助企業(yè)滿足合規(guī)要求的技術(shù),一定會(huì)成為資本追逐的新熱點(diǎn)。
換句話說,整個(gè)AI行業(yè)的格局很快就會(huì)發(fā)生明顯變化。

先說新規(guī)之下的受益者。
最大的受益者,是現(xiàn)在已經(jīng)布局AI的頭部科技大廠。
行業(yè)里有個(gè)說法叫“監(jiān)管護(hù)城河”,滿足合規(guī)要求需要付出很高的成本:要梳理訓(xùn)練數(shù)據(jù)做版權(quán)溯源、要養(yǎng)活上百人的安全評(píng)估團(tuán)隊(duì)……這些硬性門檻,直接把絕大多數(shù)想要做基礎(chǔ)大模型的中小創(chuàng)業(yè)公司攔在了門外。
頭部巨頭有充足的資金和專業(yè)的法務(wù)團(tuán)隊(duì),能輕松跨過這些門檻,合規(guī)要求反而成了巨頭阻擋競(jìng)爭(zhēng)對(duì)手的最寬護(hù)城河。
其次受益的是To B企業(yè)服務(wù)軟件巨頭,還有AI合規(guī)工具開發(fā)商。
根據(jù)麥肯錫發(fā)布的報(bào)告,生成式AI每年可以給全球經(jīng)濟(jì)創(chuàng)造2.6萬億到4.4萬億美元的價(jià)值,這塊市場(chǎng)不會(huì)因?yàn)楸O(jiān)管消失,只會(huì)更快向企業(yè)服務(wù)市場(chǎng)轉(zhuǎn)移。
企業(yè)客戶最怕的就是違規(guī)罰款、聲譽(yù)受損,所以能提供開箱即用、完全合規(guī)、自帶可解釋性的AI企業(yè)服務(wù)公司,還有做AI水印、深度偽造檢測(cè)、AI合規(guī)審計(jì)的SaaS公司,接下來大概率會(huì)迎來業(yè)績(jī)的高速增長(zhǎng)。

再看新規(guī)之下受影響的群體。
只做套殼的創(chuàng)業(yè)公司首當(dāng)其沖。
這幾年市場(chǎng)上出現(xiàn)了成千上萬的AI創(chuàng)業(yè)公司,只是調(diào)用大廠的API,套一個(gè)界面就出來融資,根本沒有自己的核心技術(shù)。
現(xiàn)在新規(guī)要求高風(fēng)險(xiǎn)場(chǎng)景必須滿足可解釋性和透明度要求,這些套殼公司根本接觸不到底層模型參數(shù),也拿不出訓(xùn)練數(shù)據(jù)的來源證明,客戶要安全評(píng)估報(bào)告的時(shí)候根本拿不出來,最終大概率會(huì)批量出清。
然后是之前野蠻生長(zhǎng)的開源社區(qū)。
新規(guī)對(duì)透明度的要求對(duì)所有模型一視同仁,如果你開源了一個(gè)大模型,被別人拿去做詐騙,或者你的訓(xùn)練數(shù)據(jù)里有大量未授權(quán)的版權(quán)內(nèi)容,開源作者要不要承擔(dān)連帶責(zé)任?
雖然新規(guī)對(duì)純科研用途的項(xiàng)目有一定豁免,但很多游走在商業(yè)化邊緣的開源項(xiàng)目,會(huì)面臨很大的法律風(fēng)險(xiǎn)。
未來開源模型的發(fā)布一定會(huì)變得更謹(jǐn)慎,過去那種隨便把代碼扔到GitHub就不管的時(shí)代已經(jīng)結(jié)束了。
03
看到這里我們可以得出結(jié)論:
強(qiáng)監(jiān)管落地,不是AI創(chuàng)新的終點(diǎn),反而會(huì)開啟AI真正大規(guī)模商業(yè)化落地的新階段。
市場(chǎng)最害怕的就是不確定性,監(jiān)管落地之前,企業(yè)想用AI又不敢大膽用,就怕不小心踩了紅線惹上官司。
現(xiàn)在規(guī)則明確了,禁區(qū)劃清楚了,企業(yè)反而可以放開手腳,在合規(guī)框架內(nèi)投入預(yù)算采購(gòu)AI服務(wù)。
所以說,AI技術(shù)的發(fā)展不會(huì)因?yàn)楸O(jiān)管放緩,只會(huì)在企業(yè)服務(wù)市場(chǎng)迎來更扎實(shí)、更穩(wěn)健的增長(zhǎng)。
只有給AI明確規(guī)則,讓AI學(xué)會(huì)守住底線,才能讓AI真正安全地走進(jìn)每個(gè)人的生活。
本文僅代表作者觀點(diǎn),版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com







