近日，科技部會同教育部、工業(yè)和信息化部、國家衛(wèi)健委等十部門聯(lián)合印發(fā)《科技倫理審查辦法（試行）》（以下簡稱《審查辦法》）?！秾彶檗k法》體現(xiàn)了科技向善的總體愿景，特別強(qiáng)調(diào)“遵循增進(jìn)人類福祉、尊重生命權(quán)利、堅持公平公正、合理控制風(fēng)險、保持公開透明”，反映出了科技促進(jìn)人類繁榮的理念。
人工智能賦能人類繁榮與社會發(fā)展，涉及到人的科技活動是人工智能倫理審查的重點(diǎn)。《審查辦法》指出，涉及以人為研究參與者的科技活動，包括以人為測試、調(diào)查、觀察等研究活動的對象，以及利用人類生物樣本、個人信息數(shù)據(jù)等的科技活動，都需要按照《審查辦法》給出的指引進(jìn)行科技倫理審查，以確保人的基本權(quán)利，個人信息得到充分保護(hù)，在必要情況下以知情同意為基礎(chǔ)合法合規(guī)地收集、分析與使用?！秾彶檗k法》指出，在生命健康、生態(tài)環(huán)境、公共秩序、可持續(xù)發(fā)展等方面，可能帶來倫理風(fēng)險挑戰(zhàn)的科技活動也需要進(jìn)行科技倫理審查，這些領(lǐng)域正是人工智能賦能社會發(fā)展的核心及關(guān)鍵領(lǐng)域，需要秉承促進(jìn)人類、社會、生態(tài)可持續(xù)發(fā)展的理念避免風(fēng)險，促進(jìn)創(chuàng)新。
科技倫理審查由一般程序、簡易程序、專家復(fù)核構(gòu)成相對完善的科技倫理審查體系。在一般程序、簡易程序的基礎(chǔ)上，專家復(fù)核相關(guān)領(lǐng)域可能存在科技倫理風(fēng)險，因此需重點(diǎn)關(guān)注。
針對需要開展專家復(fù)核的科技活動，《審查辦法》拉出清單，對人類主觀行為、心理情緒和生命健康等具有較強(qiáng)影響的人機(jī)融合系統(tǒng)的研發(fā)需要進(jìn)行專家復(fù)核。人機(jī)融合系統(tǒng)是人類智能與人工智能融合的復(fù)合智能體。其構(gòu)建目的一般是為了輔助和增強(qiáng)人類智能。人機(jī)融合系統(tǒng)雖然有輔助或增強(qiáng)人類執(zhí)行認(rèn)知任務(wù)的能力，但是也可能影響人類的自主性，從而影響到人類主觀行為，倫理審查中要特別關(guān)注人機(jī)融合系統(tǒng)對人類能動性、主觀行為產(chǎn)生的負(fù)面影響。人機(jī)融合系統(tǒng)還有可能對人類心理造成負(fù)面影響，例如影響人類情緒，使人產(chǎn)生對系統(tǒng)的依賴等。針對腦機(jī)接口等融合智能系統(tǒng)，倫理審查特別要注意其對人的心理或身體造成嚴(yán)重不良影響的可能性，如侵入式腦機(jī)接口技術(shù)的物理安全風(fēng)險，對腦組織的潛在負(fù)面影響等。此外，受限于目前人工智能模型的能力，侵入式、非侵入式腦機(jī)接口難以完全避免編解碼錯誤；模型涉及的個人數(shù)據(jù)安全、可解釋性、可靠性；對人類能動性與自由意志的負(fù)面影響；應(yīng)用層面是否會對社會公平帶來挑戰(zhàn)等倫理風(fēng)險均需在專家復(fù)核階段開展進(jìn)一步審查。
該清單同時指出，具有輿論社會動員能力和社會意識引導(dǎo)能力的算法模型、應(yīng)用程序及系統(tǒng)的研發(fā)需進(jìn)行專家復(fù)核。原因在于具有輿論社會動員能力和社會意識引導(dǎo)能力的算法模型與服務(wù)可能會被用于歪曲或形成負(fù)面價值導(dǎo)向，擾亂社會安全與社會秩序，帶來不良社會影響。這類研發(fā)任務(wù)需要按照國家互聯(lián)網(wǎng)信息辦公室等四部門聯(lián)合發(fā)布的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》等相關(guān)要求實(shí)施分級分類安全管理，特別是需要防止相關(guān)算法、應(yīng)用程序與系統(tǒng)在沒有合理安全監(jiān)管情況下的擴(kuò)散和潛在濫用與惡意使用。
針對人工智能領(lǐng)域，該清單同時指出，面向存在安全、人身健康風(fēng)險等場景的具有高度自主能力的自動化決策系統(tǒng)的研發(fā)需要進(jìn)行專家復(fù)核。具有高度自主能力的自動化決策系統(tǒng)指基本或完全不需要人類干預(yù)的自動化智能決策系統(tǒng)。由于目前的人工智能系統(tǒng)仍然是看似智能的信息處理系統(tǒng)，并不具備人類水平的理解能力，因此在關(guān)鍵和高風(fēng)險等領(lǐng)域不能代替人類決策，且必須確保充分、有效的人類控制，人類是最終的責(zé)任主體，這是國際共識。如聯(lián)合國教科文組織發(fā)布的《人工智能倫理建議書》中規(guī)定，在某些情況下，出于效率性的考慮，人類有時選擇依賴人工智能系統(tǒng)，但是否在有限情形下出讓控制權(quán)依然要由人類來決定，這是由于人類在決策和行動上可以借助人工智能系統(tǒng)，但人工智能系統(tǒng)無法取代人類承擔(dān)最終責(zé)任?？傮w而言，涉及生死抉擇的情況，不應(yīng)任由人工智能系統(tǒng)決定。脫離充分和有效人類控制的高度自主、自動化決策系統(tǒng)既導(dǎo)致人類失去決策自主性，又剝奪了人機(jī)協(xié)同系統(tǒng)中人類應(yīng)當(dāng)承擔(dān)的責(zé)任與義務(wù)，最終極有可能對人類身心健康乃至生命造成重大傷害，此類風(fēng)險都是要在專家復(fù)核階段進(jìn)行嚴(yán)格審查與研判的。對于可能給身心健康、生命帶來安全隱患的高度自主人工智能系統(tǒng)應(yīng)不予通過并明令禁止。
人工智能科技倫理審查，相關(guān)法律是底線，《審查辦法》是指導(dǎo)原則和依據(jù)。然而，隨著人工智能技術(shù)的發(fā)展，有可能在科技倫理方面出現(xiàn)新情況、新挑戰(zhàn)。相關(guān)管理、審查部門、執(zhí)行部門應(yīng)與科研工作者等相關(guān)方深度協(xié)同，與時俱進(jìn)，適時完善《審查辦法》，真正實(shí)現(xiàn)人工智能科學(xué)與技術(shù)的可持續(xù)、向善發(fā)展，打造以人為本，負(fù)責(zé)任的、對人類和生態(tài)有益的人工智能。
（作者曾毅 系中國科學(xué)院自動化研究所人工智能倫理與治理中心主任、中國科學(xué)院科技倫理委員會信息技術(shù)與人工智能分委會主任）