【編者按】

2019年歐盟委員會人工智能高級專家組發(fā)布了《可信人工智能倫理指南》。該指南中包含了一份評估清單，以幫助評估正在開發(fā)、部署、采購或使用的人工智能系統(tǒng)是否符合指南中規(guī)定的“可信人工智能”的七項要求。2020年7月，最終版《可信人工智能自評估清單》發(fā)布，它為人工智能開發(fā)者、部署者、使用者提供了評估可信人工智能的初步方法，有助于推動可信人工智能七項要求的踐行和落實。

The Assessment List For Trustworthy Artificial Intelligence（ALTAI）

—— High Level Expert Group on Artificial Intelligence

可信人工智能自評估清單（ALTAI）

——歐盟委員會人工智能高級專家組

”

【目錄】

引言：如何使用可信人工智能評估清單

要求#1人類能動性和監(jiān)督

人類能動性和自主性

人類監(jiān)督

要求#2技術(shù)穩(wěn)健性和安全性

抵御攻擊和安全性

整體安全

準確度

可靠性、回溯計劃和可復(fù)現(xiàn)性

要求#3隱私和數(shù)據(jù)治理

隱私

數(shù)據(jù)治理

要求#4透明度

可追溯性

可解釋性

可溝通性

要求#5多樣性、非歧視和公平性

避免不公正的偏見

可及性和通用設(shè)計

利益相關(guān)者的參與

要求#6環(huán)境友好和社會福祉

實現(xiàn)環(huán)境友好

對工作和技能的影響

對全社會或民主的影響

要求#7問責制

可審核性

風(fēng)險管理

詞匯表

I

可信人工智能的倫理目標

本評估清單立足于對公民基本權(quán)利的保護。公民基本權(quán)利既包含人類尊嚴、非歧視等，也包含數(shù)據(jù)保護和隱私相關(guān)的權(quán)利。清單指出，在使用本評估清單對人工智能系統(tǒng)進行自我評估之前，應(yīng)先進行基本權(quán)利影響評估（FRIA），以確保人工智能的開發(fā)、部署和使用過程遵守人民基本權(quán)利、原則和價值觀。

II

實現(xiàn)可信人工智能的關(guān)鍵要求

01

人類能動性和監(jiān)督

AI系統(tǒng)應(yīng)該根據(jù)尊重人類自主權(quán)的原則，支持人類的能動性和人類的決策。這就要求AI系統(tǒng)做到以下兩點：通過支持用戶的能動性，成為民主、繁榮和公平社會的推動者；以人類監(jiān)督為支撐，維護公民的基本權(quán)利。

1.1人類能動性和自主性

AI系統(tǒng)在開發(fā)、部署和使用過程中應(yīng)當制定相應(yīng)措施以避免AI系統(tǒng)無意中干擾用戶決策，降低AI系統(tǒng)創(chuàng)造人類沉迷、操縱用戶行為的風(fēng)險。同時終端用戶和主體應(yīng)當始終被告知他們正在與AI系統(tǒng)而非人類互動，其應(yīng)當充分意識到某項決議和結(jié)果是算法決定的結(jié)果。

1.2人類監(jiān)督

人類應(yīng)有能力干預(yù)或監(jiān)督AI系統(tǒng)。監(jiān)督可以通過不同的管理機制來實現(xiàn)，包括決策監(jiān)督機制、設(shè)計監(jiān)督機制、整體監(jiān)督機制等方法。

02

技術(shù)穩(wěn)健性和安全性

實現(xiàn)可信AI系統(tǒng)的關(guān)鍵要素是其可靠性（提供可信賴服務(wù)的能力）和適應(yīng)力（面對變化時的穩(wěn)健性）。技術(shù)的穩(wěn)健性要求AI系統(tǒng)在開發(fā)過程中具備對風(fēng)險的預(yù)防性方法，并確保其行為可靠、符合預(yù)期、盡量減少并預(yù)防無意和意外傷害。

2.1抵御攻擊和安全性

人類應(yīng)當制定相應(yīng)措施以確保AI 系統(tǒng)的完整性、穩(wěn)健性和整體安全性以抵御其生命周期內(nèi)的潛在攻擊。攻擊切入點可能為數(shù)據(jù)，也可能為模型。同時，AI系統(tǒng)應(yīng)經(jīng)過網(wǎng)絡(luò)安全認證或符合特定的安全標準。

2.2整體安全

人類應(yīng)當對AI系統(tǒng)的可能威脅和風(fēng)險進行評估，并將結(jié)果告知終端用戶和主體，以確保AI系統(tǒng)不會對用戶造成傷害。

2.3準確度

準確度是AI系統(tǒng)的一個性能指標。低準確性可能會導(dǎo)致嚴重后果。人類應(yīng)當采取措施確保用于開發(fā)AI 系統(tǒng)的數(shù)據(jù)（包括訓(xùn)練數(shù)據(jù)）是最新的、高質(zhì)量的、完整的且能夠代表系統(tǒng)部署環(huán)境。同時，人類應(yīng)制定相關(guān)程序以保證用戶和系統(tǒng)之間的溝通準確度。

2.4可靠性和可復(fù)現(xiàn)性

人類應(yīng)當制定相應(yīng)程序確保AI 系統(tǒng)結(jié)果的可靠性和可重復(fù)性，并制定經(jīng)過測試的故障安全后備計劃以解決AI系統(tǒng)錯誤。

03

隱私和數(shù)據(jù)處理

隱私是人類的一項基本權(quán)利，尤其受到AI系統(tǒng)的影響。防止對隱私的傷害需要完善的數(shù)據(jù)治理。這其中包括所使用數(shù)據(jù)的質(zhì)量和完整性、數(shù)據(jù)與AI系統(tǒng)將被部署領(lǐng)域的相關(guān)性、數(shù)據(jù)的訪問協(xié)議和以保護隱私的方式處理數(shù)據(jù)的能力。

3.1隱私

AI系統(tǒng)應(yīng)當尊重人類人身完整的基本權(quán)利，這其中包括人的精神和身體完整。

3.2數(shù)據(jù)治理

AI系統(tǒng)對數(shù)據(jù)的收集、生成或處理應(yīng)當遵循相關(guān)的標準和協(xié)議，保護用戶的隱私和數(shù)據(jù)。

04

透明度

實現(xiàn)可信AI的一個重要因素是透明度，這其中包括可追溯性、可解釋性、關(guān)于AI系統(tǒng)局限性的公開交流。

4.1可追溯性

產(chǎn)生AI系統(tǒng)決策的數(shù)據(jù)和過程應(yīng)當?shù)玫竭m當?shù)挠涗浺杂脕碜匪荨２⑶覒?yīng)該增加透明度，最終在社會中建立對AI系統(tǒng)的信任。

4.2可解釋性

可解釋性即解釋AI系統(tǒng)的技術(shù)過程和決策過程。在可能的范圍內(nèi)，AI系統(tǒng)驅(qū)動下的決策必須向直接或間接受影響的人解釋并被他們理解，以便允許他們對決策產(chǎn)生質(zhì)疑。需要解釋的程度取決于背景和錯誤或不準確的輸出對人類生活影響的嚴重性。

4.3可溝通性

可溝通性要求AI系統(tǒng)的能力和局限以適合于現(xiàn)有慣例的方式傳達給用戶。在使用交互式AI系統(tǒng)（如聊天機器人、機器人律師）時用戶應(yīng)當被告知他們正在與AI系統(tǒng)而非人類交互。人類應(yīng)當建立相應(yīng)機制告知用戶AI系統(tǒng)所產(chǎn)生決策的目的、標準和限制。

05

多樣性、非歧視和公平性

5.1避免不公正的偏見

AI系統(tǒng)（無論用于訓(xùn)練還是操作）可能會受到無意識的歷史偏見、不完整和不良治理模式的影響。這種偏見的延續(xù)可能導(dǎo)致對某些群體或人的無意的直接偏見或歧視（以及間接偏見或歧視），從而加劇偏見和邊緣化。故意利用（消費者）偏見或從事不公平競爭，如通過串通和不透明的手段使價格同質(zhì)化，也會造成傷害。應(yīng)盡可能在收集階段消除可識別的和歧視性偏見。

5.2可及性和通用設(shè)計

尤其是在B2C（企業(yè)對消費者）領(lǐng)域，AI系統(tǒng)應(yīng)該以用戶為中心，其設(shè)計方式應(yīng)允許所有人使用AI產(chǎn)品或服務(wù)，無論人們的年齡、性別、能力或特征如何。尤為重要的一點是，各種社會群體中的殘障人士均有機會使用這種技術(shù)。

5.3利益相關(guān)者的參與

為開發(fā)可信人工智能，建議咨詢在整個生命周期內(nèi)可能直接或間接收到AI系統(tǒng)影響的利益相關(guān)者。同時在部署之后定期征求反饋，并為利益相關(guān)者建立長期的參與機制。

06

環(huán)境友好和社會福祉

應(yīng)鼓勵A(yù)I系統(tǒng)的可持續(xù)性和生態(tài)責任，利用AI維護和促進民主進程，造福人類，包括子孫后代。

6.1實現(xiàn)環(huán)境友好

AI系統(tǒng)即使被承諾用于幫助解決一些最緊迫的社會問題，如氣候變化，也必須以環(huán)境友好型方式發(fā)揮作用。AI系統(tǒng)的開發(fā)、部署和使用過程以及整個供應(yīng)鏈都應(yīng)進行此方面的評估。

6.2對工作和技能的影響

AI系統(tǒng)將會對人類工作和工作安排產(chǎn)生影響。人類應(yīng)采取措施確保AI系統(tǒng)對人類工作的影響得到充分理解，并積極應(yīng)對AI系統(tǒng)可能帶來的勞動力去技能化風(fēng)險。

6.3對全社會或民主的影響

人類在使用AI系統(tǒng)時應(yīng)當考慮將它對機構(gòu)、民主和全社會的影響。AI系統(tǒng)不得破壞民主進程、人類審議或民主投票制度，也不得對整個社會構(gòu)成系統(tǒng)性威脅。

07

問責制

應(yīng)建立可利用的問責機制，以確保對AI系統(tǒng)的開發(fā)、部署和/或使用負責并在發(fā)生不公正或不利影響時有充分的補救可能性。

7.1可審計性

內(nèi)部和外部審計者進行評估以及獲取上述評估記錄的可能性有助于構(gòu)建可信賴的AI系統(tǒng)。在影響基本權(quán)利的應(yīng)用中，包括對安全至關(guān)重要的應(yīng)用，AI系統(tǒng)應(yīng)該能夠被獨立審計。但這并不意味著和AI系統(tǒng)相關(guān)的商業(yè)模式和知識產(chǎn)權(quán)信息必須始終公開。

7.2風(fēng)險管理

識別、評估、記錄和盡量減少AI系統(tǒng)的潛在負面影響，對（直接）受影響的人來說至關(guān)重要。舉報人、非政府組織、工會或其他實體在報告對AI系統(tǒng)的合法關(guān)切時必須得到應(yīng)有的保護。實現(xiàn)上述需求時可能會有矛盾的產(chǎn)生，此時需要做出權(quán)衡。這種權(quán)衡應(yīng)在技術(shù)水平范圍內(nèi)以合理和有條理的方式來進行。