2015年，一名憂心忡忡的父親問(wèn)了Rhema Vaithianathan一個(gè)問(wèn)題，這個(gè)問(wèn)題至今依然縈繞在她的記憶里。當(dāng)時(shí)，一小群人聚集在美國(guó)賓夕法尼亞州匹茲堡的一個(gè)地下室內(nèi)，聽(tīng)她講軟件如何解決虐待兒童的問(wèn)題。該區(qū)域的熱線每一天都會(huì)接聽(tīng)到數(shù)十個(gè)電話，指稱懷疑有兒童處于危險(xiǎn)中；其中一些電話被呼叫中心的工作人員標(biāo)記為要調(diào)查的對(duì)象。但該系統(tǒng)并不能發(fā)現(xiàn)所有虐待兒童的案例。Vaithianathan和同事剛剛獲得了一份50萬(wàn)美元的合同，以創(chuàng)建幫助解決這個(gè)問(wèn)題的算法。

新西蘭奧克蘭理工大學(xué)社會(huì)數(shù)據(jù)分析中心聯(lián)席主管、健康經(jīng)濟(jì)學(xué)家Vaithianathan告訴聽(tīng)眾，該算法會(huì)如何工作。例如，一個(gè)包括家庭背景和犯罪記錄的經(jīng)過(guò)大量數(shù)據(jù)訓(xùn)練的工具，可以在來(lái)電時(shí)產(chǎn)生風(fēng)險(xiǎn)分?jǐn)?shù)。這或有助于讓篩選人員對(duì)應(yīng)該調(diào)查哪些家庭作出標(biāo)記。

在Vaithianathan請(qǐng)聽(tīng)眾提問(wèn)后，這位父親站起來(lái)發(fā)言。他說(shuō)自己曾與毒癮作斗爭(zhēng)，過(guò)去社會(huì)工作者曾把他的孩子從家里帶走。但他已經(jīng)有很長(zhǎng)時(shí)間不再吸毒。如果用一臺(tái)電腦評(píng)估他的檔案，他為改變自己的生活所作的努力會(huì)毫無(wú)意義嗎？換句話說(shuō)：算法會(huì)不公平地評(píng)判他嗎？

Vaithianathan向他保證，會(huì)有人一直參與其中，所以他的努力不會(huì)被忽視。但現(xiàn)在自動(dòng)化工具已經(jīng)部署完畢，她仍在考慮這位父親的問(wèn)題。 計(jì)算機(jī)算法越來(lái)越多地被用于指導(dǎo)可能改變生活的決定，包括在被指控犯罪后拘留哪些人，應(yīng)該調(diào)查哪些家庭潛在的虐待兒童問(wèn)題，以及被稱為“預(yù)測(cè)性警務(wù)”的趨勢(shì)，如警察應(yīng)該關(guān)注哪些社區(qū)。這些工具被認(rèn)為可以讓決策更加一致、準(zhǔn)確和嚴(yán)謹(jǐn)。但2016年，美國(guó)記者稱，一個(gè)用于評(píng)估未來(lái)犯罪活動(dòng)風(fēng)險(xiǎn)的系統(tǒng)會(huì)歧視黑人被告。其潛在不公平性正在引起警惕。且監(jiān)管是有限的：沒(méi)有人知道該類工具有多少正在被使用。

公平交易

2016年5月，美國(guó)新聞網(wǎng)站ProPublica的記者報(bào)道了佛羅里達(dá)州布勞沃德縣的法官使用商業(yè)軟件，幫助決定被指控犯罪的人在審判前是否應(yīng)該從監(jiān)獄中釋放出來(lái)。記者報(bào)道稱，該軟件對(duì)黑人被告存在偏見(jiàn)。這個(gè)名為COMPAS的工具產(chǎn)生的分?jǐn)?shù)旨在衡量一個(gè)人釋放后在兩年內(nèi)再次犯罪的可能性。

ProPublica團(tuán)隊(duì)調(diào)查了數(shù)千名被告的COMPAS分?jǐn)?shù)，這些是他們通過(guò)公共記錄請(qǐng)求獲得的。對(duì)比黑人和白人被告后，記者發(fā)現(xiàn)一定比例的黑人被告是“假陽(yáng)性”：他們被COMPAS列為高風(fēng)險(xiǎn)，但隨后未被指控另一項(xiàng)罪行。

該算法的開(kāi)發(fā)者是密歇根州的一家名為Northpointe（即現(xiàn)在俄亥俄州坎頓市的Equivant）的公司。該公司稱，COMPAS還擅長(zhǎng)預(yù)測(cè)被列為高風(fēng)險(xiǎn)的白人或黑人被告是否會(huì)再次犯罪。匹茲堡卡內(nèi)基梅隆大學(xué)統(tǒng)計(jì)學(xué)家Alexandra Chouldechova很快發(fā)現(xiàn)Northpointe與ProPublica衡量公平的標(biāo)準(zhǔn)存在沖突。預(yù)測(cè)奇偶性、相同的假陽(yáng)性錯(cuò)誤率和相同的假陰性錯(cuò)誤率都是達(dá)到“公平”的方式，但如果兩個(gè)群體之間存在差異，那么在統(tǒng)計(jì)上就是不可能調(diào)和的，比如白人和黑人再次被捕的比率。“你不可能兼而有之。如果你想在一個(gè)方面做到公平，那么在另一種聽(tīng)起來(lái)合理的定義下，你必然是不公平的。”英國(guó)倫敦大學(xué)學(xué)院負(fù)責(zé)機(jī)器學(xué)習(xí)的研究人員Michael Veale說(shuō)。

實(shí)際上，從數(shù)學(xué)角度看，對(duì)公平的定義還有更多的方式：在今年2月的一次會(huì)議上，計(jì)算機(jī)科學(xué)家Arvind Narayanan作了一場(chǎng)題為《21個(gè)公平定義及其政治性》的報(bào)告，他指出，還有其他定義公平的方式。包括Chouldechova在內(nèi)的一些研究人員對(duì)ProPublica案例進(jìn)行了研究，他們表示尚不清楚不平等的錯(cuò)誤率是否表明存在偏見(jiàn)。斯坦福大學(xué)計(jì)算機(jī)科學(xué)家Sharad Goel說(shuō)，它們反映了一個(gè)事實(shí)，即一個(gè)群體比另一個(gè)群體更難預(yù)測(cè)。“事實(shí)證明，它或多或少是一種統(tǒng)計(jì)學(xué)上的人為現(xiàn)象。”

雖然統(tǒng)計(jì)上的不平衡是一個(gè)問(wèn)題，但算法中潛藏著更深層次的不公平，而且它們可能會(huì)加劇社會(huì)不公。例如，COMPAS之類的算法可能會(huì)聲稱，它們可以預(yù)測(cè)未來(lái)犯罪活動(dòng)的可能性，但它只能依賴可測(cè)量的代表，比如被捕。而警務(wù)實(shí)踐的變化意味著一些社區(qū)可能不相稱地被列為攻擊目標(biāo)，人們可能會(huì)因?yàn)樵谄渌鐓^(qū)可以被忽視的罪行而被捕。“即使我們準(zhǔn)確地預(yù)測(cè)了一些事情，準(zhǔn)確預(yù)測(cè)的事情也可能是強(qiáng)加的不公正。”華盛頓特區(qū)非營(yíng)利性社會(huì)正義組織Upturn的行政主任David Robinson說(shuō)。很多時(shí)候它會(huì)取決于法官在多大程度上依賴這種算法作出決定，而人們對(duì)此知之甚少。

透明度與局限性

盡管一些機(jī)構(gòu)建立了自己的工具或是使用商業(yè)軟件，但學(xué)術(shù)界發(fā)現(xiàn)自己依然對(duì)公共部門的算法有需求。人們對(duì)提高透明度的要求很高。紐約大學(xué)人工智能社會(huì)影響研究中心“現(xiàn)在AI研究所”共同創(chuàng)始人Kate Crawford說(shuō)，當(dāng)算法是“封閉的環(huán)，不允許算法檢查、評(píng)估或公開(kāi)辯論”時(shí)，通常會(huì)加劇問(wèn)題。但目前尚不清楚如何才能讓算法更加開(kāi)放。伊利諾伊州芝加哥大學(xué)數(shù)據(jù)科學(xué)和公共政策中心主任Rayid Ghani說(shuō)，僅僅公布一個(gè)模型的所有參數(shù)并不能提供它如何運(yùn)作的更多信息。透明度還可能與保護(hù)隱私相沖突。在某些情況下，披露太多關(guān)于算法如何運(yùn)行的信息可能會(huì)讓人們挑戰(zhàn)該系統(tǒng)。

Goel說(shuō)，問(wèn)責(zé)制面臨的一大障礙是，各機(jī)構(gòu)往往會(huì)不收集有關(guān)工具的使用情況或表現(xiàn)的相關(guān)數(shù)據(jù)。“很多時(shí)候沒(méi)有透明度，因?yàn)闆](méi)有什么可分享的。”例如，加州立法機(jī)構(gòu)有一項(xiàng)草案呼吁使用風(fēng)險(xiǎn)評(píng)估工具，以幫助減少被告支付保釋金的頻率，這種做法因存在處罰低收入被告的情況而受到批評(píng)。Goel希望該法案強(qiáng)制規(guī)定，在法官與該工具存在異議的情況下，收集每個(gè)案件的具體細(xì)節(jié)（包括結(jié)果）等信息。他說(shuō)：“我們的目標(biāo)是在維護(hù)公共安全的同時(shí)，從根本上減少監(jiān)禁，所以我們必須知道這樣做是否有效。”

許多人希望法律能夠推動(dòng)這些目標(biāo)。紐約伊薩卡康奈爾大學(xué)人工智能倫理和政策問(wèn)題研究員Solon Barocas說(shuō)，這是有先例的。在美國(guó)，一些消費(fèi)者保護(hù)規(guī)定允許公民在對(duì)其信用作出不利判決時(shí)作出解釋。Veale說(shuō)，在法國(guó)，早在20世紀(jì)70年代就有立法賦予公民解釋的權(quán)利以及對(duì)自動(dòng)決策提出異議的能力。

最大的考驗(yàn)將是5月25日生效的歐洲《通用數(shù)據(jù)保護(hù)條例》（GDPR）。一些條款似乎促進(jìn)了算法問(wèn)責(zé)制。但英國(guó)牛津互聯(lián)網(wǎng)研究所數(shù)據(jù)倫理學(xué)家Brent Mittelstadt表示，GDPR實(shí)際上可能會(huì)為那些希望評(píng)估公平的人設(shè)立一個(gè)“法律雷區(qū)”，從而阻礙它的發(fā)展。測(cè)試一種算法是否在某些方面存在偏差的最佳方法需要了解進(jìn)入系統(tǒng)的人員的相關(guān)屬性，例如它是否會(huì)傾向于一個(gè)種族而非另一個(gè)。

審計(jì)算式

與此同時(shí)，研究人員正在推進(jìn)尚未公開(kāi)接受公眾監(jiān)督的算法偏差的策略檢測(cè)。Barocas說(shuō)，企業(yè)可能不愿討論它們?nèi)绾谓鉀Q公平的問(wèn)題，因?yàn)檫@意味著它們要承認(rèn)一開(kāi)始就存在問(wèn)題。他說(shuō)，即使它們這樣做了，其行動(dòng)只可能改善但不會(huì)消除偏見(jiàn)。“因此，任何有關(guān)這一問(wèn)題的公開(kāi)聲明，都不可避免地承認(rèn)問(wèn)題依然存在。”最近幾個(gè)月，微軟和臉譜網(wǎng)都宣布開(kāi)發(fā)檢測(cè)偏見(jiàn)的工具。

一些研究人員已經(jīng)開(kāi)始呼吁在刑事司法應(yīng)用和其他領(lǐng)域后退一步，不再局限于建立預(yù)測(cè)性的算法。例如，一個(gè)工具或可很好地預(yù)測(cè)誰(shuí)不會(huì)出庭。但最好應(yīng)該問(wèn)人們?yōu)槭裁床怀鐾ィ蛟S還可以設(shè)計(jì)出一些干預(yù)措施，比如短信提醒或交通援助，這些措施可能會(huì)提高人們的出庭率。“這些工具通常可幫助我們修補(bǔ)邊緣問(wèn)題，但我們需要的是徹底改變。”民權(quán)律師、紐約大學(xué)法學(xué)院種族正義倡導(dǎo)者Vincent Southerland說(shuō)。他表示，這也就是說(shuō)，圍繞算法的激烈辯論“迫使我們所有人去詢問(wèn)并回答關(guān)于我們所使用的系統(tǒng)及其運(yùn)作方式的真正棘手的基本問(wèn)題”。

Vaithianathan看到了構(gòu)建更好算法的價(jià)值，即使它們嵌入的總體系統(tǒng)是有缺陷的。“也就是說(shuō)，算法不能被直升機(jī)空投到這些復(fù)雜的系統(tǒng)中。”她說(shuō)，“它們必須在了解更廣泛背景的人的幫助下運(yùn)行。”但即便是最好的算法也會(huì)面臨挑戰(zhàn)，因此在缺乏直接答案和完美解決方案的情況下，透明度是最好的策略。“我總是說(shuō)，如果你不可能是對(duì)的，那就誠(chéng)實(shí)點(diǎn)。”（晉楠編譯）

摘自《中國(guó)科學(xué)報(bào)》