我們生活在算法的時代。我們?nèi)ツ膫學(xué)校上學(xué),是否能夠獲得車貸、需要為健康保險支付多少錢,這些對我們的生活有著重大影響的決定越來越由不得人類自己,而是被各種數(shù)學(xué)模型所操控。從理論上來說,模型可以更好地促進(jìn)公平,因為每個人適用于同等的規(guī)則,不存在偏袒。
但凱西?奧尼爾這本迫切而且必要的書卻告訴我們,事實剛好相反。如今,被廣泛使用的算法模型,即使其本身充斥著錯誤,也依舊不受管束、不被質(zhì)疑。其中,“強化歧視”的問題特別值得反思:如果一個窮學(xué)生因為被借貸模型認(rèn)定為風(fēng)險過高(僅僅是根據(jù)該學(xué)生所生活的街區(qū)就得出此判斷)而貸不了款,那么接下來,他就會被剝奪能夠幫他擺脫貧困的接受優(yōu)質(zhì)教育機會,繼而陷入一系列的惡性循環(huán)。
通過追蹤一個人的生命軌跡,凱西?奧尼爾試圖在書中揭露數(shù)學(xué)殺傷性武器對塑造個人和社會未來的影響。這些數(shù)學(xué)殺傷性武器給教師和學(xué)生評分,篩選簡歷,批準(zhǔn)貸款或拒絕貸款,評估員工,甚至監(jiān)督我們的健康狀況,因此凱西?奧尼爾呼吁建模者,要對自己的算法承擔(dān)更多責(zé)任,并且呼吁政策制定者對模型的使用進(jìn)行監(jiān)督管理。她指出,對模型的掌控最終取決于我們自己。這本重要的書迫使我們直面問題,揭示真理,要求改變。
大學(xué)排名和身體質(zhì)量指數(shù)(BMI)竟然是一場騙局?
? 在數(shù)據(jù)經(jīng)濟(jì)時代,我們不僅是數(shù)據(jù)巨頭的用戶,也成為它們的商品?
? 為什么說“一般人公式”會帶來更多的間接損害與不公?
? 數(shù)據(jù)安全和數(shù)據(jù)正義該如何維護(hù)?
未來20年,算法和大數(shù)據(jù)將席卷世界,接管我們的生活、社會和經(jīng)濟(jì)。我們生活中的很多方面都將落入自動化的數(shù)據(jù)分析之下。確保算法和大數(shù)據(jù)的公平性將是一項重大的任務(wù),數(shù)據(jù)倫理的價值和意義將不斷凸顯出來。在這本書的作者凱西?奧尼爾看來,黑盒里,大數(shù)據(jù)的規(guī)模、傷害和隱秘共存,她在書中引用了大量發(fā)生在美國當(dāng)下的、基于大數(shù)據(jù)和算法的、改變個人生活的案例,并對影響這些城市生活經(jīng)驗的算法做了特別的觀察和研究。作者認(rèn)為,數(shù)據(jù)和算法的關(guān)系就像槍械和軍火,數(shù)據(jù)沒有價值觀,是中立的,但來自人類行為的輸入,難免隱含偏向,而算法創(chuàng)造的數(shù)據(jù)又對人類行為產(chǎn)生反作用,從而導(dǎo)致更多的不公。凱西在書中指出:算法模型一旦運轉(zhuǎn),執(zhí)法行為就會增多,產(chǎn)生的新數(shù)據(jù)又會進(jìn)一步證明加強執(zhí)法的必要性。形象地說,就是哪里“前科”越多,哪里就越受算法“關(guān)照”,最終形成一個失真甚至有害的回環(huán)。因此,建模者應(yīng)該對自己的算法承擔(dān)更多責(zé)任,政策制定者要對模型的使用進(jìn)行管理,讓更多的人受益,維護(hù)社會的公平與民主。
我們生活在算法的時代。我們?nèi)ツ膫學(xué)校上學(xué),是否能夠獲得車貸、需要為健康保險支付多少錢,這些對我們的生活有著重大影響的決定越來越由不得人類自己,而是被各種數(shù)學(xué)模型所操控。從理論上來說,模型可以更好地促進(jìn)公平,因為每個人適用于同等的規(guī)則,不存在偏袒。
但凱西?奧尼爾這本迫切而且必要的書卻告訴我們,事實剛好相反。如今,被廣泛使用的算法模型,即使其本身充斥著錯誤,也依舊不受管束、不被質(zhì)疑。其中,“強化歧視”的問題特別值得反思:如果一個窮學(xué)生因為被借貸模型認(rèn)定為風(fēng)險過高(僅僅是根據(jù)該學(xué)生所生活的街區(qū)就得出此判斷)而貸不了款,那么接下來,他就會被剝奪能夠幫他擺脫貧困的接受優(yōu)質(zhì)教育機會,繼而陷入一系列的惡性循環(huán)。
通過追蹤一個人的生命軌跡,凱西?奧尼爾試圖在書中揭露數(shù)學(xué)殺傷性武器對塑造個人和社會未來的影響。這些數(shù)學(xué)殺傷性武器給教師和學(xué)生評分,篩選簡歷,批準(zhǔn)貸款或拒絕貸款,評估員工,甚至監(jiān)督我們的健康狀況,因此凱西?奧尼爾呼吁建模者,要對自己的算法承擔(dān)更多責(zé)任,并且呼吁政策制定者對模型的使用進(jìn)行監(jiān)督管理。她指出,對模型的掌控最終取決于我們自己。這本重要的書迫使我們直面問題,揭示真理,要求改變。
目錄
引文
第一章 盲點炸彈
不透明、規(guī)模化和毀滅性
第二章 操縱與恐嚇
彈震癥患者的醒悟
第三章 惡意循環(huán)
排名模型的焦慮與特權(quán)
第四章 數(shù)據(jù)經(jīng)濟(jì)
掠奪式廣告的贏家
第五章 效率權(quán)衡與邏輯漏洞
大數(shù)據(jù)時代的正義
第六章 篩選
顱相學(xué)的偏見強化
第七章 反饋
辛普森悖論的噪聲
第八章 替代變量和間接損害
信用數(shù)據(jù)的陷阱
第九章 “一般人”公式
沉溺與歧視
第十章 正面的力量
微目標(biāo)的出發(fā)點
結(jié)束語
注釋
索引