Exploring the fallout of MIT Media Lab researcher Joy Buolamwini’s startling discovery that facial recognition does not see dark-skinned faces accurately, and her journey to push for the first-ever legislation in the U.S. to govern against bias in the algorithms that impact us all.
老外好像很在意自己的生物信息被取樣,同時影片中街頭的面部識別的成功率也太低了,這么低的成功率按理說不能用來實踐。影片的出發(fā)點是好的,但眼界過于狹隘,就好像走過頭的黑命貴和女木又。動不動就拿主義的帽子亂扣,也能反映出西方社會的媒體還是井底之蛙。中國的古語早有總結,身正不怕影子斜,沒做虧心事,不怕鬼敲門,心里怕了,就覺得被歧視了,真夠嬌氣的。
豆瓣的熱評第一把我想說的都說了。這部片子可取的地方在于指出了人工智能潛在的致命缺點,但片子的意識形態(tài)性讓這部片子本身的意義打了折扣。
機器學習是一個黑盒子,它依照“多即是好”的原理,從歷史數據中學習,因此它的學習過程即使對于創(chuàng)造它的程序員來說,也是一個黑盒子。這就導致了人類只是通過人工智能,在全自動化中復制自己的現有形象,沒有鑒別,沒有提升。就像片中說的,人工智能可以誤判,但無法被質疑,也不被要求承擔責任;作為一種唯數據論的技術,其設計目的是追求效率。
因此,就基于數據的機器學習本質而言,其產生的算法將不是中立的。因其通常為權勢所用(如平臺),機器學習其實會造成一種極危險的隱性的編碼歧視,這也是片名的由來。
此外,盲目追求效率的一個弊端是人的物化。人被標準化參數所肢解,被片面化標簽化。在教育系統(tǒng),學生為標準化的培養(yǎng)體系和打分系統(tǒng)所評估,作為養(yǎng)料被高校挑選,再經過下一輪標準化的培養(yǎng),然后作為“人才”輸送入社會,被定義成一張張簡歷,簡歷再經過算法的篩查,剩下的簡歷才來到HR手里,再經過各種參數的標準化考核,把人物化為某一價格,體現為薪資待遇。這讓我想起了最近的一部職場喜劇《破事精英》里面對績效的刻畫。
除了人的物化,人工智能還通過機械化,迎合并加深了現代社會對客觀的追求。這種“機器客觀”杜絕了人性的存在。Intelligence without ethics is not intelligence at all. 缺乏倫理道德的人工智能不是智能。人類的主觀判斷力、決策力、反抗力和拒絕的能力,是人性閃耀的光輝,這里有讓我想起了《禪與摩托車維修藝術》中所提倡的“良質”,即不囿于可觀察數據和傳統(tǒng)主客觀二分法的對quality的一種本能判斷。
本片是凱西·歐尼爾《大數據的傲慢與偏見》一書的延展。
這是個演算法包圍現代公民的時代!演算法在幕后影響著我們生活的各種決定,包括我們上什么學校、能否借到汽車貸款,以及醫(yī)療保險必須支付多少保費,愈來愈多判斷是由數學模型,而非某些人所做出。這一切看似公平:因為所有人是根據相同的規(guī)則評斷,不受偏見影響。
對熱情的“問題解決者”來說,大數據像仙境,它搜集資訊、再運用數學模型,使我門得以更有效地調配資源、篩選最優(yōu)的人事物、并做出最好的決定,這些熱情的宣揚者更是四處宣傳大數據應用的威力。
但是,曾在典型數據分析圈內工作的凱西·歐尼爾不是上述這種人。
她在《大數據的傲慢與偏見》中指出,事實與我們想的恰恰相反!這些數學模型不透明、不受管制,即便出錯,受害者往往無法申訴。最令人不安的是,這些模型會“強化歧視”,例如,貧窮學生在申請學貸時,可能因自家的郵遞區(qū)號,被審核貸款的數學模型視為還款高風險者,因而無法獲得貸款……。這類問題會形成惡性循環(huán)——獎勵幸運兒、懲罰遭踐踏的人,創(chuàng)造出危害民主的“有毒雞尾酒”。
歡迎認清大數據的黑暗面
歐尼爾在《大數據的傲慢與偏見》中揭開對我們人生各階段有巨大影響的各種黑箱數學模型,不管我們愿不愿意,演算法系統(tǒng)都已經為我們打上“分數”。
當前許多數學模型已經失控濫用、還自作主張地替教師和學生評鑒、篩選履歷表、審核貸款、評估員工績效、鎖定目標選民、決定假釋名單,以及監(jiān)測我們的健康狀態(tài),決定我們個人及社會的未來。
歐尼爾呼吁:在這個人人都被迫擁有自己在某種演算系統(tǒng)中持有“e化評分”的時代,那些建立模型的人應該為他們所創(chuàng)造出來的演算法負起更多責任,而政策制定者更應該負起監(jiān)督管理的責任。
這本重要著作使我們得以提出關鍵問題、揭露這些“數學毀滅性武器”的真相和要求變革。
本片是此書的延展。
電影主要講人工智能的算法怎么被用來評估每個人在社會系統(tǒng)中的價值以及其中的問題,即算法會復制甚至加劇這個世界長久以來的偏見,比如比法院會參考一個所謂的“再次犯罪率”的算法給予假釋,“科學計算”出有色人種的再犯罪率更高;算法被學校用來評價老師的”附加價值”,被公司用來篩選簡歷,被銀行用來計算信用,結論是女性更容易被AI HR淘汰,且比男性的金融信用差。以下是電影的幾個觀點:
1)技術到來總伴隨著不平均。不平均并不是說有錢人比窮人先擁有技術,而是說更具有侵犯性的技術往往先被用弱勢群體身上做實驗(在紐約,人臉識別門禁率先被房屋出租公司裝在低收入有色人種集中的公寓,并將其制造成一種類似交通攝像頭的罰款工具,用監(jiān)視的圖像作為對租戶違反公寓樓規(guī)定的證據)。
2) 目前人工智能在社會中廣泛應用主要有兩種模式:一種是維穩(wěn),一種是獲利。沒有一種為自由和平等而存在的算法。
3)只要連接到網絡社會,世界上每個人都被算法打著各式各樣的分,你在某些系統(tǒng)中看起來更不可能犯罪,但同時,你也會另一些系統(tǒng)中為同樣的商品付更多的錢。人們談到算法監(jiān)控總愛說中國如何如何,其實本質的不同只是中國對這種監(jiān)控毫不掩飾而已。
> We are all grappling every day with algorithmic determinism. [...] We are all being scored. The key difference between the US and China is that China's transparent about it.
4)反烏托邦可能最終不會像《1984》所描述的那樣實現,而是像現在一樣,靜悄悄地侵入每個人的生活。哪怕你能躲過看得見的攝像頭,看不見的追蹤和信息收集軟件卻難以避免。這些信息會泄漏你的軟肋,甚至左右你的決定。(比如給奢賭者推送拉斯維加斯的打折機票,比如Facebook按個人的政治傾向有選擇地推送大選投票信息。)
5) 算法設計的奧義是自動化和高效,但很多時候,人性意味著拒絕服從,拒絕系統(tǒng)定義的價值。如果把自動化作為一切問題的終點,在有的情況下會造成非常不人道甚至是毀滅性的結果。
6)人工智能的定義到底是什么?這是值得思考的問題。下棋比人類厲害?會分析數據?社會對于科學和技術的理解其實是由很少數一部分精英定義的,他們大部分都是白人、男人。
7)正義地使用算法是現在最緊要的人權問題之一。
紀錄片試圖代入國際視野,拍攝了英國、南非、香港、和中國大陸的片段。雖然落腳點是對算法廣泛應用的質疑,但關于中國的影像始終是“反烏托邦”式的,即便是所謂的“全世界都被監(jiān)視著”這一論點也還是中美二元思維。對全球的描繪只能說是對美國現狀的注腳而已,分析并不到位。
很喜歡電影里的主要人物、也是算法正義聯盟的創(chuàng)建者Joy Buolamwini,她日常寫一些短詩送給一起努力的合作者,很有感染力。另外,AOC在國會討論一節(jié)短暫出境。
Joy Buolamwini 在電影中念的一首小詩:
collecting data, chronicling our past, often forgetting to deal with gender, race, and class. again, I ask, am I a woman? face by face, the answers seem uncertain, can machines ever see my queens as I view them? can machines ever see our grandmothers as we knew them?
收集數據,記錄我們的過去,總是忘了去考慮性別、種族和階級。讓我再一次拷問,(在你的眼里)我是女性嗎?一張又一張臉,你的答案似乎難以確定。機器可以看到我所看到的女王嗎?機器可以看到我們所認識的祖母嗎?
一些擴展資源:
Weapon of Math Destruction (電影中AJL一員 Cathy O'Neil寫的書)
Twitter and Teargas by Zeynep Tufekci (作者在電影中出鏡)
Algorithmic Justice League (美國的組織,可通過官網郵件訂閱信息)
Big Brother Watch (英國的組織)
比《監(jiān)視資本主義》稍好一點。
完成度非常非常差,首先中斷嚴重偏題,本身主題是人臉識別技術,但是中間直接跑到大段算法,這是從屬關系,如果今天是要討論算法,那這個東西就深了去了。然而通篇針對人臉識別,也沒有足夠的論證和論證過程去支撐,大部分只有口號和觀點,如果今天有一個人拍一個關于人臉識別如何大面積地降低了犯罪率,那完全可以把輿論轉向另一邊到,這本應是一個需要強調“寧可錯殺一千,不可放過一個”是錯誤的,但并沒有。而且還選取了中國作為一個對照組,但是對于觀點選取的極度偏頗也使得這個片子的引導性非常強,就不到一個半小時的片子信息密度還這么低,紀錄片可真好拍
有關算法偏見在面孔識別,治安,教育,法律等領域的討論。有趣的是研究算法偏見和推動立法的主角是一色的女性研究者,和social dilemma里面負責產品技術的白男形成了鮮明對比。
Intelligence without ethics is not real intelligence.多數人可能覺得AI具有前瞻性和先進性,但人工智能基於數據,而數據承載著過去。所以歷史中的一切不平等如種族歧視、性別歧視等也存在於算法中。很典型的一個例子是微軟在推上搞了個bot叫Tay,讓它不斷學習推上的數據,然后不到24小時Tay就變得厭女和歧視猶太人和黑人…看完整個紀錄片后,問題來了,該如何在一個我們不知道算法如何運作的系統(tǒng)里獲得公平?或許用法律阻擋人臉識別的濫用是第一步,可是下一步呢?
哈哈哈哈哈這個紀錄片是蘋果贊助的吧,通篇沒提到蘋果,但是現在用face ID解鎖的人不算少吧
90分鐘信息量很大,印象深刻也是杭州那位女士,絲毫不擔憂信息安全,只覺得什么都刷臉好方便
210415
比較講究的紀錄片?!拔覀兌荚诒荒槻孔R別監(jiān)控;唯一區(qū)別就是,鐘果對這件事是透明的,而霉果不是?!?大實話給五星!
Algorithm Surveillance and Discrimination are universal, there is really no need to attack China that hard.
73/100
有被冒犯到 但不得不說一針見血
此片充分展現了美英自由主義進步政治、多元化、國內種族正義斗爭,與他者化中國/中國人的并行并舉。從刻意的無厘頭中文翻譯(只為表明這是“中國”),到對中國制度的想當然,到采訪這唯一一個驚世駭俗的奇葩中國人(號稱要感謝信用積分幫助她有效擇友)——紀錄片最后,美國英雄說,他們和全球反監(jiān)視斗士站在一起,勝利屬于他們。這就很清楚了,“中國”對于這個紀錄片的主體而言,一開始就在這場斗爭之外。一開始就是他者。一開始就沒有相應的人性。是反烏托邦的平行宇宙。用來側目,用來醞釀,用來自我鞭策。這其實也都無所謂——如果中國不是一個真實的地方,中美關系不是真實的地緣政治,中國人不是血肉的行在這個地球的人。
3.5 算法是黑洞,吸收一切,不在乎邏輯、也不在乎道德。性別歧視、種族歧視、人權等隱憂經由算法包裝后,大搖大擺地橫行。關于我們郭嘉的部分,些許失實,對我們信用體系和人臉識別之間的理解還是太粗暴了。
無語了。一個試圖教別人不要有偏見的片子,充滿了偏見的教育………
That’s brilliant!LON is brilliant.由弱者/研究者視角的解讀,剖析;自由的把BB中的技術性問題深入背后的道德倫理和哲學邏輯,那不經推敲的。漸強化的規(guī)則對PR的統(tǒng)領,賦權和合規(guī)到秩序、發(fā)展。當然這是PR預期低洼處不會涉及反思的。其中涉及的敏感地也成案例相探討。以是一種特定價值的覺醒和抗爭。亦不贊同無腦而無反思的發(fā)展科技。Cambridge真是永遠好哈哈,AI起源于Dartmouth還蠻意外的…曠視也唉、、、
HIFF 人臉識別技術隱含的種族與性別歧視,及其廣泛使用造成的各行業(yè)人權侵犯問題。人不能被算法反控制。而在大洋彼岸某個大國,所有的公民已經接受了時刻被監(jiān)控,還為支付寶人臉識別功能的便捷而感到驕傲……部分觀點還是局限,這種議題哪里缺席討論就哪里誤會加深,有什么辦法呢哎……
觀點不錯,鏡頭語言豐富,有些地方略顯累贅,在如何抗爭方面也沒交代清楚,單方面表達(不過也沒辦法),但主角成就斐然。如果是一部展現如何抗爭的片子,少了過程;如果是陳述觀點的,又略顯薄弱。
大部分美國人,這里特指制片團隊,對于中國的態(tài)度也是coded bias....一群不了解中國情況的家伙們,don't even care enough to get their translation right (把匹配match直接翻譯成比賽也是絕)。不管三七二十一直接把中國打成反面例子,甚至還找了個非典型代表,把信用評分作為交友的依據...你要討論bias就好好討論,前半部分關于種族、性別、階級的例子都發(fā)人深省,但中國的部分和你要表現的bias有任何聯系嗎?算了,反正這片也只是拍給歐美地區(qū)的人看的,讓他們的觀眾爽就好了。夾帶私貨的結果就是加深了普通觀眾的bias,結合片名看也是諷刺...PS. 發(fā)行找了個以AI運算出名的平臺,不覺得自相矛盾嗎...
效率和準確之間做權衡,經濟利益和社會公平之間做權衡,這樣的權衡不是留給算法留給科技,還是要留給人類,人類依然充滿歧視,甚至比計算機更甚,所以提出的問題很可能就成了未來都很難有解的問題,先不說能否數學與模型化,就問善惡的尺度在哪?日漫《心理測量者》給出的探討或許并不讓人舒服,但最終很可能也只能如此吧。
在沒接觸相關的學術探討之前可能會覺得這部片子角度新穎,現在會覺得只是記錄了幾個主人公為發(fā)聲作出的努力,在引導大眾重新審視“人臉識別”/AI/算法技術上沒有推進。我在想,也許目前傳統(tǒng)紀錄片形式并不適合去表達這個話題,因為觀眾已經適應了這個環(huán)境,需要更大的“刺激”才能激發(fā)辯證思考,形式創(chuàng)新尤為重要。比如互動紀錄片Do Not Track,multimedia project Stealing UR Feelings就用更簡短的篇幅和互動形式讓觀眾自發(fā)地意識到目前算法技術的問題。