高高在上的 Google AI,也有學術黑暗的「名利場」

作者 | 發布日期 2022 年 05 月 09 日 9:15 | 分類 Google , 公司治理 , 科技教育 line share follow us in feedly line share
高高在上的 Google AI,也有學術黑暗的「名利場」


各國學術圈研究論文等黑暗事並不少見,某些人為了逃避學術黑暗,加上科技公司拋出的高薪橄欖枝,就加入產業界,跳槽 Google 這類大型科技公司,然而沒想到的是就連 Google 也叛變了,成為 AI 學術界的黑暗角落之一。

《紐約時報》2 日獨家報導,Google 3 月低調開除 AI 研究員 Satrajit Chatterjee,因他長期和同事不合,對公司發表的高知名度論文大肆質疑批判。

Google AI 去年 6 月發表〈A Graph Placement Methodology for Fast Chip Design〉論文,提出採用 EdgeGNN 強化學習演算法設計晶片的能力超越人類,刊登於知名期刊《Nature》,且 Google AI 總負責人 Jeff Dean 也是作者之一。

Satrajit Chatterjee 對此論文有疑慮,也率領團隊寫了一篇駁斥論文,試圖證偽晶片論文的重要結論。然而據四位匿名員工內線消息,駁斥論文寫完後,Google 先拒絕發表,之後很快開除 Chatterjee。

「我們對駁斥論文的某些說法嚴格檢查,最終認定未達公司發表標準」,研究部門副總裁 Zoubin Ghahramani 對《紐約時報》表示。Chatterjee 似乎也退出 AI 研究第一線,加入某風投公司(未經本人證實)。

除名作者、封口威脅:Google 研究團隊也如此黑暗?

事情經過大概是這樣:

晶片論文登上《Nature》前,Google 2020 年 4 月發表過題目差不多一樣的預印本論文〈Chip Placement with Deep Reinforcement Learning〉

《紐約時報》援引匿名知情人士說法,當時 Google 對 AI 設計晶片的研究方向非常重視,且很急切想將此技術儘快變現。預印本論文發表時,Google 找上 Chatterjee 詢問能否直接出售技術或授權給晶片設計公司。Chatterjee 曾任職英特爾,有豐富晶片業經驗,直接潑了 Jeff Dean 一盆冷水。他寄信給同事,對預印本論文某些結論表示「保留意見」,且質疑此技術沒有經過嚴格測試。

Chatterjee 並不是唯一質疑的人,預印本論文還有兩位合作作者:Google AI Kernel 團隊創始人 Anand Babu 和軟體工程師 Sungmin Bae,也支持 Chatterjee 看法。

但 Google 等不及想用這篇論文賺錢了。Google AI 把預印本論文重新調整,換個標題,直接提交給《Nature》,且成功刊登。

然而論文改題刪名重刊在 Google AI 引發不小爭議。有員工覺得很詭異:

  • 首先,論文為什麼改標題重刊?
  • 其次,既然要重發,為什麼沒有經過公司論文評議委員會審核?
  • 最後也是最詭異的地方:為什麼《Nature》刊登新版,刪除兩名不同意見的作者?是否他們對新版論文沒有貢獻,所以直接消除他們的痕跡,就像對此研究從來沒有貢獻?

▲ 上為 2020 年 4 月預印本論文版,下為 2021 年 6 月《Nature》版,後者刪掉了兩位意見不同的作者。(Source:arXiv / Nature)

為了平息爭議,Jeff Dean 批准 Chatterjee、Bae、Babu 等可挑戰晶片論文,並允諾他們駁斥論文會照公司發表流程走。沒過多久,Chatterjee 等人就寫完駁斥論文〈Stronger Baselines for Evaluating Deep Reinforcement Learning in Chip Placement〉。

他們提出幾種新基線,即基準參照演算法,意思就是比這個基線效果還差的技術不能接受,沒有發表論文的必要。Chatterjee 等人的方法比晶片論文演算法效果還好,且執行算力少多了,完全指出晶片論文演算法的弱點。Chatterjee 等人還進一步指出,人類晶片設計師能力並不能當成強力基線,即晶片論文拿強化學習演算法和人類比較很不公平。

帶著這些調查結果,Chatterjee 等人提交駁斥論文給審核委員會,等了幾個月,最後卻得到公司拒絕發表的結果。Google AI 高層回應是駁斥論文未達發表標準。

Chatterjee 等人甚至找上 CEO Sundar Pichai 和 Alphabet 董事會,指出駁斥論文被拒絕發表,可能涉嫌違反公司 AI 研究發表和道德原則。但抗議被駁回,再沒多久,Chatterjee 就收到開除通知。

晶片論文聯合第一作者 Anna Goldie 也有說法。她告訴《紐約時報》Chatterjee 三年前試圖奪權,之後她就變成 Chatterjee「假資訊」攻擊的受害者。

雖外界不知道 Chatterjee 被解僱的真正理由是什麼,但其他員工說法是 Chatterjee 阻礙了公司利益及 Google AI 部分核心高層力推的專案。即使像 Google 這種架構扁平、制度還算公平的大公司,也難免為了保護公司利益和高層面子,暫時改變規則,把唱反調的員工一腳踢開。

利益衝突遭開除,員工改名表抗議

這不是 Google AI 第一次因見解不同和辦公室角力而上演連續劇。業界影響力頗大的史丹佛 AI 實驗室成員、前 Google 研究員 Timnit Gebru,兩年前突遭開除就給很多同行留下非常差的印象。且巧的是,Gebru 被開除的原因和 Chatterjee 一樣:與公司利益有衝突,公司拒絕發表她的論文。

Timnit Gebru 是 AI 偏見專家,但她也有爭議性。許多人認為她的「社會正義戰士」性格強過學者的公正性,遭部分同行質疑。

2020 年 Gebru 在網路和圖靈獎得主、人稱 AI 三教父之一的 Yann LeCun 筆戰,有人採用低解析度臉部還原模型 PULSE 還原歐巴馬照片,結果出現白人,LeCun 認為是資料庫的偏見導致 AI 也有偏見。

但此論點遭 Gebru 等多人批評。Gebru 表示對 LeCun 很失望,因 AI 演算法的偏見不只來自資料庫,她做了很多研究,發表過一些論文,她一直認為 AI 的偏見不只來自資料庫,光解決資料庫問題並不能徹底解決 AI 偏見。

LeCun 也推文幾十條解釋自己的論點,卻被 Gebru 及支持者說是「班門弄斧」──雖然 LeCun 是 AI 教父,但 Gebru 才是 AI 偏見的專家。LeCun 和 Gebru 等反駁者筆戰持續了半個月,結果以前者「退推」告一段落。

Gebru 在社群網路抨擊 LeCun 機器學習元老級專家的行為,使 Google 高層認為她破壞公司和產學界的友好關係。雖然 Gebru 取得階段性勝利,可沒有意識到事情嚴重性及烏雲已經罩頂。

最近幾年大模型(以超大參數量的語言模型為代表)在 AI 研究領域有多紅,Google、OpenAI、微軟、亞馬遜、BAAI 等都大舉投資,誕生了 BERT、T5、GPT、Switch-C、GShard 等超大規模語言神經網路模型等相關技術。

也是 2020 年,Gebru 團隊的論文〈On the Dangers of Stochastic Parrots:Can Language Models Be Too Big?〉希望揭露超大規模語言模型實際使用的危險性,批評可能對 AI 偏見有影響性。

這研究並不小眾,畢竟之前有研究發現,GPT-2 / 3 等超大語言模型實際使用時會強化已有的社會偏見和歧視,對使用者造成傷害。Gebru 團隊的論文主要觀點沒什麼大毛病,然而在 Jeff Dean 看來,篇幅很短,敘述和引述多於實驗結果,缺乏科學實證,不構成 Google 冠名發表的條件,因此駁回不予發表。

但更有可能的原因在於:論文如果發表,等於和 Google 近幾年大語言模型的努力唱反調,高層覺得非常影響士氣。但 Gebru 堅持就算公司不批准,也會想辦法發表論文。後來 Google 要求論文去掉作者的 Google 員工身分,意思就是論文以員工個人名義發表,公司不認同。但 Gebru 嚴詞拒絕。

Google 表示她是自己辭職的(其他員工透露 Gebru 確實以辭職為要脅),但 Gebru 對外說法是被開除的,而 Gebru 的上司 Samy Bengio 表示非常震驚。Bengio 曾獲 Google 傑出科學家殊榮,是 14 年元老員工,原 Google Brain 創始成員之一(也是 AI 三教父之一 Yoshua Bengio 的弟弟),後來也對公司開除 Gebru 不滿,2021 年離開 Google。

Gebru 團隊論文後來還是 2021 年 3 月在 ACM 旗下跨學科會議 FAccT 發表,只是四位作者有兩位無法以 Google 員工身分放入作者名單。

Gebru 論文發表前就和 Google 分手了,但另一位作者 Margaret Mitchell 仍任職 Google(後來才被開除)。發表版論文她「改名換姓」,姓名前都加上「Sh」(噓),諷刺公司叫她閉嘴:

更離譜的事還在後面。4 月初 Google AI 發表〈PaLM: Scaling Language Modeling with Pathways〉論文,介紹全新 5,400 億密集觸發參數的超大規模語言模型 PaLM。模型架構解釋(Model Architecture)和道德思考(Ethical Considerations)部分,PaLM 論文至少兩次引用 Google 拒絕發表的 Gebru 團隊論文。

道德思考部分,論文寫由於從訓練數據和模型完全消除社會偏見的可行性不高,因此分析模型可能出現的偏見和風險至關重要,也引用和參考 Gebru 等人被拒論文的分析方法,且 Jeff Dean 也是 PaLM 論文的作者,非常尷尬。

甚至引用清單還留下 Mitchell 諷刺公司的痕跡。

Gebru 表示:「Google AI 大頭可以為所欲為,完全不用考慮我是被開除的,我的論文還被評為不及格。他們完全沒思考後果,恐怕也早就忘記這件事了。」

可能很多人想知道:為什麼近年 Google AI 研究部門鬧劇如此多,且都是員工研究方向和公司利益衝突?某瞭解 Google AI 情況的前員工表示:

一邊要靠放衛星吸引更多 HR 和 PR 關注,一邊儘快把 AI 研究成果變現,一邊又因某些有爭議專案得改善社會責任感。魚和熊掌不可兼得。

「放衛星」是指 Google 一些超大模型研究發表時未達 State-of-the-Art 水準,如 Google 1.6 兆參數 Switch Transformers 模型,性能未超過有效參數更少的模型,且 API 使用性也很差,所以沒法像 GPT-3 令人印象深刻。

毫無疑問,Google AI 已成為科技公司從事 AI 基礎和應用研究的標竿。且 Google AI 許多研究成果能快速投入各種 Google 核心產品,使用者量又是數億至數十億,可說 Google AI 研究對世界也有重大影響力。

但 Google / Alphabet 仍是上市公司,要對股東負責,需穩定持續增長,AI 是不算新、商業化度和可行性已非常高的技術,Google 對 AI 產學結合的期待一定會日益升高。考慮到以上因素,不難理解為什麼 Jeff Dean 等大頭要不顧一切保護公司 AI 研究的投資和名聲了。

這些大頭也是對 AI 學術界有重大貢獻的先驅,說他們不認同學術倫理也是種侮辱。但遺憾的是在利益面前,只能在其位謀其政,大難臨頭時,也許學術正直只好暫時靠邊站。

(本文由 品玩 授權轉載;首圖來源:Unsplash