機器之心報道
機器之心編輯部
一萬八千人參會的NeurIPS 2020 相比去年數量暴漲了三成，在大會上，1750 億參數模型 GPT-3 再次成為了人們熱議的話題。
北京時間 12 月 8 日凌晨，正在線上舉行的全球人工智能頂會 NeurIPS 2020 公佈了最佳論文等獎項。在一千八百餘篇論文中，三篇論文獲會議最佳論文獎項，OpenAI 等機構的 GPT-3 研究名列其中，可謂實至名歸。
人工智能頂會 NeurIPS 2020 於本月 6 日 - 12 日在線上舉行，預計此次會議將迎來 18,000 名參會者。此次會議共收到 9467 篇論文投稿，接收論文 1898 篇，論文提交數量增長 38%，再創新高，接收率為 20%，創歷史新低。
面對如此大規模的提交論文，NeurIPS 2020 採取了新的審稿機制，包括提前拒稿（desk-reject）、論文作者兼任審稿人。這些新機制引發了一些爭議，NeurIPS 2020 公佈了相關數據，稱就審稿人質量而言，作者兼任審稿人與其他審稿人獲得了類似的評分。
NeurIPS 2020 最熱門的三個投稿方向和以往相比沒有太大變化，仍是「算法」、「深度學習」和「應用」，不過後兩個方向熱度有所降低。值得注意的是，今年的 NeurIPS 大會引入了「機器學習的社會影響」方向，探討的內容包括公平與隱私。
此外，「理論」和「神經科學」是論文接收率最高的兩個領域，而「應用」、「數據挑戰、應用和軟件」則是今年接收率最低的方向。
目前，NeurIPS 2020 公佈了最佳論文獎和時間檢驗獎。OpenAI 等提出的語言模型GPT-3、米蘭理工大學和卡內基梅隆大學提出的 no-regret 學習動態研究，和加州大學伯克利分校關於數據總結的論文共享本屆會議的最佳論文獎項。獲得時間檢驗獎的論文則是誕生於 2011 年的研究《HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent》。
最佳論文獎
今年共有三篇論文獲得最佳論文獎，分別由 OpenAI、米蘭理工大學 & 卡內基梅隆大學、以及加州大學伯克利分校的研究者摘得。
獲獎論文 1：Language Models are Few-Shot Learners
作者：Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei
機構：OpenAI、約翰霍普金斯大學
論文地址：https://papers.nips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf
獲獎理由：
用於估計序列中下一個詞概率的人工智能系統叫做「語言模型」。語言模型首次出現在 1950 年代，是連接自然語言與當時的新領域——信息論的理論構架。OpenAI 的這篇論文提出了 GPT-3——有史以來最大也最複雜的語言模型。這項研究表明，如果你使用史無前例的大量算力和數據讓語言模型獲得足夠的準確率，它也就獲得了無需額外訓練，僅使用簡單的自然語言提示即可解決大量任務的能力。比如回答簡單的問題、生成文章、確定電影評論是否積極，以及英法互譯等。
論文作者表明，GPT-3 在一些任務中的能力勝過其他模型，並用大量篇幅探討這項技術的優缺點。論文作者還考慮了這項技術的潛在有害影響，如低成本生成難以檢測的假新聞，模型因訓練數據偏見在種族、性別和宗教等敏感話題上產生傾向性。
一部分 GPT-3 論文作者。
GPT-3 因其高達 1750 億參數、動輒幾百萬美元的模型訓練費用和無與倫比的「文學創作」水平，在推出之後吸引了眾多學者，甚至業界以外人們的關注。不過在研究如此大規模模型之後，社區未來應該朝著哪個方向研究，我們還需要很多思考。
在 NeurIPS 2020 大會上，當被問及未來研究方向時，論文作者之一 Dario Amodei 表示：「GPT-3 仍然只是『預測一段文字之後的下一個字』，我們還有很多事可以做，如通過強化學習來微調語言模型以改變目標函數，進而生成更復雜的文字內容。」
獲獎論文 2：No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium
作者：Andrea Celli (Polimi), Alberto Marchesi (Polimi), Gabriele Farina (CM) and Nicola Gatti (Polimi)
機構：米蘭理工大學 (Polimi)、卡內基梅隆大學 (CM)
論文地址：https://proceedings.neurips.cc/paper/2020/file/5763abe87ed1938799203fb6e8650025-Paper.pdf
獲獎理由：
人們的決定會影響到他人。為了保證合理的行事方式，我們需要通過這種「相互依賴」達到經濟學家所說的「均衡」（equilibrium）。創建能夠找出均衡點的自動程序是非常困難的任務。這篇論文提供了首個解決方法——利用學習方法為通用交互尋找「相關均衡」（correlated equilibria，CE）。
相關均衡要求一個受信任的外部調停者為決策者提供決策建議，典型案例就是紅綠燈，紅綠燈告訴車輛前進這一行為是否安全。即使在相關法律缺失的情況下，我們仍然應該遵循紅綠燈的推薦結果，因為我們知道每個人都可以推斷出這是最好的選擇，闖紅燈是危險的行為。
這篇論文表明，此類均衡可以通過完全獨立執行的學習算法來實現，無需外部交通工程師，甚至在決策涉及多個步驟、決策者對於世界的狀態一知半解時也是如此。也就是說，存在此類 regret-minimizing 算法使 CE 在更廣泛的博弈類別中實現收斂，即擴展形式的博弈。這一結果解決了博弈論、計算機科學和經濟學領域中長期存在的開放性問題，並對涉及調停者的博弈產生顯著影響，如通過導航 app 高效制定交通路線。
獲獎論文 3：Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystrom method
作者：Michał Dereziński, Rajiv Khanna, Michael W. Mahoney
機構：加州大學伯克利分校
論文地址：https://proceedings.neurips.cc/paper/2020/file/342c472b95d00421be10e9512b532866-Paper.pdf
獲獎理由：
從大型矩陣中選擇小規模且具代表性的列向量子集是一個困難的組合問題，基於基數約束行列式點過程的方法可以給出實用的近似解。這篇論文推導出近似解近似因子的新型上下界。由於這些近似方法在機器學習領域中廣泛應用，因此這篇論文可能帶來巨大影響，併為核方法、特徵選擇和神經網絡的雙下降現象提供新的理解方式。
隨著更多大型數據集變得可用，人們越來越依賴以簡明扼要的形式總結複雜數據。數據總結（data summarization）是識別數據中重要的樣例及屬性以高效表示數據的過程。它能夠用於從遺傳學數據集中選擇具有代表性的基因變體子集，也可用於從文本數據庫中選擇最具信息量的文檔。
此前的研究表明，數據總結是一個棘手的問題，對於有些數據集，不存在能夠在合理的時間範圍內很好地總結數據的算法。而這篇論文表明，這些分析過於悲觀。實際上，對於現實世界中的數據而言，生成可解釋總結的成本要低得多。該研究表明，未來的系統將能夠創建準確、可解釋且高效生成的數據總結，從而極大地提高我們吸收和處理複雜數據集的能力。
時間檢驗獎
本次會議的時間檢驗獎由 Feng Niu、Benjamin Recht、Christopher Re 等人 2011 年的研究 HOGWILD! 摘得。
獲獎論文：HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent
作者：Benjamin Recht, Christopher Re, Stephen Wright, Feng Niu
機構：威斯康星大學麥迪遜分校（NeurIPS 2011）
論文地址：https://papers.nips.cc/paper/2011/file/218a0aefd1d1a4be65601cc6ddc1520e-Paper.pdf
獲獎理由：
NeurIPS 大會認為，該研究提出了首個在沒有任何鎖定機制情況下並行運行隨機梯度下降算法的實現，且能夠保證強大的性能。
機器學習是將樣例數據轉換為模型的問題，模型存儲在計算機中，用來做出決策或採取行動。現代機器學習系統的核心是隨機梯度方法，通常被稱為隨機梯度下降（SGD）。該方法搜索可能的模型空間，以找到和樣例數據匹配的模型。
這篇論文提出了一種能夠在一組快速計算機上並行運行 SGD 的實現，所有計算機對模型反覆進行微小改動，而無需任何協調或同步。論文作者將這種方法稱為 Hogwild!，該方法性能優於其他需要同步的並行化方案。該論文還對 Hogwild! 的收斂速度進行了理論分析，結果表明即使使用大量處理器，也可以達到處理器數量的線性加速（在一個恆定因子之內）。
該論文的被引用量接近 2000 次，它不僅對機器學習領域有影響，對計算機系統和優化領域也有影響，這些都促進了對 Hogwild! 方法的發展和理解。
該研究的主要作者 Feng Niu 是一名連續創業者，2012 年獲得威斯康星大學麥迪遜分校博士學位，他聯合創始的公司 Alation 在 2017 年被蘋果收購。
最後，大會也對審稿人進行了感謝——今年的 9000 餘篇論文投稿，為審稿工作帶來了空前的壓力。NeurIPS 2020 根據系統中區域主席對於評審意見的打分排名，選擇了表現在前 10% 的評審者，共 730 名審核者獲得了「審稿人獎」，這些審稿人獲得了免費註冊的權利。
在今年的形勢下，大量學術會議採取線上形式舉行，這為人們參與 AI 領域的最熱門盛會提供了一些便利。為了促進學術交流，機器之心也在 12 月 6 日舉辦了 2020 NeurIPS MeetUp，邀請了頂級級專家、論文作者進行了為期一天的共同交流。
機器之心聯合創始人 Chain（之乎）介紹2019與2020年NeurIPS Official MeetUp 統計數據。
我們期待未來與機器學習社區成員進行更多學術探討。
參考內容：
https://neuripsconf.medium.com/announcing-the-neurips-2020-award-recipients-73e4d3101537
https://syncedreview.com/2020/12/07/open-ais-gpt-3-paper-shares-neurips-2020-best-paper-awards-with-politecnico-di-milano-cmu-and-uc-berkeley/
「WAVE SUMMIT+2020 深度學習開發者峰會」由深度學習技術及應用國家工程實驗室與百度聯合主辦，來自行業內的人工智能專家和開發者們將分享 AI 時代的最新技術發展和產業應用經驗，諸多頂級高校人工智能專家將就 AI 人才培養展開對話，AI 開源產品及社區專家也將共話開源趨勢。
本次峰會既有乾貨滿滿的分享、討論，又有豐富多彩的展示、體驗、互動，為開發者打造專屬的 AI Party。
轉載請超鏈接註明：頭條資訊 » NeurIPS 2020獎項出爐：GPT-3等三項研究獲最佳論文獎，華人一作論文獲時間檢驗獎
免責聲明
：非本網註明原創的信息，皆為程序自動獲取互聯網，目的在於傳遞更多信息，並不代表本網贊同其觀點和對其真實性負責；如此頁面有侵犯到您的權益，請給站長發送郵件，並提供相關證明(版權證明、身份證正反面、侵權鏈接)，站長將在收到郵件24小時內刪除。