頭條資訊 - 為您提供最新最全的新聞資訊,每日實時更新

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

科技數碼 量子位

蕭簫 魚羊 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

做計算機視覺,離不開CNN。

可是,卷積、池化、Softmax……究竟長啥樣,是怎樣相互連接在一起的?

對著代碼憑空想象,多少讓人有點頭皮微涼。於是,有人乾脆用Unity給它完整3D可視化了出來。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

還不光是有個架子,訓練過程也都呈現得明明白白。

比如隨著epoch(迭代次數)的變化,訓練過程中各層出現的實時變化。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

為了能更清楚地展示網絡細節,用戶還可以在其中自由地摺疊、擴展每個層。

比如將特徵圖在線性佈局和網格佈局之間轉換。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

摺疊卷積層的特徵圖輸出。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

對全連接層進行邊綁定(edge bunding)等等。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

這樣的可視化圖像,可以通過加載TensorFlow的檢查點來構建。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

也可以在Unity編輯器中設計。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

是不是有點鵝妹子嚶那感覺了?

最近,這個項目又在社交媒體上火了起來。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

網友們紛紛表示:

“要是能在訓練的時候看到這個過程,再長時間我也能忍啊。”

“求開源。”

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

該項目的作者,是一位來自維也納的3D特效師。

據他介紹,之所以創建這樣一個CNN可視化工具,是因為他自己初學神經網絡時,經常覺得很難理解卷積層之間是如何相互連接,又如何與不同類型的層連接的。

而該工具的主要功能包括,卷積、最大池化和完全連接層的可視化表示,以及各種能實現更清晰可視化的簡化機制等等。

總而言之,就是想讓初學者通過最直觀的方式,來get到CNN的重點。

如何用Unity搞出一個3D網絡

在正式上手Unity前,作者先在Houdini軟件中,搭建了一個可視化的3D網絡原型。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

也就是說,先給Unity版3D網絡提供一個搭建思路,提前準備好實現展示卷積計算的方法、特徵圖的形狀、邊綁定的效果等問題。

它的節點編輯器長這樣:

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

然後,就可以在Unity上搭建3D神經網絡了。

首先,需要預設好神經網絡的“形狀”。

由於之前並沒有用過Unity,作者先學習了著色器和過程式幾何相關的知識。

這裡面,作者發現了一些侷限性,他採用的是Unity為著色器開發的語言Shaderlab,這個語言無法使用著色變化,只有對語義進行預定義的變量,才能讓它在頂點、幾何和像素著色器之間傳遞。

而且,它無法任意分配頂點屬性,只有位置、顏色、UV等預定義屬性。(可能這也是3D網絡無法實時改變顏色的原因之一)

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

在研究了一些實例化(instancing)相關的概念後,作者計劃採用幾何著色器的方法生成神經網絡的連線。其中起點和終點被傳遞到頂點著色器,並直接轉發到幾何著色器。

這些線,最多可以由120個頂點組成,因為Unity允許的幾何著色器能創建的變量的標量浮點數為1024。

設計後的網絡形狀,大致長這樣:

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

然後,就是從模型的TensorFlow代碼中,生成對應的3D神經網絡圖像。

其中,Tensorflow-native.ckpt格式的文件,需要存儲重構模型圖所需的數據、二進制的權重讀取和激活值,以及特定層的名字。

以Cifar10-greyscale數據集為例,需要編寫一個檢查點(checkpoint)文件,以及設置隨即初始化的權重。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

在那之後,需要加載這些檢查點文件、啟動TensorFlow會話,輸入訓練示例,以便查詢每一層的激活函數。

然後編寫一個json文件,存儲每一層的形狀、名稱、權重和激活函數,便於讀取。然後使用權重值,將顏色數據分配給各層的Unity Mesh。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

最終搞出來的效果,還是不錯的:

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

作者還錄了個開發視頻,在文末可以找到地址。

相關研究還不少

事實上,此前已經有不少學者,進行過神經網絡可視化的研究。

例如,去年5月,一位中國博士就可視化了卷積神經網絡,將每一層的變化都展示得非常清楚,只需要點擊對應的神經元,就能看見它的“操作”。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

這是用TensorFlow.js加載的一個10層預訓練模型,相當於在瀏覽器上就能跑CNN模型,也可以實時交互,顯示神經元的變化。

不過,這還是個2D的項目。

目前,也已經有人像上面那個神經網絡模型一樣,做出了3D的可視化神經網絡:

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

這個項目,同樣用到了邊綁定、光線追蹤等技術,與特徵提取、微調和歸一化相結合,將神經網絡可視化。

這項項目希望能借由這些技術,來估計神經網絡中不同部分的重要性。

為此,作者將神經網絡的每一部分都用不同的顏色來表示,根據節點和節點在網絡中的重要性,來預測它們之間的關聯性。

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

大致的處理過程是這樣的:

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

如果對於這類3D神經網絡可視化感興趣,可以在文末找到對應的開源項目地址。

作者介紹

360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實

Stefan Sietzen,現居維也納,此前曾是個3D視覺方向的自由職業者。

目前,他在維也納工業大學讀碩,對視覺計算(visual computing)非常感興趣,這個3D神經網絡,就是他在碩士期間做的項目之一。

— 完 —

轉載請超鏈接註明:頭條資訊 » 360度無死角、近距離觀摩CNN訓練後,網友感慨:美得不真實
免責聲明
    :非本網註明原創的信息,皆為程序自動獲取互聯網,目的在於傳遞更多信息,並不代表本網贊同其觀點和對其真實性負責;如此頁面有侵犯到您的權益,請給站長發送郵件,並提供相關證明(版權證明、身份證正反面、侵權鏈接),站長將在收到郵件24小時內刪除。
加載中...