Mobilenet

• Depthwise卷积与Pointwise卷积
• 高效卷積計算結構 - Depthwise Separable Convolution
• https://arxiv.org/pdf/1704.04861.pdf

我一直以為是數學上相等的（推導），一直到這一篇才比較清楚。

mobilenet 利用計算量少的方式，產生一樣維度的output featuremap。

至於等不等效，就用實際training 來證明。

原來是一次conv計算+一個active function 就可以得到 feature map。

變成兩次conv計算，兩次active functiom 才能得到（一樣大小.數量的）feature map。也就是說，網路的深度增加了。

depth 指的是 color，例如 RGB 三個就是 depth。而不是網路的深度(層數)
原來的 convolution 都是一個kernel 就要包含三個 matrix (R.G.B)分別對 input 的 R.G.B 做各自的 convolution 後，經過 active function加起來變成一個 matrix (feature map)。
depthwise就是三個 R.G.B 做完各自的 convolution 後，用各自的 active function 做出各自的 matrix (feature map)，不要變成一個。
之後再用 1x3 的 kernel 把 R.G.B feature map 經果 activae function 轉成一個 matrix。
這樣舊跟以往的 convolution 一樣的。

做 R.G.B convolution 時，維持分開，不用一個acitvie function 加在一起，所以說是 depthwise separable convolution