Instance norm

   本来这周已经写好了轻量级网络的总结（mobilenet和shufflenet)，可是没有来得及保存然后电脑就关机了，写博客也是为了学习东西，所以也不打算重新再写了。还是简要写一下最近用到的instance norm。
   在目前的GAN和style transfer的任务中，目前的IN norm要好于BN，IN主要用于对单张图像的数据做处理，而BN主要是对Bacth的数据做处理。由于BN在训练时每个batch的均值和方差会由于shuffle都会改变，所以可以理解为一种数据增强，而IN可以理解为对数据做一个归一化的操作。
   换句话说，BN的计算是要受其他样本影响的，由于每个batch的均值和标准差不稳定，对于单个数据而言，相对于是引入了噪声，但在分类这种问题上，结果和数据的整体分布有关系，因此需要通过BN获得数据的整体分布。而instance norm的信息都是来自于自身的图片，相当于对全局信息做了一次整合和调整，在图像转换这种问题上，BN获得的整体信息不会带来任何收益，带来的噪声反而会弱化实例之间的独立性。
   总而言之，对于分类这种high level的问题，使用BN优于IN,对于Low level问题，IN优于BN,当然也会有例外，但是目前本人没有遇到过，如果有的话以后会及时分享。