卷积神经网络结构可视化

简介
- 本文介绍的工具是针对卷积神经网络示意图可视化的，不包括算图。（示意图一般出现在论文中）
- 常见的卷积神经网络示意图绘制工具不少，常用的主要有NN SVG、ConvNetDraw、PlotNeuralNet等。
- 写这篇重点介绍PlotNeuralNet的教程的原因是国内关于它的教程很少并且大都只是列举了官方demo。
常见工具
- NN SVG
  - 官方地址
  - 过去一段时间内比较喜欢用的，特点是很方便，提供给用户的是个交互式的Web页面。
  - 特点
    - 方便，各层直接界面控制增减及变化。
    - 支持三种风格，选择空间大。
    - 支持SVG格式下载。
  - 缺点
    - 可视化界面的最大问题就是很多用户期待的功能为考虑全面，定制程度低。
    - 各层连接不是很好看。
- ConvNetDraw
  - 官方地址
  - 从未使用过，很多博主推荐，但是观感劝退了我。
  - 特点
    - 脚本化控制
    - 尺度自定义
    - 直观
  - 缺点
    - 既没有做到脚本化的自由度，又没有做到交互界面的观感。
    - 不好看。
- PlotNeuralNet
  - 官方地址
    - https://github.com/HarisIqbal88/PlotNeuralNet.git
  - 这是我极力推荐的工具，尽管它的上手难度略高于之前两个，但学会之后很好用，不少论文就是使用这个工具可视化的。
  - 特点
    - 脚本化，使用LaTex编写或者使用Python脚本编写结构模型，自由度高。
  - 缺点
    - 无交互界面，上手略有难度。

使用教程

说明
- 基于Linux或者有bash的环境，我只在Ubuntu系统下测试成功。（事实上，深度学习首选的环境之一就是Linux的Ubuntu）
- 只介绍Python脚本绘制的方式，不介绍LaTex方式。
- 需要安装前置软件，如LaTex解析器。
前置准备
- 安装textlive
  - 调用LaTex解析生成PDF，需要安装LaTex，这里使用TextLive。
  - wget https://mirrors.tuna.tsinghua.edu.cn/CTAN/systems/texlive/Images/texlive2019.iso
    - 上面命令为下载镜像到当前目录，失败则可能换源，去掉上述链接的最后文件，在Web中查看合适文件下载即可。
  - sudo apt-get install perl-tk
    - 安装图形界面
  - sudo mount -o loop texlive.iso /mnt
    - 挂载镜像
  - cd /mnt
    - 切换到挂载目录
  - sudo ./install-tl -gui
    - 使用图形界面安装
  - sudo apt-get install texlive-latex-extra
    - 安装扩展包
下载源码
- git clone https://github.com/HarisIqbal88/PlotNeuralNet.git
- 源码目录结构
  - 其中pycore下的tikzeng.py是核心文件，定义了绘图过程（所有to开头的函数），可以绘制的层，py脚本向LaTex的转换。
  - 代码比较易懂，这里不做解析了。

绘制

一般将自己写的py脚本放在clone的项目的pyexamples目录下。
源目录下有两个py脚本，对其进行详细注释，包含了常用的语法。

代码1-test_simple.py

cd到pyexamples目录执行bash ../tikzmake.sh test_simple（注意不加py后缀，且有些错误正常，观察是否生成pdf文件即可）

  import sys
  sys.path.append('../')  # 添加自定义库的目录
  from pycore.tikzeng import *  #  导入自定义库
  
  # defined your arch
  arch = [
      # 添加头
      to_head( '..' ),
      to_cor(),
      to_begin(),
      # 添加卷积层conv1
      to_Conv("conv1", 512, 64, offset="(0,0,0)", to="(0,0,0)", height=64, depth=64, width=2 ),
      # 卷积层conv1东侧添加池化层pool1
      to_Pool("pool1", offset="(0,0,0)", to="(conv1-east)"),
      # 池化层pool1东侧添加卷积层conv2
      to_Conv("conv2", 128, 64, offset="(1,0,0)", to="(pool1-east)", height=32, depth=32, width=2 ),
      # 建立pool1到conv2的连接箭头
      to_connection( "pool1", "conv2"), 
      # conv2东侧添加pool2
      to_Pool("pool2", offset="(0,0,0)", to="(conv2-east)", height=28, depth=28, width=1),
      # pool1东侧添加softmax层但是偏移３单位
      to_SoftMax("soft1", 10 ,"(3,0,0)", "(pool1-east)", caption="SOFT"  ),
      # 建立pool2到soft1的连接箭头
      to_connection("pool2", "soft1"),    
      # 结束
      to_end()
      ]
  
  
  def main():
      namefile = str(sys.argv[0]).split('.')[0]
      to_generate(arch, namefile + '.tex' )
  
  
  if __name__ == '__main__':
      main()

执行结果

代码2-unet.py

  
  import sys
  sys.path.append('../')
  from pycore.tikzeng import *
  from pycore.blocks  import *
  
  arch = [ 
      # 开头
      to_head('..'), 
      to_cor(),
      to_begin(),
      
      #　添加输入层
      to_input( '../examples/fcn8s/cats.jpg' ),
  
      #  添加block1包含一个二重卷积接relu
      to_ConvConvRelu( name='ccr_b1', s_filer=500, n_filer=(64,64), offset="(0,0,0)", to="(0,0,0)", width=(2,2), height=40, depth=40  ),
      to_Pool(name="pool_b1", offset="(0,0,0)", to="(ccr_b1-east)", width=1, height=32, depth=32, opacity=0.5),
      #  添加三个block，每个包含三个二卷积加一池化
      *block_2ConvPool( name='b2', botton='pool_b1', top='pool_b2', s_filer=256, n_filer=128, offset="(1,0,0)", size=(32,32,3.5), opacity=0.5 ),
      *block_2ConvPool( name='b3', botton='pool_b2', top='pool_b3', s_filer=128, n_filer=256, offset="(1,0,0)", size=(25,25,4.5), opacity=0.5 ),
      *block_2ConvPool( name='b4', botton='pool_b3', top='pool_b4', s_filer=64,  n_filer=512, offset="(1,0,0)", size=(16,16,5.5), opacity=0.5 ),
  
      #  瓶颈，为block5
      to_ConvConvRelu( name='ccr_b5', s_filer=32, n_filer=(1024,1024), offset="(2,0,0)", to="(pool_b4-east)", width=(8,8), height=8, depth=8, caption="Bottleneck"  ),
      to_connection( "pool_b4", "ccr_b5"),
  
      #　解码器
      #  多个block，每个为unconv
      *block_Unconv( name="b6", botton="ccr_b5", top='end_b6', s_filer=64,  n_filer=512, offset="(2.1,0,0)", size=(16,16,5.0), opacity=0.5 ),
      to_skip( of='ccr_b4', to='ccr_res_b6', pos=1.25),
      *block_Unconv( name="b7", botton="end_b6", top='end_b7', s_filer=128, n_filer=256, offset="(2.1,0,0)", size=(25,25,4.5), opacity=0.5 ),
      to_skip( of='ccr_b3', to='ccr_res_b7', pos=1.25),    
      *block_Unconv( name="b8", botton="end_b7", top='end_b8', s_filer=256, n_filer=128, offset="(2.1,0,0)", size=(32,32,3.5), opacity=0.5 ),
      to_skip( of='ccr_b2', to='ccr_res_b8', pos=1.25),    
      
      *block_Unconv( name="b9", botton="end_b8", top='end_b9', s_filer=512, n_filer=64,  offset="(2.1,0,0)", size=(40,40,2.5), opacity=0.5 ),
      to_skip( of='ccr_b1', to='ccr_res_b9', pos=1.25),
      
      to_ConvSoftMax( name="soft1", s_filer=512, offset="(0.75,0,0)", to="(end_b9-east)", width=1, height=40, depth=40, caption="SOFT" ),
      to_connection( "end_b9", "soft1"),
      #  结束
      to_end() 
      ]
  
  
  def main():
      namefile = str(sys.argv[0]).split('.')[0]
      to_generate(arch, namefile + '.tex' )
  
  if __name__ == '__main__':
      main()

执行结果

补充说明
- 封装的各类层函数都在tikzeng.py文件中。
- 具体的代码和结果可以在我的Github找到，欢迎star或者fork。
- 实际项目请按照官方项目更新为主。

yujilin / plotneuralnet Goto Github PK

plotneuralnet's Introduction

卷积神经网络结构可视化

plotneuralnet's People

Recommend Projects

React

Vue.js

Typescript

TensorFlow

Django

Laravel

D3

Recommend Topics

javascript

web

server

Machine learning

Visualization

Game

Recommend Org

Facebook

Microsoft

Google

Alibaba

D3

Tencent