目录

  • 1 什么是Tensorboard?
  • 2 Tensorboard安装
  • 3 Tensorboard可视化流程
  • 4 Tensorboard可视化实例
    • 4.1 常量可视化
    • 4.2 特征图可视化

1 什么是Tensorboard?

在深度学习领域,网络内部如同黑箱,其中包含大量的连接参数,这给人工调试造成极大的困难。Tensorboard则是神经网络的可视化工具,可以记录训练过程的数字、图像、运行图等内容,方便研究人员对训练参数进行统计,观察神经网络训练过程并指导参数优化。

2 Tensorboard安装

参考Anaconda安装与Python虚拟环境配置保姆级图文教程(附速查字典)创建一个实验用的虚拟环境。进入相应虚拟环境后,输入以下指令即可安装。

pip install tensorboardXpip install tensorboard

安装完成后,进入环境

pythonfrom torch.utils.tensorboard import SummaryWriter

若上述指令不报错即说明安装成功。

3 Tensorboard可视化流程

Tensorboard可视化过程主要为:

  • 为某次实验创建数据记录句柄

    writer = SummaryWriter(path)

    其中path是数据记录日志的存储路径。

  • 通过writer实例的add_xxx方法向日志写入不同类型的观察数据,主要类型有

    Scalars:在模型训练期间显示不同的有用信息
    Graphs:显示模型
    Histogram:使用直方图显示权重
    Distribution:显示权重分布
    Projector:显示主成分分析和T-SNE算法,用于降维

  • 启动Tensorboard可视化引擎

    tensorboard --logdir=<your_log_dir>

    其中可以是单次实验的日志所在路径,也可以是多次实验的父级目录,Tensorboard会自动横向比较各次实验曲线。

4 Tensorboard可视化实例

4.1 常量可视化

这边给大家提供一个很方便的装饰器,实现过程如下

from tensorboardX import SummaryWriterimport os, timeclass Visualizer:    def __init__(self) -> None:        pass    @staticmethod    def visual_scale(title: str, path: str, cover: bool=True):        '''        * @breif: 可视化模型标量数据        * @param[in]: title  -> 图表名称        * @param[in]: path   -> 可视化数据存储路径        * @param[in]: cover  -> 是否覆盖已有可视化数据        '''        def scale(func):            def wrap(*args, **kwargs):                writer = SummaryWriter(log_dir=Visualizer.coverFile(path, cover))                result = func(*args, **kwargs)                if len(result) > 0:                    data_num = len(result[next(iter(result))])                    for i in range(data_num):                        writer.add_scalars(title, {k: v[i] for k, v in result.items()}, i)                return result            return wrap        return scale

使用起来只需要一句话,注意要构造一个字典,记录将要传递给tensorboard的数据:

@visual_scale('loss', './log/fcnn')def main(model, epochs: int, save: bool=False) -> None:    # 生成优化器——随机梯度下降    optimizer = torch.optim.SGD(model.parameters(), 1e-3)    lossParam = {"trainLoss": [], "validLoss": []}    for i in range(epochs):        lossParam["trainLoss"].append(train(i, epochs, model, optimizer))        lossParam["validLoss"].append(validate(i, epochs, model))    if save:        torch.save(model.state_dict(), r"model/{}.pth".format(model.__str__))    return lossParam

4.2 特征图可视化

同样用装饰器的形式构造一个可视化卷积核的工具函数

def visual_kernal(title: str, path: str, append: bool=False):    def kernal(func):        def warp(*args, **kwargs):            if not append and os.path.exists(path):                delFiles(path)            writer = SummaryWriter(log_dir=path)            result = func(*args, **kwargs)            try:                model = kwargs['model']                for name, param in model.named_parameters():                    if 'conv' in name.lower() and 'weight' in name:                        Cout, Cin, Kh, Kw = param.size()                        kernelAll = param.reshape(-1, 1, Kw, Kh)  # 每个通道的卷积核                        kernelGrid = vutils.make_grid(kernelAll, nrow=Cin)                        writer.add_image(f'{title}--{name}', kernelGrid, global_step=0)            except:                raise AttributeError("被修饰函数传入的模型不存在或参数格式有误!")            return result        return warp    return kernal


更多精彩专栏

  • 《ROS从入门到精通》
  • 《Pytorch深度学习实战》
  • 《机器学习强基计划》
  • 《运动规划实战精讲》

源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系