Optimizer(优化器)的使用
① 损失函数调用backward方法,就可以调用损失函数的反向传播方法,就可以求出我们需要调节的梯度,我们就可以利用我们的优化器就可以根据梯度对参数进行调整,达到整体误差降低的目的。
① 损失函数调用backward方法,就可以调用损失函数的反向传播方法,就可以求出我们需要调节的梯度,我们就可以利用我们的优化器就可以根据梯度对参数进行调整,达到整体误差降低的目的。
① Python3.6.3相当于一个package,package里面有不同的区域,不同的区域有不同的工具。
① Pytorch中加载数据需要Dataset、Dataloader。
① Anaconda相当于一个工具包,安装了Anaconda相当于安装了很多工具。
① Tensorboad 可以用来查看loss是否按照我们预想的变化,或者查看训练到某一步输出的图像是什么样。
① Transforms当成工具箱的话,里面的class就是不同的工具。例如像totensor、resize这些工具。
在记录的时候,我习惯先写一个ipynb文件,但是每次都要复制黏贴ipynb文件,显得很是麻烦,现在就有这么一个工具,可以完成批量转换,相当方便。
① GPU训练主要有三部分,网络模型、数据(输入、标注)、损失函数,这三部分放到GPU上。
① nn.Module是对所有神经网络提供一个基本的类。
① torchvision中有很多数据集,当我们写代码时指定相应的数据集指定一些参数,它就可以自行下载。
① 最大池化层有时也被称为下采样。
① Dataset只是去告诉我们程序,我们的数据集在什么位置,数据集第一个数据给它一个索引0,它对应的是哪一个数据。
① 卷积核不停的在原图上进行滑动,对应元素相乘再相加。
cuda
① 下面用 CIFAR 10 model网络来完成分类问题,网络模型如下图所示。
① Loss损失函数一方面计算实际输出和目标之间的差距。
① Conv1d代表一维卷积,Conv2d代表二维卷积,Conv3d代表三维卷积。
① 把网络结构放在Sequential里面,好处就是代码写起来比较简介、易懂。
① inplace为原地替换,若为True,则变量的值被替换。若为False,则会创建一个新变量,将函数处理后的值赋值给新变量,原始变量的值没有修改。
① 神经网络训练的就是函数系数$K_$与d。
ok
VGG(
① 首先打开 Anaconda 的 Prompt 终端,输入 jupyter kernelspec list,查看已经安装的 python 版本。如下图所示,只有 Anaconda 自带的 python3。