【K210】K210学习笔记七——使用K210拍摄照片并在MaixHub上进行训练

  • 前言
  • K210准备工作
  • K210如何拍摄照片
    • 准备工作
    • 拍摄相关代码定义
  • 用K210拍摄到的照片在MaixHub平台上训练模型
  • 测试
    • 未开启数据增强的测试结果
    • 开启数据增强的测试结果
  • 小结

前言

本人大四学生，电赛生涯已经走到尽头，一路上踩过不少坑，但运气也不错拿了两年省一，思来想去，决定开始写博客，将电赛经验分享一二，能力有限，高手轻喷。
往期的博客讲述了 K210 的感光元件模块 sensor 的配置，机器视觉模块 image 中部分函数的使用（目前是用 find_blobs 函数实现一些寻找不同颜色的目标点，寻找不同颜色的线，后面会更新更多 image 模块中的函数使用方法），按键、LCD、LED的使用，定时器的使用，串口通信的方法，以及如何使用MaixHub平台在线训练模型。

sensor 的学习笔记传送门
【K210】K210学习笔记一——sensor
image 的学习笔记传送门
【K210】K210学习笔记二——image
按键、LCD、LED的使用 的学习笔记传送门
【K210】K210学习笔记三——按键、LCD、LED的使用
定时器的使用传送门
【K210】K210学习笔记四——定时器的使用
串口通信传送门
【K210】K210学习笔记五——串口通信
MaixHub在线模型训练传送门
【K210】K210学习笔记六——MaixHub在线模型训练识别数字

串口通信（往期）传送门
【串口通信】K210与STM32串口通信、K210与OpenMV串口通信

本文着重于如何使用K210拍摄图片，并将图片上传到MaixHub平台进行模型训练。补充一下一些经验心得，比如一些训练参数的设置。

K210准备工作

由于K210的RAM只有8M，为了让运行的模型可以更大，避免出现内存不够的情况，需要刷入小一点的固件，固件及刷固件工具如下，我设置的是0积分免费下载。
固件烧入
将压缩包解压，点开kflash文件夹，双击运行程序。

在打开的程序中点击打开文件，然后选择要刷入的固件。

然后点击下载即可开始刷入固件。

K210如何拍摄照片

准备工作

这里需要用到SD卡，首先需要用读卡器打开SD卡，在SD卡根目录下创建一个名为img的文件夹。

然后将SD卡直接插到K210上即可。

拍摄相关代码定义

导入模块，这里打算用K210上自带的按键KEY进行拍照（该按键自动接到16脚），所以除了必要的感光元件模块以外，还需要引入引脚注册模块，lcd是方便脱机拍照（代码烧入后，可以拿个充电宝或者其他的可以输出5V电压的给K210供电，就可以拿着K210拍照了，不然还要带个笔记本电脑怪麻烦的）。

# Get_V1.0 - By: FITQY - 周五 8 月 26 日 2022#__________________________________________________________________# 导入模块import sensor, time, image# 导入感光元件模块 sensor 跟踪运行时间模块 time 机器视觉模块 imageimport utime# 导入延时模块 utimefrom fpioa_manager import fm# 从 fpioa_manager 模块中导入 引脚注册模块 fmfrom Maix import GPIO # 从 Maix 模块中导入 模块 GPIOimport lcd# 导入 LCD 模块

感光元件的设置，比起之前的设置，只是多了倒数第二行的设置图像大小为224 x 224。

#__________________________________________________________________# 感光元件设置sensor.reset()# 重置并初始化感光元件 默认设置为 摄像头频率 24M 不开启双缓冲模式#sensor.reset(freq=24000000, dual_buff=True)# 设置摄像头频率 24M 开启双缓冲模式 会提高帧率 但内存占用增加sensor.set_pixformat(sensor.RGB565) # 设置图像格式为 RGB565 (彩色) 除此之外 还可设置格式为 GRAYSCALE 或者 YUV422sensor.set_framesize(sensor.QVGA) # 设置图像大小为 QVGA (320 x 240) 像素个数 76800 K210最大支持格式为 VGAsensor.set_auto_exposure(0) # 关闭自动曝光#sensor.set_auto_exposure(0, exposure=120000) # 设置手动曝光 曝光时间 120000 us#sensor.set_auto_gain(0)# 关闭画面增益sensor.set_auto_gain(0, gain_db = 16) # 设置画面增益 16 dB 影响实时画面亮度sensor.set_auto_whitebal(0) # 关闭RGB自动增益（白平衡）#sensor.set_auto_whitebal(0, rgb_gain_db = (0,0,0)) # 设置RGB增益 0 0 0 dB 影响画面色彩呈现效果 在 K210 上无法调节增益 初步判定是感光元件 ov2640 无法支持#sensor.set_contrast(0) # 设置对比度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释#sensor.set_brightness(0) # 设置亮度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释#sensor.set_saturation(0) # 设置饱和度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释sensor.set_vflip(1) # 打开垂直翻转 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反sensor.set_hmirror(1) # 打开水平镜像 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反sensor.set_windowing((224,224)) # 设置图像大小为 224 224sensor.skip_frames(time = 2000) # 延时跳过2s 等待感光元件稳定

LED的设置，这一步可以没有，我只是用来判断按键有没有被按下才加的这个，我设置的是，如果按键按下的话，LED会切换。

#__________________________________________________________________# LED的使用# 注册 LED 引脚fm.register(14, fm.fpioa.GPIO2, force = True) # 配置 14 脚为 LED_R 强制注册fm.register(13, fm.fpioa.GPIO1, force = True) # 配置 13 脚为 LED_G 强制注册fm.register(12, fm.fpioa.GPIO0, force = True) # 配置 12 脚为 LED_B 强制注册# 创建 LED 对象LED_R = GPIO(GPIO.GPIO2, GPIO.OUT)# 创建 LED_R 对象LED_G = GPIO(GPIO.GPIO1, GPIO.OUT)# 创建 LED_G 对象LED_B = GPIO(GPIO.GPIO0, GPIO.OUT)# 创建 LED_B 对象# LED控制函数def LED_Control(led_flag):# LED控制函数 根据传入 led_flag 点亮对应的灯 需要注意的是 0为点亮 1为熄灭if led_flag == 0: # 传入参数为 0 所有灯打开LED_R.value(0)LED_G.value(0)LED_B.value(0)elif led_flag == 1: # 传入参数为 1 所有灯关闭LED_R.value(1)LED_G.value(1)LED_B.value(1)elif led_flag == 2: # 传入参数为 2 红灯常亮LED_R.value(0)LED_G.value(1)LED_B.value(1)elif led_flag == 3: # 传入参数为 3 绿灯常亮LED_R.value(1)LED_G.value(0)LED_B.value(1)elif led_flag == 4: # 传入参数为 4 蓝灯常亮LED_R.value(1)LED_G.value(1)LED_B.value(0)else: # 其他情况 紫灯LED_R.value(0)LED_G.value(1)LED_B.value(0)

按键的设置，和往期一样的，只是把另外三个按键删掉了而已，然后在按键0的回调函数中加入了拍照函数。

#__________________________________________________________________# 按键的使用# 定义按键控制类class Key_Control():# 定义按键控制类cnt = 0 # 按键计数值cs= 0 # 按键模式选择标志位csmax = 0 # 按键模式上限csflag= 0 # 按键模式切换标志位cinput= 0 # 按键输入值保存位control = 0 # 按键确认及发送控制标志位img_cnt = 0 # 照片计数值# 实例化按键类key = Key_Control() # 实例化按键控制类 Key_Control() 为 keykey.csmax = 3 # 按键模式上限为 3 即最多有 4 个模式 (0, 1, 2, 3)# 注册按键引脚fm.register(16, fm.fpioa.GPIOHS0, force = True) # 配置 16 脚为 KEY0 使用高速 GPIO 口 强制注册# 创建按键对象KEY0 = GPIO(GPIO.GPIOHS0, GPIO.IN, GPIO.PULL_UP)# 创建按键对象 KEY0# 中断回调函数 KEY0 控制按键模式选择def Key0_Switch(KEY0):utime.sleep_ms(10)# 延时 10ms 消除按键抖动if KEY0.value() == 0: # 确认 按键0 按下key.csflag = 1# 标记按键模式切换if key.cs < key.csmax:# 若当前按键模式值小于按键模式选择上限值key.cs = key.cs + 1 # 控制按键模式选择 自增else: # 若达到上限 则重新从 0 开始key.cs = 0Get_Image(key)# 触发中断的时候拍摄一张照片# 开启中断 下降沿触发KEY0.irq(Key0_Switch, GPIO.IRQ_FALLING) # 开启 按键0 外部中断 下降沿触发

拍照函数如下所示，主要就是根据计数器的值保存照片，可以支持保存0000.jpg到9999.jpg共1万张照片，如果你要保存超过1万张，再加个判断就好了（emm应该也没有什么电赛题目识别的东西需要这么大的数据集吧）

#__________________________________________________________________# 获取照片函数def Get_Image(key):# 拍摄一张照片 保存到 SD卡 的 img 目录下 名字为 000 + key.img_cnt.jpg 如 0001.jpgif key.img_cnt < 10:sensor.snapshot().save("/sd/img/000"+str(key.img_cnt)+".jpg")elif key.img_cnt < 100:sensor.snapshot().save("/sd/img/00"+str(key.img_cnt)+".jpg")elif key.img_cnt < 1000:sensor.snapshot().save("/sd/img/0"+str(key.img_cnt)+".jpg")elif key.img_cnt < 10000:sensor.snapshot().save("/sd/img/"+str(key.img_cnt)+".jpg")key.img_cnt = key.img_cnt + 1 # 计数值自增

然后就是LCD的设置，这一步最好要有，有了会比较方便，还可以在LCD上看到当前拍摄了几张图片（第一行img_cnt后面显示的数字就是拍摄照片的张数）

#__________________________________________________________________# LCD# LCD 初始化lcd.init()# lcd初始化# LCD 打印照片张数def LCD_Show():lcd.draw_string(0, 0,"img_cnt: "+str(key.img_cnt), lcd.BLUE, lcd.WHITE)lcd.draw_string(0, 15, "Gain : "+str(sensor.get_gain_db()), lcd.BLUE, lcd.WHITE)lcd.draw_string(0, 30, "RGBGain: "+str(sensor.get_rgb_gain_db()), lcd.BLUE, lcd.WHITE)

主函数如下所示，key.img_cnt这一句话是设置从第几个序号开始保存照片，举个例子。
比如设置为0，那么就是从0000开始保存。
设置为100，就是从0100开始保存。
这一个设置的目的就是，方便后续添加数据集，比如我现在只拍摄了31张图片，那么img文件夹里面的照片是从0000.jpg到0030.jpg，如果要添加新。的数据集，那么需要将key.img_cnt的值改成31，就可以从0031.jpg开始保存，如果从0000开始的话会覆盖掉之前的照片。

#__________________________________________________________________# 照片起始序号设置key.img_cnt = 0#__________________________________________________________________# 主函数模式选择while(True):clock.tick()# 跟踪运行时间img=sensor.snapshot() # 摄像头拍摄一张图片lcd.display(img)# LCD 显示图像LCD_Show()# LCD 显示照片张数LED_Control(key.cs) # 按键控制 LED 表示按键有成功按下#__________________________________________________________________

完整代码如下，可以复制然后用K210拍摄你的数据集了！

# Get_V1.0 - By: FITQY - 周五 8 月 26 日 2022#__________________________________________________________________# 导入模块import sensor, time, image# 导入感光元件模块 sensor 跟踪运行时间模块 time 机器视觉模块 imageimport utime# 导入延时模块 utimefrom fpioa_manager import fm# 从 fpioa_manager 模块中导入 引脚注册模块 fmfrom Maix import GPIO # 从 Maix 模块中导入 模块 GPIOimport lcd# 导入 LCD 模块#__________________________________________________________________# 感光元件设置sensor.reset()# 重置并初始化感光元件 默认设置为 摄像头频率 24M 不开启双缓冲模式#sensor.reset(freq=24000000, dual_buff=True)# 设置摄像头频率 24M 开启双缓冲模式 会提高帧率 但内存占用增加sensor.set_pixformat(sensor.RGB565) # 设置图像格式为 RGB565 (彩色) 除此之外 还可设置格式为 GRAYSCALE 或者 YUV422sensor.set_framesize(sensor.QVGA) # 设置图像大小为 QVGA (320 x 240) 像素个数 76800 K210最大支持格式为 VGAsensor.set_auto_exposure(0) # 关闭自动曝光#sensor.set_auto_exposure(0, exposure=120000) # 设置手动曝光 曝光时间 120000 us#sensor.set_auto_gain(0)# 关闭画面增益sensor.set_auto_gain(0, gain_db = 16) # 设置画面增益 16 dB 影响实时画面亮度sensor.set_auto_whitebal(0) # 关闭RGB自动增益（白平衡）#sensor.set_auto_whitebal(0, rgb_gain_db = (0,0,0)) # 设置RGB增益 0 0 0 dB 影响画面色彩呈现效果 在 K210 上无法调节增益 初步判定是感光元件 ov2640 无法支持#sensor.set_contrast(0) # 设置对比度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释#sensor.set_brightness(0) # 设置亮度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释#sensor.set_saturation(0) # 设置饱和度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释sensor.set_vflip(1) # 打开垂直翻转 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反sensor.set_hmirror(1) # 打开水平镜像 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反sensor.set_windowing((224,224)) # 设置图像大小为 224 224sensor.skip_frames(time = 2000) # 延时跳过2s 等待感光元件稳定#__________________________________________________________________# 创建时钟对象clock = time.clock()# 创建时钟对象 clock#__________________________________________________________________# LED的使用# 注册 LED 引脚fm.register(14, fm.fpioa.GPIO2, force = True) # 配置 14 脚为 LED_R 强制注册fm.register(13, fm.fpioa.GPIO1, force = True) # 配置 13 脚为 LED_G 强制注册fm.register(12, fm.fpioa.GPIO0, force = True) # 配置 12 脚为 LED_B 强制注册# 创建 LED 对象LED_R = GPIO(GPIO.GPIO2, GPIO.OUT)# 创建 LED_R 对象LED_G = GPIO(GPIO.GPIO1, GPIO.OUT)# 创建 LED_G 对象LED_B = GPIO(GPIO.GPIO0, GPIO.OUT)# 创建 LED_B 对象# LED控制函数def LED_Control(led_flag):# LED控制函数 根据传入 led_flag 点亮对应的灯 需要注意的是 0为点亮 1为熄灭if led_flag == 0: # 传入参数为 0 所有灯打开LED_R.value(0)LED_G.value(0)LED_B.value(0)elif led_flag == 1: # 传入参数为 1 所有灯关闭LED_R.value(1)LED_G.value(1)LED_B.value(1)elif led_flag == 2: # 传入参数为 2 红灯常亮LED_R.value(0)LED_G.value(1)LED_B.value(1)elif led_flag == 3: # 传入参数为 3 绿灯常亮LED_R.value(1)LED_G.value(0)LED_B.value(1)elif led_flag == 4: # 传入参数为 4 蓝灯常亮LED_R.value(1)LED_G.value(1)LED_B.value(0)else: # 其他情况 紫灯LED_R.value(0)LED_G.value(1)LED_B.value(0)#__________________________________________________________________# 按键的使用# 定义按键控制类class Key_Control():# 定义按键控制类cnt = 0 # 按键计数值cs= 0 # 按键模式选择标志位csmax = 0 # 按键模式上限csflag= 0 # 按键模式切换标志位cinput= 0 # 按键输入值保存位control = 0 # 按键确认及发送控制标志位img_cnt = 0 # 照片计数值# 实例化按键类key = Key_Control() # 实例化按键控制类 Key_Control() 为 keykey.csmax = 3 # 按键模式上限为 3 即最多有 4 个模式 (0, 1, 2, 3)# 注册按键引脚fm.register(16, fm.fpioa.GPIOHS0, force = True) # 配置 16 脚为 KEY0 使用高速 GPIO 口 强制注册# 创建按键对象KEY0 = GPIO(GPIO.GPIOHS0, GPIO.IN, GPIO.PULL_UP)# 创建按键对象 KEY0# 中断回调函数 KEY0 控制按键模式选择def Key0_Switch(KEY0):utime.sleep_ms(10)# 延时 10ms 消除按键抖动if KEY0.value() == 0: # 确认 按键0 按下key.csflag = 1# 标记按键模式切换if key.cs < key.csmax:# 若当前按键模式值小于按键模式选择上限值key.cs = key.cs + 1 # 控制按键模式选择 自增else: # 若达到上限 则重新从 0 开始key.cs = 0Get_Image(key)# 触发中断的时候拍摄一张照片# 开启中断 下降沿触发KEY0.irq(Key0_Switch, GPIO.IRQ_FALLING) # 开启 按键0 外部中断 下降沿触发#__________________________________________________________________# 获取照片函数def Get_Image(key):# 拍摄一张照片 保存到 SD卡 的 img 目录下 名字为 000 + key.img_cnt.jpg 如 0001.jpgif key.img_cnt < 10:sensor.snapshot().save("/sd/img/000"+str(key.img_cnt)+".jpg")elif key.img_cnt < 100:sensor.snapshot().save("/sd/img/00"+str(key.img_cnt)+".jpg")elif key.img_cnt < 1000:sensor.snapshot().save("/sd/img/0"+str(key.img_cnt)+".jpg")elif key.img_cnt < 10000:sensor.snapshot().save("/sd/img/"+str(key.img_cnt)+".jpg")key.img_cnt = key.img_cnt + 1 # 计数值自增#__________________________________________________________________# LCD# LCD 初始化lcd.init()# lcd初始化# LCD 打印照片张数def LCD_Show():lcd.draw_string(0, 0,"img_cnt: "+str(key.img_cnt), lcd.BLUE, lcd.WHITE)lcd.draw_string(0, 15, "Gain : "+str(sensor.get_gain_db()), lcd.BLUE, lcd.WHITE)lcd.draw_string(0, 30, "RGBGain: "+str(sensor.get_rgb_gain_db()), lcd.BLUE, lcd.WHITE)#__________________________________________________________________# 照片起始序号设置key.img_cnt = 0#__________________________________________________________________# 主函数模式选择while(True):clock.tick()# 跟踪运行时间img=sensor.snapshot() # 摄像头拍摄一张图片lcd.display(img)# LCD 显示图像LCD_Show()# LCD 显示照片张数LED_Control(key.cs) # 按键控制 LED 表示按键有成功按下#__________________________________________________________________

用K210拍摄到的照片在MaixHub平台上训练模型

因为手头上刚刚好有一个橘子，所以我就用它来做一个识别水果的（但我只做了一个识别橘子），将K210上电，然后对着橘子，按下KEY键即可拍照了。

然后，要用读卡器打开K210上的SD卡，将文件夹img复制到电脑桌面。

然后打开MaixHub平台，链接如下，账号没注册的注册一个就好（上一期有说）
MaixHub在线训练平台
需要新建一个项目，名称就叫水果识别，类型选择图像检测（图像分类只能分类图像，并不能获取目标的坐标信息，因此图像检测用的比较多）

然后创建一个数据集，命名为水果。

然后选中该数据集。


然后将img中的图片上传到该训练集。


然后这一步是上一篇教程中所没有的，需要随机选择几张图片放到验证集中，因为如果验证集中没图片，训练的时候会随机抽取几张图片放到验证集。

然后就是添加标签，设置默认标签，然后一张张开始打标签了。



直到打完所有标签，就可以开始训练了。

训练参数设置如下，这里随机处理中的选项都不选（随机镜像、随机旋转、随机模糊），模型选择nncase，参数是训练200次，批数据量大小是4，然后创建任务即可。

然后需要记住训练的ID，不然后面找不到。

因为是在线训练，不妨我们再创建一个任务，这次将图像增强中的随即部分全部勾选上，其他参数不变，再创建一个训练任务，最后与之前的训练任务比较一下。

同样的需要记住训练ID。

等待训练结束，可以看到，平台告诉我们准确率有1，但是在K210上未必每次都能正确识别到，因为我这里数据量太小了，就拍摄了四十几张图片，镜头拉近拉远可能就无法识别了，如果对镜头到目标的距离有要求的，可以根据实际情况靠近或者远一点拍摄图片。

数据增强的那个训练任务也完成了，可以看到，这个训练的准确度比没数据增强的高出不少。

然后就是下载压缩包，进行测试了。

测试

首先要将压缩包内的模型复制到SD卡中，这里我复制了两个，一个是48，一个是50，48是没有数据增强的，50是有数据增强的。

然后打开48的测试代码测试即可。

记得将这两个参数设置为1哦，这是开启镜头转置。

未开启数据增强的测试结果

未开启数据增强的（序号48）的测试结果不难看出，概率偏低，这是因为我拍摄的大部分图片角度都差不多是同一个角度，因此可能我测试的时候角度换了一点，概率就下降了。

拿在手上的测试结果也不太理想，经常无法识别。

开启数据增强的测试结果

可以看出，概率明显上升了不少。

拿在手上，识别的效果也会比没开启数据增强的好上不少。

由此可得出，若需要提高识别的精准度，需要开启数据增强，如果开启数据增强后效果还是不理想，则需要增大数据集。

小结

使用K210拍摄照片，在MaixHub平台进行模型训练的教程已经做完了，并且分析了下数据增强对实际测试效果的影响。由于我并不是专门学这方面的，因此我感觉我这篇教程还写的不是很好，有新的心得的话，后面我会持续更新的。 下一期主要说怎么将识别到的坐标通过串口通信传输到STM32，因为这里用的代码是MaixHub平台提供的，我需要将其中用得到的部分加入我之前的代码中，然后通过串口通信发送出去，主要是为了方便大家使用，我想让大家可以轻松的搞应用，在各种比赛拿奖，总之我的比赛之路是走到尽头了，就是想将这些经验传承下去吧！下期再见咯！