本文共 4569 字，大约阅读时间需要 15 分钟。

摘要：在拿到数据集之后，需要对数据集进行分析，首先要知道数据集的种类，每个种类的数据情况如何，简单的说就是要看看图片长什么样，有什么特征，归类后有利于我们对数据的分析，以下以“华为云杯”2020深圳开发数据应用创新大赛-生活垃圾图片分类的数据集为例，进行演示

获取后的数据集的数据结构是标准的VOC数据集

一共有14964张图片和44个类别 那么我们将类别分开，为了防止读取文件的时候报编码格式出错，所以已经把类别写入程序，当然在能处理好文件编码问题，直接读取train_classes.txt读取类别名称也是可以的，考虑到不同系统可能会导致文件编码问题，所以本文还是将类别名称写到程序内了，可能会显得程序有点笨重了。代码如下：

import osimport xml.dom.minidomfrom PIL import Image#-------------------提前创建文件夹，用于存放图片类别---------------------#class_names = ['一次性快餐盒', '书籍纸张', '充电宝', '剩饭剩菜', '包', '垃圾桶', '塑料器皿', '塑料玩具', '塑料衣架', '大骨头', '干电池', '快递纸袋', '插头电线', '旧衣服', '易拉罐', '枕头', '果皮果肉', '毛绒玩具', '污损塑料', '污损用纸', '洗护用品', '烟蒂', '牙签', '玻璃器皿', '砧板', '筷子', '纸盒纸箱', '花盆', '茶叶渣', '菜帮菜叶', '蛋壳', '调料瓶', '软膏', '过期药物', '酒瓶', '金属厨具', '金属器皿', '金属食品罐', '锅', '陶瓷器皿', '鞋', '食用油桶', '饮料瓶', '鱼骨']root_dir = os.path.dirname(__file__)images_path = os.path.join(root_dir, 'images')for class_name in class_names:    class_dir = os.path.join(images_path, class_name)    if  not os.path.exists(class_dir):        os.makedirs(class_dir)#-------------------------------------------------------------------------#AnnoPath = r'./VOCdevkit/VOC2007/Annotations/' #标签文件路径imgPath = r'./VOCdevkit/VOC2007/JPEGImages/'  #图片文件路径Annolist = os.listdir(AnnoPath)rate = {   } # 创建一个字典用于存放标签名和对应的出现次数total = 0for annotation in Annolist:    fullname = AnnoPath + annotation    print(fullname,annotation)    image_name = annotation.split('.')[0]    dom = xml.dom.minidom.parse(fullname) # 打开XML文件    # print(fullname,annotation)    print('---------------', total)    collection = dom.documentElement # 获取元素对象    objectlist = collection.getElementsByTagName('object') # 获取标签名为object的信息    for object in objectlist:        namelist = object.getElementsByTagName('name') # 获取子标签name的信息        objectname = namelist[0].childNodes[0].data # 取到name具体的值        if objectname not in rate: # 判断字典里有没有标签，如无添加相应字段            rate[objectname] = 0#----------------------拷贝图片到对应目录------------------------#        image_path = imgPath + image_name+".jpg"        if os.path.exists(image_path):            image = Image.open(image_path)            image.save(os.path.join(images_path, objectname) +'/'+image_name+".jpg")#----------------------------------------------------------------#        rate[objectname] += 1        total += 1print(rate)print(total)

将代码写为depart_classes.py， 执行脚本后就可以将类别分开了。

这样我们就可以更有针对性的去观察不同类的特点，帮助我们对数据集进行分析。

包

玻璃器皿

饮料瓶 花盆 类别太多就不一一放图了，我们可以将ap得分比较低的类单独拿出来分析，通过分析出原因： 1、数据集相对单一（比如上图中的花盆，一个花盆摆了多个pose，本身训练集就比较少） 2、图片数量不够（比如垃圾桶就只有101张图，花盆只有157张图） 3、图片遮挡比较厉害（数据集中有很多遮挡的图片） AP得分低的类都是有上面3个毛病，所有还是需要多数据集进行适当扩充，有助于提升模型的泛化。

除了分开类别之外，我们可以统计一下各个类别的数据有多少，代码如下：

import osimport xml.dom.minidomAnnoPath = r'G:/Annotations/'Annolist = os.listdir(AnnoPath)rate = {   } # 创建一个字典用于存放标签名和对应的出现次数total = 0for annotation in Annolist:    fullname = AnnoPath + annotation    print(fullname,annotation)    dom = xml.dom.minidom.parse(fullname) # 打开XML文件    # print(fullname,annotation)    print('---------------', total)    collection = dom.documentElement # 获取元素对象    objectlist = collection.getElementsByTagName('object') # 获取标签名为object的信息    for object in objectlist:        namelist = object.getElementsByTagName('name') # 获取子标签name的信息        objectname = namelist[0].childNodes[0].data # 取到name具体的值        if objectname not in rate: # 判断字典里有没有标签，如无添加相应字段            rate[objectname] = 0        rate[objectname] += 1        total += 1print(rate)print(total)f=open(r'G:\tiaozhansai\垃圾分类\VOCdevkit\count.txt','w',encoding='utf-8')keys=[]values=[]for key,value in rate.items():    f.write(key+':'+str(value))    keys.append(key)    values.append(value)f.close()#画图import matplotlib.pyplot as plt# object = []# number = []# for key in rate:#     object.append(key)#     number.append(rate[key])# plt.figure()# #解决中文显示问题# plt.rcParams['font.sans-serif']=['SimHei']# plt.rcParams['axes.unicode_minus'] = False# plt.bar(object, number)# # plt.bar(number,object )## plt.title('result')# plt.show()#########################################plt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus'] = Falsefig, ax = plt.subplots()b = ax.barh(range(len(keys)), values, color='#6699CC')# 为横向水平的柱图右侧添加数据标签。for rect in b:    w = rect.get_width()    ax.text(w, rect.get_y() + rect.get_height() / 2, '%d' %            int(w), ha='left', va='center')# 设置Y轴纵坐标上的刻度线标签。ax.set_yticks(range(len(keys)))ax.set_yticklabels(keys)# 不要X横坐标上的label标签。plt.xticks(())plt.title('水平横向的柱状图', loc='center', fontsize='25',          fontweight='bold', color='red')plt.savefig(r'G:\tiaozhansai\垃圾分类\VOCdevkit\count.jpg')plt.show()

将代码写成脚本count_class.py后运行，可以得到以下效果：

转载地址：http://jshxz.baihongyu.com/