基于阿里云达摩院视觉平台搭建多场景人脸口罩检测系统(附效果动图)

image.png

搭建多场景人脸口罩检测系统-基于阿里云视觉智能平台

最后一次的课了,就不辣么水了。这次的试验目的是将用户上传的图片(例如在公共场合的监控照片)进行识别,返回当前图片中的人数、(人)活体的可信度、佩戴口罩的人数以及其占比、未佩戴口罩的人物坐标。可以设置适当的阀值,当达到一定阀值(占比)时进行警告或者通知等处理。

第一步,阿里云控制台获取accesskey

image.png

不管你调用任何的能力,基本都需要获取accesskey。

第二步,去阿里云视觉开放平台查看接口文档

第三步,编写代码(高级CV工程师又上线了)

1.导入需要使用的模块,以及阿里云视觉相关的模块

import os
import json
import time
from urllib import request
import numpy as np
import cv2

from viapi.fileutils import FileUtils
from aliyunsdkcore.client import AcsClient
from aliyunsdkcore.acs_exception.exceptions import ClientException
from aliyunsdkcore.acs_exception.exceptions import ServerException
from aliyunsdkfacebody.request.v20191230.DetectFaceRequest import DetectFaceRequest
from aliyunsdkfacebody.request.v20191230.DetectMaskRequest import DetectMaskRequest

2.出于安全以及模块化的考虑,将阿里云的AccessKey和AccessSecret写入配置文件,需要的时候通过函数调用,代码如下。

#获取accesskeyId和AccessSecret
def get_access():
    with open(r'accesskey.conf', 'r') as f:
        KeyId, Secret = f.read().split()  #split切割
        return KeyId, Secret

3.由于将图片交由阿里云视觉平台处理需要使用阿里云OSS,在阿里云OSS的文档中有关于各大编程语言的上传下载等操作的sdk,但是出于懒惰的考虑,我决定使用阿里云视觉平台提供的临时OSS,默认region就是上海的,而上传图片只需要几行代码就搞定了,简直完美;由于在调用的时候需要区分是上传的是本地文件还是图片URL,所以我多加了一个参数‘bool’,用于方便上传本地或者网络的图片,具体代码如下。

# 上传图片到临时OSS
def uploadImage_2_oss(accessKeyId, accessSecret, uploadUrl, bool):
    file_utils = FileUtils(accessKeyId, accessSecret)
    oss_url = file_utils.get_oss_url(uploadUrl,"jpg",bool)
    return (oss_url)
    # oss_url = file_utils.get_oss_url("/home/xxx.mp4","mp4",True)
    # print(oss_url)

4.准备就绪,编写代码调用阿里云视觉平台的人脸检测定位能力,对通过上传到临时OSS的图片进行处理,并格式化返回的结果,因为我们不需要一些无用的返回结果,只需要返回FaceProbabilityList以及Credibility和FaceCoordinate,对于人脸坐标,其实后面还有的用处,返回json数据以及Face_Number,具体代码如下。

#人脸检测并返回人脸数量、可信度、人脸坐标
def Face_Number_Check(accessKeyId, accessSecret, oss_url):       
    client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')
    request_Face_Number = DetectFaceRequest()
    request_Face_Number.set_accept_format('json')
    request_Face_Number.set_ImageURL(oss_url)
    response_Face_Number = client.do_action_with_exception(request_Face_Number)
    response_Face_Number = str(response_Face_Number, encoding='utf-8')
    res_Face_Data_List = json.loads(response_Face_Number)
    Face_Number = len(res_Face_Data_List['Data']['FaceProbabilityList'])
    Face_Credibility = res_Face_Data_List['Data']['FaceProbabilityList']
    #返回人脸矩形框,分别是[left, top, width, height]
    face_Coordinate = list_split(res_Face_Data_List['Data']['FaceRectangles'],4) 
    C_C_json = {'Coordinate':[], 'Credibility':[]}
    # class1_value.append ('检测到图像中的人脸数共有 %d 个' %Face_Number)
    for i in range(Face_Number):
        C_C_json['Coordinate'].append (face_Coordinate[i])
        C_C_json['Credibility'].append ('%.2f%%' %(Face_Credibility[i]*100))
        # print (face_Coordinate[i])
    return C_C_json, Face_Number

5.由于上方拿到了图片中所有的FaceCoordinate,我们在格式化之前对列表进行分割,以便后续定位切割方便使用,代码如下。

#定义一个数组分割函数,对应一张人脸四个坐标
def list_split(items, n):   
    return [items[i:i+n] for i in range(0, len(items), n)]

6.接下来就要通过本地的处理将图片中的人脸切割出来,我使用的是cv2进行处理的,所以上方格式化的Coordinate就有了用处,切割出来之后临时存入本地即刻上传临时OSS,并在完成后删除切割的图片,将上传好的人脸图片链接写入list,最后返回一个OSS_IMG_List,方便需要的时候使用。代码如下。

#图像人脸分割
def Face_Mask_Recognition(oss_url,ccjson):
    oss_url_list = []
    for i in range(len(ccjson['Coordinate'])):
        x0 = ccjson['Coordinate'][i][0]
        y0 = ccjson['Coordinate'][i][1]
        x1 = ccjson['Coordinate'][i][2] + x0
        y1 = ccjson['Coordinate'][i][3] + y0

        resp = request.urlopen(oss_url)
        image = np.asarray(bytearray(resp.read()), dtype="uint8")
        image = cv2.imdecode(image, cv2.IMREAD_COLOR)
        cropped = image[y0:y1, x0:x1]
        path = "./images/" + str(i) + ".jpg"
        print ('一共%d张人脸图片,正在分割第%d张图片...' %(len(ccjson['Coordinate']), i+1))
        cv2.imwrite(path, cropped)

        #上传至region为上海的临时OSS并返回链接
        uploadPath = path
        oss_url_list.append (uploadImage_2_oss(accessKeyId, accessSecret, uploadPath, True))
        #上传完毕删除文件
        os.remove(path)
    print ('分割完毕,准备进行口罩佩戴识别...')
    print ('-'*80+'\n')
    return oss_url_list

7.有了图片中的人脸图片的OSS链接之后,通过调用阿里云视觉平台的人脸口罩识别能力,对切割好的人脸进行处理识别,对处理的结果进行简单的处理之后,便可以格式化输出了。代码如下。

#人脸口罩识别
def Mask_Detection(accessKeyId, accessSecret, oss_url_list):
    client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')
    request_Mask = DetectMaskRequest()
    request_Mask.set_accept_format('json')

    res_Mask_List = []
    for i in range(len(oss_url_list)):
        print ('正在识别图像中第%d个人脸口罩佩戴情况...' %(i+1))
        request_Mask.set_ImageURL(oss_url_list[i])
        response_Mask = client.do_action_with_exception(request_Mask)
        response_Mask = str(response_Mask, encoding='utf-8')
        res_Mask = json.loads(response_Mask)['Data']['Mask']
        res_Mask_List.append (res_Mask)
        time.sleep(0.5)
    print ('识别完毕,准备格式化输出结果...')
    print ('-'*80+'\n')
    return res_Mask_List

8.由于对于口罩识别的API返回的数据并不是我们想要的,没有戴口罩返回1,戴了返回2,通过简单的转换之后,就可以显示成百分百了,不过只有100%和0%,不过我不尴尬,尴尬的是阿里云,谁叫它只返回1或者2,即戴了或者没戴,代码如下。

#转换口罩识别结果
def numlist2str(islist):
    for x in range(len(islist)):
        if islist[x] == 1:
            islist[x] = '0%'
        else:
            islist[x] = '100%'
    return islist

9.口说无凭,你说图片有几个人脸就几个人脸吗?你说戴了口罩就戴了口罩?为了更直观的表达,还是把原图读取出来,并对人脸进行圈圈,就是画个框框,(本来想要做成戴了口罩的用绿框框,没戴的用红框框,但是由于我比较懒,加上没有时间,以及代码写的太乱了,就不搞了,有兴趣的小伙伴可以搞一下,不难的)

#读取检测的图片,并通过cv2对人脸进行标记,最后显示出来
def showimg():
    #显示检测的图片
    resp = request.urlopen(oss_url)
    image = np.asarray(bytearray(resp.read()), dtype="uint8")
    image = cv2.imdecode(image, cv2.IMREAD_COLOR)

    # 输入参数分别为图像、左上角坐标、右下角坐标、颜色数组、粗细
    for x in range(len(ccjson['Coordinate'])):
        x0 = ccjson['Coordinate'][x][0]
        y0 = ccjson['Coordinate'][x][1]
        x1 = ccjson['Coordinate'][x][2] + x0
        y1 = ccjson['Coordinate'][x][3] + y0
        cv2.rectangle(image, (x0,y0), (x1,y1), (0,0,255), 2)

    cv2.namedWindow("image" , cv2.WINDOW_NORMAL)
    cv2.imshow('image', image)
    cv2.waitKey(0)

10.好了,到最后一步了,写个入口,调用下把子函数,输出下需要的数据就好了。代码如下。

if '__main__' == __name__:

    uploadUrl = input('输入需要检测人脸的图片链接(路径)后回车:\n')
    accessKeyId, accessSecret = get_access()
    oss_url = uploadImage_2_oss(accessKeyId, accessSecret, uploadUrl, False)

    #分割符
    print ('-'*80+'\n')

    #人脸数量及坐标的结果
    ccjson, Face_Number = Face_Number_Check(accessKeyId, accessSecret, oss_url)
    # print (len(ccjson['Coordinate']))

    #分割图片中的人脸并返回分割好的图片链接
    oss_url_list = Face_Mask_Recognition(oss_url,ccjson)


    #识别人脸是否佩戴口罩结果
    result_Mask = Mask_Detection(accessKeyId, accessSecret, oss_url_list)
    result_Mask = numlist2str(result_Mask)

    for x in range(len(ccjson['Coordinate'])):
        print ('检测到第%d张人脸坐标为%s\t人脸概率为%s\t佩戴口罩概率为%s' %(x+1, ccjson['Coordinate'][x], ccjson['Credibility'][x], result_Mask[x]))


    #标记图片中人脸
    showimg()

11.经过简单的图片处理和视觉平台能力的整合,我们来试验一下效果。

首先来一张本地图片

image.png

接着我们进行试验,动图如下。

image.png

再来一张网络图片

image.png

再来一次看看效果。

image.png

第四步,查看返回结果

大概长这样

image.png

结语

至此,就结束了,由于本人学艺不精,算是一个不入门级的选手,如果小伙伴们对此有更好的方法或者思路,欢迎一起讨论。

二月一寻

我是二月一寻,爱折腾的无业游民~

留下你的评论

*评论支持代码高亮<pre class="prettyprint linenums">代码</pre>

相关推荐