关于人脸识别

  • 实现了检测人脸并用方框标注出来,但仅框出人脸作用不大,最好是识别出此人的身份,这样就能做很多事情了,例如签到、告警等,这就是接下来咱们要挑战的人脸识别

  • 人脸识别涉及到两个步骤:训练和识别,接下来简单说明解释一下

  • 先看什么是训练,如下图,用两位天王的六张照片来训练,一共两个类别,训练完成后得到模型文件faceRecognizer.xml

  • 训练成功后, 我们拿一张新的照片给模型去识别,得到的结果是训练时的类别,如此识别完成,我们已确定了新照片的身份:

  • 下面用流程图将训练和识别说得更详细一些:

关于《JavaCV人脸识别三部曲》

《JavaCV人脸识别三部曲》一共三篇文章,内容如下:

  1. 《视频中的人脸保存为图片》:本篇介绍如何通过JavaCV将摄像头中的每个人脸都检测出来,并且把每个人脸保存为图片,这种方法可以让我们快速获取大量人脸照片用于训练
  2. 《训练》:讲述如何用分类好的照片去训练模型
  3. 《识别和预览》:拿到训练好的模型,去识别视频中每一帧的人脸,把结果标注到图片上预览
  • 整个三部曲也是《JavaCV的摄像头实战》系列的一部分,分别是《JavaCV的摄像头实战》系列的的第九、第十、第十一篇

本篇概览

  • 本篇要做的事情就是把训练用的照片准备好
  • 您可能会疑惑:我自己去找一些照片不就行了吗?去网上搜、去相册搜、去拍照不都可以吗?没错,只要找到您想识别的人脸即可,而本篇介绍的是另一种方法:借助摄像头检测人脸,然后将人脸大小的照片保存在硬盘,用这些照片来训练,实测多张照片训练处的模型在检测新照片时效果更好
  • 具体做法如下:
  1. 写个程序,对摄像头的照片做人脸检测,每个检测到的人脸,都作一张图片保存,注意不是摄像头视频帧的完整图片,而是检测出每张人脸,把这个人脸的矩形作为图片保存,而且保存的是灰度图片,不是彩色图片(训练和检测只需要灰度图片)
  2. 然后找个没人的地方运行程序,一个人对着摄像头,开始......搔首弄姿,各种光线明暗、各种角度、各种表情都用上,作为图片保存
  • 用这些图片训练出的模型,由于覆盖了各种亮度、角度、表情,最终的识别效果会更好
  • 接下来我们就来写这段程序吧

源码下载

名称 链接 备注
项目主页 https://github.com/zq2599/blog_demos 该项目在GitHub上的主页
git仓库地址(https) https://github.com/zq2599/blog_demos.git 该项目源码的仓库地址,https协议
git仓库地址(ssh) git@github.com:zq2599/blog_demos.git 该项目源码的仓库地址,ssh协议
  • 这个git项目中有多个文件夹,本篇的源码在javacv-tutorials文件夹下,如下图红框所示:

  • javacv-tutorials里面有多个子工程,《JavaCV的摄像头实战》系列的代码在simple-grab-push工程下:

编码:检测服务

  • 先定义一个检测有关的接口DetectService.java,如下,主要是定义了三个方法init、convert、releaseOutputResource,其中init用于初始化检测服务,convert负责处理单个帧(本篇就是检测出人脸、把人脸照片保存在硬盘),releaseOutputResource在结束的时候被执行,用于释放资源,另外还有个静态方法buildGrayImage,很简单,生成灰度图片对应的Mat对象:
<span style="color:#393939"><span style="background-color:#faf7ef"><code class="language-java"><span style="color:#0000ff">package</span> com.bolingcavalry.grabpush.extend;

<span style="color:#0000ff">import</span> com.bolingcavalry.grabpush.Constants;
<span style="color:#0000ff">import</span> org.bytedeco.javacv.Frame;
<span style="color:#0000ff">import</span> org.bytedeco.javacv.OpenCVFrameConverter;
<span style="color:#0000ff">import</span> org.bytedeco.opencv.opencv_core.*;
<span style="color:#0000ff">import</span> org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
<span style="color:#0000ff">import</span> <span style="color:#0000ff">static</span> org.bytedeco.opencv.global.opencv_core.CV_8UC1;
<span style="color:#0000ff">import</span> <span style="color:#0000ff">static</span> org.bytedeco.opencv.global.opencv_imgcodecs.imwrite;
<span style="color:#0000ff">import</span> <span style="color:#0000ff">static</span> org.bytedeco.opencv.global.opencv_imgproc.*;

<span style="color:#008000">/**
 * <span style="color:#808080">@author</span> willzhao
 * <span style="color:#808080">@version</span> 1.0
 * <span style="color:#808080">@description</span> 检测工具的通用接口
 * <span style="color:#808080">@date</span> 2021/12/5 10:57
 */</span>
<span style="color:#0000ff">public</span> <span style="color:#0000ff">interface</span> <span style="color:#a31515">DetectService</span> {

    <span style="color:#008000">/**
     * 根据传入的MAT构造相同尺寸的MAT,存放灰度图片用于以后的检测
     * <span style="color:#808080">@param</span> src 原始图片的MAT对象
     * <span style="color:#808080">@return</span> 相同尺寸的灰度图片的MAT对象
     */</span>
    <span style="color:#0000ff">static</span> Mat <span style="color:#a31515">buildGrayImage</span>(Mat src) {
        <span style="color:#0000ff">return</span> <span style="color:#0000ff">new</span> <span style="color:#a31515">Mat</span>(src.rows(), src.cols(), CV_8UC1);
    }
    
    <span style="color:#008000">/**
     * 初始化操作,例如模型下载
     * <span style="color:#808080">@throws</span> Exception
     */</span>
    <span style="color:#0000ff">void</span> <span style="color:#a31515">init</span>() <span style="color:#0000ff">throws</span> Exception;

    <span style="color:#008000">/**
     * 得到原始帧,做识别,添加框选
     * <span style="color:#808080">@param</span> frame
     * <span style="color:#808080">@return</span>
     */</span>
    Frame <span style="color:#a31515">convert</span>(Frame frame);

    <span style="color:#008000">/**
     * 释放资源
     */</span>
    <span style="color:#0000ff">void</span> <span style="color:#a31515">releaseOutputResource</span>();
}
</code></span></span>
  • 然后就是DetectService的实现类DetectAndSaveService.java,完整代码如下,有几处要注意的地方稍后提到:
<span style="color:#393939"><span style="background-color:#faf7ef"><code class="language-java"><span style="color:#0000ff">package</span> com.bolingcavalry.grabpush.extend;

<span style="color:#0000ff">import</span> com.bolingcavalry.grabpush.Constants;
<span style="color:#0000ff">import</span> lombok.extern.slf4j.Slf4j;
<span style="color:#0000ff">import</span> org.bytedeco.javacpp.Loader;
<span style="color:#0000ff">import</span> org.bytedeco.javacv.Frame;
<span style="color:#0000ff">import</span> org.bytedeco.javacv.OpenCVFrameConverter;
<span style="color:#0000ff">import</span> org.bytedeco.opencv.opencv_core.*;
<span style="color:#0000ff">import</span> org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
<span style="color:#0000ff">import</span> java.io.File;
<span style="color:#0000ff">import</span> java.net.URL;
<span style="color:#0000ff">import</span> java.text.SimpleDateFormat;
<span style="color:#0000ff">import</span> java.util.Date;
<span style="color:#0000ff">import</span> java.util.concurrent.atomic.AtomicInteger;
<span style="color:#0000ff">import</span> <span style="color:#0000ff">static</span> org.bytedeco.opencv.global.opencv_imgcodecs.imwrite;
<span style="color:#0000ff">import</span> <span style="color:#0000ff">static</span> org.bytedeco.opencv.global.opencv_imgproc.*;

<span style="color:#008000">/**
 * <span style="color:#808080">@author</span> willzhao
 * <span style="color:#808080">@version</span> 1.0
 * <span style="color:#808080">@description</span> 检测人脸并保存到硬盘的服务
 * <span style="color:#808080">@date</span> 2021/12/3 8:09
 */</span>
<span style="color:#2b91af">@Slf4j</span>
<span style="color:#0000ff">public</span> <span style="color:#0000ff">class</span> <span style="color:#a31515">DetectAndSaveService</span> <span style="color:#0000ff">implements</span> <span style="color:#a31515">DetectService</span> {

    <span style="color:#008000">/**
     * 每一帧原始图片的对象
     */</span>
    <span style="color:#0000ff">private</span> <span style="color:#a31515">Mat</span> <span style="color:#008000">grabbedImage</span> <span style="color:#ab5656">=</span> <span style="color:#a31515">null</span>;

    <span style="color:#008000">/**
     * 原始图片对应的灰度图片对象
     */</span>
    <span style="color:#0000ff">private</span> <span style="color:#a31515">Mat</span> <span style="color:#008000">grayImage</span> <span style="color:#ab5656">=</span> <span style="color:#a31515">null</span>;

    <span style="color:#008000">/**
     * 分类器
     */</span>
    <span style="color:#0000ff">private</span> CascadeClassifier classifier;

    <span style="color:#008000">/**
     * 转换器
     */</span>
    <span style="color:#0000ff">private</span> OpenCVFrameConverter.<span style="color:#a31515">ToMat</span> <span style="color:#008000">converter</span> <span style="color:#ab5656">=</span> <span style="color:#0000ff">new</span> <span style="color:#a31515">OpenCVFrameConverter</span>.ToMat();

    <span style="color:#008000">/**
     * 模型文件的下载地址
     */</span>
    <span style="color:#0000ff">private</span> String modelFileUrl;

    <span style="color:#008000">/**
     * 存放人脸图片的位置
     */</span>
    <span style="color:#0000ff">private</span> String basePath;

    <span style="color:#008000">/**
     * 记录图片总数
     */</span>
    <span style="color:#0000ff">private</span> <span style="color:#0000ff">final</span> <span style="color:#a31515">AtomicInteger</span> <span style="color:#008000">num</span> <span style="color:#ab5656">=</span> <span style="color:#0000ff">new</span> <span style="color:#a31515">AtomicInteger</span>();

    <span style="color:#008000">/**
     * 训练的图片尺寸
     */</span>
    <span style="color:#a31515">Size</span> <span style="color:#008000">size</span> <span style="color:#ab5656">=</span> <span style="color:#0000ff">new</span> <span style="color:#a31515">Size</span>(Constants.RESIZE_WIDTH, Constants.RESIZE_HEIGHT);

    <span style="color:#008000">/**
     * 构造方法,在此指定模型文件的下载地址
     * <span style="color:#808080">@param</span> modelFileUrl 人脸检测模型地址
     * <span style="color:#808080">@param</span> basePath 检测出的人脸小图在硬盘上的存放地址
     */</span>
    <span style="color:#0000ff">public</span> <span style="color:#a31515">DetectAndSaveService</span>(String modelFileUrl, String basePath) {
        <span style="color:#0000ff">this</span>.modelFileUrl = modelFileUrl;
        
        <span style="color:#008000">// 图片保存在硬盘的位置,注意文件名的固定前缀是当前的年月日时分秒</span>
        <span style="color:#0000ff">this</span>.basePath = basePath
                      + <span style="color:#0000ff">new</span> <span style="color:#a31515">SimpleDateFormat</span>(<span style="color:#a31515">"yyyyMMddHHmmss"</span>).format(<span style="color:#0000ff">new</span> <span style="color:#a31515">Date</span>())
                      + <span style="color:#a31515">"-"</span>;
    }

    <span style="color:#008000">/**
     * 音频采样对象的初始化
     * <span style="color:#808080">@throws</span> Exception
     */</span>
    <span style="color:#2b91af">@Override</span>
    <span style="color:#0000ff">public</span> <span style="color:#0000ff">void</span> <span style="color:#a31515">init</span>() <span style="color:#0000ff">throws</span> Exception {
        <span style="color:#008000">// 下载模型文件</span>
        <span style="color:#a31515">URL</span> <span style="color:#008000">url</span> <span style="color:#ab5656">=</span> <span style="color:#0000ff">new</span> <span style="color:#a31515">URL</span>(modelFileUrl);

        <span style="color:#a31515">File</span> <span style="color:#008000">file</span> <span style="color:#ab5656">=</span> Loader.cacheResource(url);

        <span style="color:#008000">// 模型文件下载后的完整地址</span>
        <span style="color:#a31515">String</span> <span style="color:#008000">classifierName</span> <span style="color:#ab5656">=</span> file.getAbsolutePath();

        <span style="color:#008000">// 根据模型文件实例化分类器</span>
        classifier = <span style="color:#0000ff">new</span> <span style="color:#a31515">CascadeClassifier</span>(classifierName);

        <span style="color:#0000ff">if</span> (classifier == <span style="color:#a31515">null</span>) {
            log.error(<span style="color:#a31515">"Error loading classifier file [{}]"</span>, classifierName);
            System.exit(<span style="color:#880000">1</span>);
        }
    }

    <span style="color:#2b91af">@Override</span>
    <span style="color:#0000ff">public</span> Frame <span style="color:#a31515">convert</span>(Frame frame) {
        <span style="color:#008000">// 由帧转为Mat</span>
        grabbedImage = converter.convert(frame);

        <span style="color:#008000">// 灰度Mat,用于检测</span>
        <span style="color:#0000ff">if</span> (<span style="color:#a31515">null</span>==grayImage) {
            grayImage = DetectService.buildGrayImage(grabbedImage);
        }

        <span style="color:#a31515">String</span> <span style="color:#008000">filePath</span> <span style="color:#ab5656">=</span> basePath + num.incrementAndGet();

        <span style="color:#008000">// 进行人脸识别,根据结果做处理得到预览窗口显示的帧</span>
        <span style="color:#0000ff">return</span> detectAndSave(classifier, converter, frame, grabbedImage, grayImage, filePath , size);
    }

    <span style="color:#008000">/**
     * 程序结束前,释放人脸识别的资源
     */</span>
    <span style="color:#2b91af">@Override</span>
    <span style="color:#0000ff">public</span> <span style="color:#0000ff">void</span> <span style="color:#a31515">releaseOutputResource</span>() {
        <span style="color:#0000ff">if</span> (<span style="color:#a31515">null</span>!=grabbedImage) {
            grabbedImage.release();
        }

        <span style="color:#0000ff">if</span> (<span style="color:#a31515">null</span>!=grayImage) {
            grayImage.release();
        }

        <span style="color:#0000ff">if</span> (<span style="color:#a31515">null</span>==classifier) {
            classifier.close();
        }
    }

    <span style="color:#008000">/**
     *
     * <span style="color:#808080">@param</span> classifier 分类器
     * <span style="color:#808080">@param</span> converter 转换工具
     * <span style="color:#808080">@param</span> rawFrame 原始帧
     * <span style="color:#808080">@param</span> grabbedImage 原始图片的Mat对象
     * <span style="color:#808080">@param</span> grayImage 原始图片对应的灰度图片的Mat对象
     * <span style="color:#808080">@param</span> basePath 图片的基本路径
     * <span style="color:#808080">@param</span> size 训练时要求的图片大小
     * <span style="color:#808080">@return</span>
     */</span>
    <span style="color:#0000ff">static</span> Frame <span style="color:#a31515">detectAndSave</span>(CascadeClassifier classifier,
                               OpenCVFrameConverter.ToMat converter,
                               Frame rawFrame,
                               Mat grabbedImage,
                               Mat grayImage,
                               String basePath,
                               Size size) {

        <span style="color:#008000">// 当前图片转为灰度图片</span>
        cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);

        <span style="color:#008000">// 存放检测结果的容器</span>
        <span style="color:#a31515">RectVector</span> <span style="color:#008000">objects</span> <span style="color:#ab5656">=</span> <span style="color:#0000ff">new</span> <span style="color:#a31515">RectVector</span>();

        <span style="color:#008000">// 开始检测</span>
        classifier.detectMultiScale(grayImage, objects);

        <span style="color:#008000">// 检测结果总数</span>
        <span style="color:#a31515">long</span> <span style="color:#008000">total</span> <span style="color:#ab5656">=</span> objects.size();

        <span style="color:#008000">// 如果没有检测到结果就提前返回</span>
        <span style="color:#0000ff">if</span> (total<<span style="color:#880000">1</span>) {
            <span style="color:#0000ff">return</span> rawFrame;
        }

        <span style="color:#008000">// 假设现在是一个人对着摄像头,因为此时检测的结果如果大于1,显然是检测有问题</span>
        <span style="color:#0000ff">if</span> (total><span style="color:#880000">1</span>) {
            <span style="color:#0000ff">return</span> rawFrame;
        }

        Mat faceMat;

        <span style="color:#008000">// 如果有检测结果,就根据结果的数据构造矩形框,画在原图上</span>
        <span style="color:#008000">// 前面的判断确保了此时只有一个人脸</span>
        <span style="color:#a31515">Rect</span> <span style="color:#008000">r</span> <span style="color:#ab5656">=</span> objects.get(<span style="color:#880000">0</span>);

        <span style="color:#008000">// 从完整的灰度图中取得一个矩形小图的Mat对象</span>
        faceMat = <span style="color:#0000ff">new</span> <span style="color:#a31515">Mat</span>(grayImage, r);

        <span style="color:#008000">// 训练时用的图片尺寸是固定的,因此这里要调整大小</span>
        resize(faceMat, faceMat, size);

        <span style="color:#008000">// 图片的保存位置</span>
        <span style="color:#a31515">String</span> <span style="color:#008000">imagePath</span> <span style="color:#ab5656">=</span> basePath + <span style="color:#a31515">"."</span> + Constants.IMG_TYPE;

        <span style="color:#008000">// 保存图片到硬盘</span>
        imwrite(imagePath, faceMat);

        <span style="color:#008000">// 人脸的位置信息</span>
        <span style="color:#a31515">int</span> <span style="color:#008000">x</span> <span style="color:#ab5656">=</span> r.x(), y = r.y(), w = r.width(), h = r.height();

        <span style="color:#008000">// 在人脸上画矩形</span>
        rectangle(grabbedImage, <span style="color:#0000ff">new</span> <span style="color:#a31515">Point</span>(x, y), <span style="color:#0000ff">new</span> <span style="color:#a31515">Point</span>(x + w, y + h), Scalar.RED, <span style="color:#880000">1</span>, CV_AA, <span style="color:#880000">0</span>);

        <span style="color:#008000">// 释放检测结果资源</span>
        objects.close();

        <span style="color:#008000">// 将标注过的图片转为帧,返回</span>
        <span style="color:#0000ff">return</span> converter.convert(grabbedImage);
    }
}
</code></span></span>
  • 上述代码有几处要注意:
  1. detectAndSave方法中,当前照片检测出的人脸数如果大于1就提前返回不做处理了,这是因为假定运行程序的时候,摄像头前面只有一个人,所以如果检测出超过一张人脸,就认为当前照片的检测不准确,就不再处理当前照片了(实际使用中发现常有检测失误的情况,例如把一个矩形盒子检测为人脸),这个提前返回的逻辑,您可以根据自己的环境去调整
  2. imwrite方法可以将Mat以图片的形式保存到硬盘
  3. 保存文件到磁盘前调用了resize方法,将图片调整为164*164大小,这是因为后面的训练和检测统一使用该尺寸
  • 现在核心代码已经写完,需要再写一些代码来使用DetectAndSaveService

编码:运行框架

  • 《JavaCV的摄像头实战之一:基础》创建的simple-grab-push工程中已经准备好了父类AbstractCameraApplication,所以本篇继续使用该工程,创建子类实现那些抽象方法即可
  • 编码前先回顾父类的基础结构,如下图,粗体是父类定义的各个方法,红色块都是需要子类来实现抽象方法,所以接下来,咱们以本地窗口预览为目标实现这三个红色方法即可:

  • 新建文件PreviewCameraWithDetectAndSave.java,这是AbstractCameraApplication的子类,其代码很简单,接下来按上图顺序依次说明
  • 先定义CanvasFrame类型的成员变量previewCanvas,这是展示视频帧的本地窗口:
<span style="color:#393939"><span style="background-color:#faf7ef"><code class="language-java"><span style="color:#0000ff">protected</span> CanvasFrame previewCanvas
</code></span></span>
  • 把前面创建的DetectService作为成员变量,后面检测的时候会用到:
<span style="color:#393939"><span style="background-color:#faf7ef"><code class="language-java">    <span style="color:#008000">/**
     * 检测工具接口
     */</span>
    <span style="color:#0000ff">private</span> DetectService detectService;
</code></span></span>
  • PreviewCameraWithDetectAndSave的构造方法,接受DetectService的实例:
<span style="color:#393939"><span style="background-color:#faf7ef"><code class="language-java">    <span style="color:#008000">/**
     * 不同的检测工具,可以通过构造方法传入
     * <span style="color:#808080">@param</span> detectService
     */</span>
    <span style="color:#0000ff">public</span> <span style="color:#a31515">PreviewCameraWithDetectAndSave</span>(DetectService detectService) {
        <span style="color:#0000ff">this</span>.detectService = detectService;
    }
</code></span></span>
  • 然后是初始化操作,可见是previewCanvas的实例化和参数设置:
<span style="color:#393939"><span style="background-color:#faf7ef"><code class="language-java">    <span style="color:#2b91af">@Override</span>
    <span style="color:#0000ff">protected</span> <span style="color:#0000ff">void</span> <span style="color:#a31515">initOutput</span>() <span style="color:#0000ff">throws</span> Exception {
        previewCanvas = <span style="color:#0000ff">new</span> <span style="color:#a31515">CanvasFrame</span>(<span style="color:#a31515">"摄像头预览,检测人脸并保存在硬盘"</span>, CanvasFrame.getDefaultGamma() / grabber.getGamma());
        previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
        previewCanvas.setAlwaysOnTop(<span style="color:#a31515">true</span>);

        <span style="color:#008000">// 检测服务的初始化操作</span>
        detectService.init();
    }
</code></span></span>
  • 接下来是output方法,定义了拿到每一帧视频数据后做什么事情,这里调用了detectService.convert检测人脸并保存图片,然后在本地窗口显示:
<span style="color:#393939"><span style="background-color:#faf7ef"><code class="language-java">    <span style="color:#2b91af">@Override</span>
    <span style="color:#0000ff">protected</span> <span style="color:#0000ff">void</span> <span style="color:#a31515">output</span>(Frame frame) {
        <span style="color:#008000">// 原始帧先交给检测服务处理,这个处理包括物体检测,再将检测结果标注在原始图片上,</span>
        <span style="color:#008000">// 然后转换为帧返回</span>
        <span style="color:#a31515">Frame</span> <span style="color:#008000">detectedFrame</span> <span style="color:#ab5656">=</span> detectService.convert(frame);
        <span style="color:#008000">// 预览窗口上显示的帧是标注了检测结果的帧</span>
        previewCanvas.showImage(detectedFrame);
    }
</code></span></span>
  • 最后是处理视频的循环结束后,程序退出前要做的事情,先关闭本地窗口,再释放检测服务的资源:
<span style="color:#393939"><span style="background-color:#faf7ef"><code class="language-java">    <span style="color:#2b91af">@Override</span>
    <span style="color:#0000ff">protected</span> <span style="color:#0000ff">void</span> <span style="color:#a31515">releaseOutputResource</span>() {
        <span style="color:#0000ff">if</span> (<span style="color:#a31515">null</span>!= previewCanvas) {
            previewCanvas.dispose();
        }

        <span style="color:#008000">// 检测工具也要释放资源</span>
        detectService.releaseOutputResource();
    }
</code></span></span>
  • 由于检测有些耗时,所以两帧之间的间隔时间要低于普通预览:
<span style="color:#393939"><span style="background-color:#faf7ef"><code class="language-java">    <span style="color:#2b91af">@Override</span>
    <span style="color:#0000ff">protected</span> <span style="color:#a31515">int</span> <span style="color:#a31515">getInterval</span>() {
        <span style="color:#0000ff">return</span> <span style="color:#0000ff">super</span>.getInterval()/<span style="color:#880000">8</span>;
    }
</code></span></span>
  • 至此,功能已开发完成,再写上main方法,在实例化DetectAndSaveService的时候注意入参有两个,第一个是人脸检测模型的下载地址,第二个是人脸照片保存在本地的位置,还有action方法的参数1000表示预览持续时间是1000秒:
<span style="color:#393939"><span style="background-color:#faf7ef"><code class="language-java">    <span style="color:#0000ff">public</span> <span style="color:#0000ff">static</span> <span style="color:#0000ff">void</span> <span style="color:#a31515">main</span>(String[] args) {
        <span style="color:#a31515">String</span> <span style="color:#008000">modelFileUrl</span> <span style="color:#ab5656">=</span> <span style="color:#a31515">"https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml"</span>;
        <span style="color:#0000ff">new</span> <span style="color:#a31515">PreviewCameraWithDetectAndSave</span>(
                <span style="color:#0000ff">new</span> <span style="color:#a31515">DetectAndSaveService</span>(
                        modelFileUrl, 
                        <span style="color:#a31515">"E:\\temp\\202112\\18\\001\\man"</span>))
                .action(<span style="color:#880000">1000</span>);
    }
</code></span></span>

抓取第一个人的照片

  • 运行main方法,然后请群众演员A登场,看着他一个人对着摄像头,开始......搔首弄姿,各种光线明暗、各种角度、各种表情都用上吧,哎,不忍直视...

  • 由于开启了预览窗口,因此可以看到摄像头拍摄的效果,出现红框的矩形最终都会被保存为图片,请注意调整角度和表情,群众演员A好像很热衷于自拍,玩得不亦乐乎,好吧,让他放飞自我:

  • 检测的图片到了一定数量就可以结束了,我这里保存了259张,如下图:

  • 对以上照片,建议是用肉眼检查一遍所有照片,把不是人脸的全部删除,我发现了十多张不是人脸的照片,例如下面这张把脸上的一部分识别成了人脸,显然是有问题的,这样的照片就删除吧,不要用在训练了:

  • 上述照片全部保存在E:\temp\202112\18\001\man目录下

抓取第二个人的照片

  • 修改代码,把main方法中存放图片的目录改成E:\temp\202112\18\001\woman,然后再次运行程序,请群众演员B登场,恳求她像前一位群众演员那样一个人对着摄像头,开始......搔首弄姿,各种光线明暗、各种角度、各种表情都用上吧

  • 于是,我们又顺利拿到第二位群众演员的大量人脸图片,记得要肉眼观察每一张照片,把不准确的都删除掉

  • 至此,借助前面编写的程序,我们轻松拿到了两位群众演员的大量人脸照片,其中A的照片保存在E:\temp\202112\18\001\man,B的照片保存在E:\temp\202112\18\001\woman

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐