计算机视觉技术（computer version）

计算机视觉是人工智能的一个重要分支，它要解决的问题就是：看懂图像里的内容。
人的大脑皮层， 有差不多70% 都是在处理视觉信息。 是人类获取信息最主要的渠道，没有之一。
下图是网络上新增数据的占比趋势图。灰色是结构化数据，蓝色是非结构化数据（大部分都是图像和视频）。可以很明显的发现，图片和视频正在以指数级的速度在增长。

而在计算机视觉出现之前，图像对于计算机来说是黑盒的状态。一张图片对于机器只是一个文件。机器并不知道图片里的内容到底是什么，只知道这张图片是什么尺寸，多少MB，什么格式的。如果计算机、人工智能想要在现实世界发挥重要作用，就必须看懂图片！这就是计算机视觉要解决的问题。

1 什么是计算机视觉

	计算机视觉是人工智能的一个重要分支，它要解决的问题就是：看懂图像里的内容。

比如：
图片里的宠物是猫还是狗？
图片里的人是老张还是老王？
在计算机眼里，一张图片读取后，其实是以0-255的像素矩阵矩阵的形式存在的：不同的图片对应不同的像素矩阵，那么这些像素矩阵是如何体现这张图片的内容的呢？这就要说到特征了。

早期处理图片获取图像特征的技术是通过一些算子从中提取特征，比如hog算子等。但是随着深度学习的出现，这些传统方式的应用也逐渐变少了，都转向深度学习这一方向。

2 计算机视觉的原理是什么

目前主流的基于深度学习的机器视觉方法，其原理跟人类大脑工作的原理比较相似。
人类的视觉原理如下：从原始信号摄入开始（瞳孔摄入像素 Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。

机器的方法也是类似：构造多层的神经网络，较低层的识别初级的图像特征，若干底层特征组成更上一层特征，最终通过多个层级的组合，最终在顶层做出分类。

3 计算机视觉的8大任务

3.1 图像分类
图像分类是计算机视觉中重要的基础问题。后面提到的其他任务也是以它为基础的。
举几个典型的例子：人脸识别、相册根据人物自动分类等。
3.2 目标检测
目标检测任务的目标是给定一张图像或是一个视频帧，让计算机找出其中所有目标的位置，并给出每个目标的具体类别。
3.3 语义分割
它将整个图像分成像素组，然后对像素组进行标记和分类。语义分割试图在语义上理解图像中每个像素是什么（人、车、狗、树…）。
如下图，除了识别人、道路、汽车、树木等之外，我们还必须确定每个物体的边界。

3.4 实例分割
除了语义分割之外，实例分割将不同类型的实例进行分类，比如用 5 种不同颜色来标记 5 辆汽车。我们会看到多个重叠物体和不同背景的复杂景象，我们不仅需要将这些不同的对象进行分类，而且还要确定对象的边界、差异和彼此之间的关系！
3.5 视频分类
与图像分类不同的是，分类的对象不再是静止的图像，而是一个由多帧图像构成的、包含语音数据、包含运动信息等的视频对象，因此理解视频需要获得更多的上下文信息，不仅要理解每帧图像是什么、包含什么，还需要结合不同帧，知道上下文的关联信息。
3.6 人体关键点检测
人体关键点检测，通过人体关键节点的组合和追踪来识别人的运动和行为，对于描述人体姿态，预测人体行为至关重要。
3.7 场景文字识别
很多照片中都有一些文字信息，这对理解图像有重要的作用。场景文字识别是在图像背景复杂、分辨率低下、字体多样、分布随意等情况下，将图像信息转化为文字序列的过程。停车场、收费站的车牌识别就是典型的应用场景。
3.8 目标跟踪
目标跟踪，是指在特定场景跟踪某一个或多个特定感兴趣对象的过程。传统的应用就是视频和真实世界的交互，在检测到初始对象之后进行观察。无人驾驶里就会用到这个技术。