1.机器学习概述

1.1人工智能

(1)概念：

人工智能行业是计算机科学的一个分支，人工智能的应用领域：涵盖了机器人、语言识别、图像识别、自然语言处理、专家系统等多个方面。

(2)发展历程：
起步阶段（20世纪50年代-60年代初）：人工智能概念的提出和初步的研究。
反思阶段（20世纪60年代-70年代初）：人们开始认识到人工智能的局限性和挑战，并开始重新思考和调整研究方向。
应用阶段（20世纪70年代初-80年代中）：这个阶段是人工智能从理论走向实践的重要时期。人工智能被广泛应用于各种领域，如医疗、金融、制造等。

1.2机器学习

（1）概念：在机器学习中，学习是一个训练模型的过程。通过这个过程，我们可以发现正确的参数集，从而使模型强制执行所需的行为。换句话说，我们用数据训练模型。

（2）机器学习分类：

-监督学习：
从有标签的数据中学习统计规律，然后对于新的输入数据进行预测。监督学习主要包括分类和回归两大类问题。
-无监督学习：
从一堆数据中学习其内在统计规律或内在结构，从而实现对数据的聚类、降维、概率估计等。

-半监督学习：
同时使用有标签和无标签的数据进行训练，以提高模型的性能。
-强化学习：
智能体在与环境的交互中，通过试错和学习来寻找最优策略

2.机器学习典型应用领域

2.1 领域

应用领域：艺术创作、金融领域、医疗领域、自然语言处理、网络安全、工业领域、娱乐行业

2.2 计算机视觉

(1)定义：计算机视觉是一门关于如何运用照相机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛（照相机）和大脑（算法），让计算机能够感知环境。

(2)基本任务:包含图像处理、模式识别或图像识别、景物分析、图像理解等。除了图像处理和模
式识别之外，它还包括空间形状的描述，几何建模以及认识过程。实现图像理解是计算机视觉的终极目标。
实现图像理解是计算机视觉的终极目标！

(3)应用:

-图像分类  步骤：数据准备、网络设计、模型训练、模型评估、模型优化

-目标检测：分类+定位  

分为：One-Stage目标检测：端到端，速度快。（YOLO、YOLOX)
           Two-Stage目标检测：速度更慢，最开始提出。(SSD、R-CNN、FasterR-CNN)

YOLO系列：YOLOv1~YOLOv8、YOLOX、YOLOF是最常用的目标检测算法

-实例分割  

-姿态估计

-图像重建

-图像超分辨率

-图像标题生成

-图像风格转换

-物体测量

-物体分拣

-视觉定位

2.3自然语言

(1)定义：深度学习自然语言处理（NaturalLanguageProcessing，NLP）是人
          工智能和语言学领域的分支学科。
自然语言处理包含机器理解、解释和生成人类语言的方法，因此，也将它
描述为自然语言理解和自然语言生成

(2)主要任务：

-情感分析

-机器翻译

-阅读理解

-语言生成

-信息检索

-语言理解

3.机器学习算法与流程

3.1机器学习流程

(1)主要流程：机器学习的主要流程是明确分析目标、数据收集、数据预处理、建模分析、结果评估、部署使用以及学习更新。

(2)机器学习算法分类：决策树、支持向量机、神经网络、朴素贝叶斯、Bayes网络

(3)数据挖掘常用算法：多层前馈神经网络、常见的深度学习神经网络、卷积神经网络、循环神经网络

(4)深度学习：

-卷积神经网络（CNN）

-深度神经网络（DNN）

-循环神经网络（RNN)

-对抗神经网络（GAN）

(5)数据可视化：

-视觉是人类获得信息的最主要途径；

-可视化本身就是一种机器学习方法；

-可视化可以作为数据预处理的方法或者是机器学习过程的表示方式。

-机器学习的结果也可以用可视化的形式表示

3.2分布式机器学习

(1)概念:分布式机器学习（DML）是一种利用多个计算节点协同工作，共同完成机器学习任务的算法和系统。核心思想是将数据和计算任务分发到多个节点上，然后协调它们的工作以完成模型训练。

(2)工具和框架：

ApacheSparkMLlib：基于内存的DML框架，提供了传统机器学习算法的分布式实现。

GraphLab和ApacheSparkGraphX：图并行计算平台，提供了可扩展的机器学习工具包。

DMTK：微软发布的DML工具包，支持数据并行化的统一接口等。

3.3机器学习常见问题

(1)数据质量问题与预处理

-数据量较少
-数据量过多
-维度灾难
-数据不完整
-异常数据
-重复数据
-数据不一致

(2)数据分析常见陷阱

-错误理解相关关系

-错误的比较对象

-数据抽样

-忽略或关注极值

-相信巧合数据

-数据未做归一化

-忽视第三方数据

-过度关心统计指标