Learning note

1. Maching learning

（1）Workflow

（2）Model

①Linear regression

• Model:
  $$y_i=F(x_i)=w{x}_i$$
• Optimization: squared error
  $$\underset{w}{\min }\sum _{i=1}^n(y_i-w{x}_i{)}^2$$
  
• Evaluation
  

---

②Decision Tree

• Model
  
• Example
  
  
  其中，$c_1,c_2$分别是按照划分点s划分后两个类别的样本在所划分属性上各自的均值。

---

③Nearest-Neighbor Classifiers

• Distance
  
• Classification
  

---

④Logistic regression

• Optimization
  
  
  $$\frac{P(y=1|x,w)}{P(y=0|x,w)}=\frac{1}{1-P(y=1|x,w)}-1$$

---

（3）Data
①Distribution

• Testing and Training Dataset
• Observed and Real Dataset (hard to control)

②Sample complexity

其中，$ϵ$可以理解为精度、$1-\delta$理解为置信度、$V{S}_{H,D}$是所有满足精度与置信度条件$ϵ-exhausted$的模型集合。当置信度越高、精度越高时，所需要的训练样本数量$m$增加。

2. Deep Learning

（1）Forward

---

（2）Backward

---

（3）RNN

---

（4）LSTM

---

（5）GRU