预测函数：
$$f_{\theta }(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2$$
目标函数（要使它最小）：
$$E(\theta )=\sum _{i=1}^n(y^{(i)}-f_{\theta }(x^{(i)}){)}^2$$

如何表示预测函数？

预测函数：
$$f_{\theta }(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2$$
这只是一个数据的表达式，当有$n$个训练数据时呢？
$$\mathbf{\theta }=\left[\begin{array}{c}\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\end{array}\end{array}\right]{\mathbf{x}}^{(i)}=\left[\begin{array}{c}\begin{array}{c}1\\ x^{(i)}\\ x^{(i{)}^2}\end{array}\end{array}\right]\mathbf{X}=\left[\begin{array}{c}\begin{array}{c}{x}^{(1{)}^T}\\ x^{(2{)}^T}\\ x^{(3{)}^T}\\ ⋮\\ x^{(n{)}^T}\end{array}\end{array}\right]=\left[\begin{array}{c}\begin{array}{ccc}1& x^{(1)}& x^{(1{)}^2}\\ 1& x^{(2)}& x^{(2{)}^2}\\ 1& x^{(3)}& x^{(3{)}^2}\\ ⋮& & \\ 1& x^{(n)}& x^{(n{)}^2}\end{array}\end{array}\right]$$
$$\mathbf{X}\mathbf{\theta }=\left[\begin{array}{c}\begin{array}{ccc}1& x^{(1)}& x^{(1{)}^2}\\ 1& x^{(2)}& x^{(2{)}^2}\\ 1& x^{(3)}& x^{(3{)}^2}\\ ⋮& & \\ 1& x^{(n)}& x^{(n{)}^2}\end{array}\end{array}\right]\left[\begin{array}{c}\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\end{array}\end{array}\right]=\left[\begin{array}{c}\begin{array}{c}{\theta }_0+{\theta }_1{x}^{(1)}+{\theta }_2{x}^{(1{)}^2}\\ {\theta }_0+{\theta }_1{x}^{(2)}+{\theta }_2{x}^{(2{)}^2}\\ {\theta }_0+{\theta }_1{x}^{(3)}+{\theta }_2{x}^{(3{)}^2}\\ ⋮\\ {\theta }_0+{\theta }_1{x}^{(n)}+{\theta }_2{x}^{(n{)}^2}\end{array}\end{array}\right]$$
Python代码：

# 构建训练矩阵
mu = train_x.mean()
sigma = train_x.std()

## 为了加快收敛速度进行标准化
def standardize(x):
    return (x - mu) / sigma

train_z = standardize(train_x)

## 先将一维数组垂直叠加（vstack）为3行n列的多维数组再转置为n行3列的多维数组
def to_matrix(x):
    return np.vstack((np.ones(len(x)), x, x ** 2)).T

X = to_matrix(train_z)

# 初始化θ为一维数组
theta = np.random.rand(3)


# 构建预测函数，X的形状为(n×3),θ的形状为(3)，即一维数组，系统会自动调整θ的形状为(3×1)，相乘后形状为(1×n)，最后将f(X)还原成向量，形状为(n,)
def f(X):
    return np.dot(X, theta)

函数说明：

numpy.dot()：
对于两个一维的数组，计算的是这两个数组对应下标元素的乘积和(数学上称之为内积)；
对于二维数组，计算的是两个数组的矩阵乘积；
对于多维数组，它的通用计算公式如下，即结果数组中的每个元素都是：数组a的最后一维上的所有元素与数组b的倒数第二位上的所有元素的乘积和： dot(a, b)[i,j,k,m] = sum(a[i,j,:] * b[k,:,m])。
————————————————————————————————————————
特别地，当多维数组与一维数组相乘时，会自动将一维数组变为矩阵，并自动对矩阵进行转置，然后进行矩阵乘法运算，最后结果还原成向量

np.dot与乘号（*）的区别：

NumPy 中有一个功能用于数组元素间运算，称为广播。通常 NumPy 数
组之间做运算时，数组的形状必须一致，但是在两个数组形状不一致却有可
能调整为一致时，该功能就会先调整再进行运算。文字的说明可能不容易理
解，下面通过示例来演示这个功能。

如何表示参数更新表达式？

参数更新表达式：
$${\theta }_j:={\theta }_j-\eta \sum _{i=1}^n(f_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
不难发现不同的$\theta$有不同的参数表达式。因此：
① 我们要利用循环依次对$n$个训练数据求和；
② 我们要分别对三个$\theta$进行更新。
但是按照上述方式计算量过大，能不能利用矩阵一次性完成上述两个任务呢？答案是可以的。
我们将表达式展开：
当$j=0$时：
$${\theta }_0:={\theta }_0-\eta ((f_{\theta }(x^{(1)})-y^{(1)})x_0^{(1)}+(f_{\theta }(x^{(2)})-y^{(2)})x_0^{(2)}+\cdots +(f_{\theta }(x^{(n)})-y^{(n)})x_0^{(n)}$$
不难发现：$(f_{\theta }(x^{(i)})-y^{(i)})$构成一行，$x_0^{(i)}$构成一列，两者相乘得到${\theta }_0$对应的部分更新表达式。

当$j=1$时：
$${\theta }_1:={\theta }_1-\eta ((f_{\theta }(x^{(1)})-y^{(1)})x_1^{(1)}+(f_{\theta }(x^{(2)})-y^{(2)})x_1^{(2)}+\cdots +(f_{\theta }(x^{(n)})-y^{(n)})x_1^{(n)}$$
不难发现：$(f_{\theta }(x^{(i)})-y^{(i)})$构成一行，$x_1^{(i)}$构成一列，两者相乘得到${\theta }_1$对应的部分更新表达式。

当$j=2$时：
$${\theta }_2:={\theta }_1-\eta ((f_{\theta }(x^{(1)})-y^{(1)})x_2^{(1)}+(f_{\theta }(x^{(2)})-y^{(2)})x_2^{(2)}+\cdots +(f_{\theta }(x^{(n)})-y^{(n)})x_2^{(n)}$$
不难发现：$(f_{\theta }(x^{(i)})-y^{(i)})$构成一行，$x_2^{(i)}$构成一列，两者相乘得到${\theta }_1$对应的部分更新表达式。

因此,令 $\mathbf{Y}=\left[\begin{array}{c}\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(n)}\end{array}\end{array}\right]$，又有$\mathbf{X}=\left[\begin{array}{c}\begin{array}{ccc}1& x^{(1)}& x^{(1{)}^2}\\ 1& x^{(2)}& x^{(2{)}^2}\\ 1& x^{(3)}& x^{(3{)}^2}\\ ⋮& & \\ 1& x^{(n)}& x^{(n{)}^2}\end{array}\end{array}\right]$，$\mathbf{\theta }=\left[\begin{array}{c}\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\end{array}\end{array}\right]$不难得出：
$$\mathbf{f}=\left[\begin{array}{c}\begin{array}{c}{f}_{\theta }({\mathbf{x}}^{(1)})-y^{(1)}\\ f_{\theta }({\mathbf{x}}^{(2)})-y^{(2)}\\ ⋮\\ f_{\theta }({\mathbf{x}}^{(n)})-y^{(n)}\end{array}\end{array}\right]=\mathbf{X}\mathbf{\theta }-\mathbf{Y}$$
$$\mathbf{\theta }:={\mathbf{X}}^T\mathbf{f}$$
Python代码：

# 更新参数，f(X)和train_y的形状为(n,)，X的形状为(n×3)，自动将一维数组(f(X) - train_y)转化为形状为(1×n)的矩阵，与X相乘后形状为(1×3)，最后将f(X)还原成向量，形状为(3,)
    theta = theta - ETA * np.dot(f(X) - train_y, X)

评估

均方误差：
$$\frac{1}{n}\sum _{i=1}^n(y^{(i)}-f_{\mathbf{\theta }}({\mathbf{x}}^{(i)}{)}^2$$
Python代码：

# 均方误差,shape[0]读取矩阵第一维度的长度，即数组的行数。
def MSE(x, y):
    return (1 / x.shape[0]) * np.sum((y - f(x)) ** 2)

# 均方误差的历史记录
errors = []

# 重复学习
errors.append(MSE(X, train_y))
while diff > 1e-2:
    # 更新参数
    theta = theta - ETA * np.dot(f(X) - train_y, X)

    # 计算与上一次误差的差值
    errors.append(MSE(X, train_y))
    diff = errors[-2] - errors[-1]

    # 输出日志
    count += 1
    log = '第{}次：theta0 = {:.3f}, theta1 = {:.3f}, theta2 = {:.3f}, 差值 = {:.4f}'
    print(log.format(count, theta[0], theta[1], theta[2], diff))

# 绘制误差变化图
x=np.arange(len(errors))
plt.plot(x,errors)
plt.show() 

随机梯度下降法的实现

$${\theta }_j:={\theta }_j-(f_{\theta }(x^{(k)})-y^{(k)})x_j^{(k)}$$
Python代码：

# 重复学习
errors.append(MSE(X, train_y))
while diff > 1e-2:
    # 为了调整训练数据的顺序，准备随机的序列，输出的是一个序列，假如X.shape[0]=20，那么p是包含0-19的随机序列
    p = np.random.permutation(X.shape[0])
    # 更新参数，使用序列解包对多个变量同时进行赋值。
    for x, y in zip(X[p, :], train_y[p]):
        theta = theta - ETA * (f(x) - y) * x
    # 计算与上一次误差的差值
    errors.append(MSE(X, train_y))
    diff = errors[-2] - errors[-1]

    # 输出日志
    count += 1
    log = '第{}次：theta0 = {:.3f}, theta1 = {:.3f}, theta2 = {:.3f}, 差值 = {:.4f}'
    print(log.format(count, theta[0], theta[1], theta[2], diff))

对 zip 函数的理解：

运行结果：