一、机器学习的应用
1.计算机视觉

2.语音技术

3.自然语言处理

二、神经网络和深度学习
1.发展历程

三、基础知识
1.机器学习的概念

2.机器学习的三要素


3.过拟合(overfitting):经验风险的最小化原则使训练集上的误差很低,但是在未知数据上误差很高。

4.防止过拟合:正则化(regularization)
5.常见机器学习的类型

四、线性模型(Linear Model)
1.回归问题

2.分类问题


Logistic回归

$${\sigma(x)=\frac{1}{1+e^{-x}}}$$

学习准则:确定损失函数

衡量两个条件概率的差异——熵(Entropy)

交叉熵(Cross Entropy)



3.多分类问题(Multi-class Classification)

Softmax回归
Softmax Regression,也称为多项(Multinomial)或多类(Multi-Class)的Logistic回归,是Logistic回归在多分类问题上的推广。
Softmax回归中,首先还是利用线性函数作特征的映射(判别函数)
然后利用softmax函数作为非线性的决策函数

归一化
小结

感知机(Perceptron)


y是真实标签(取值为+1或-1)

线性分类模型小结

one-hot向量,如010,100,001这种独热编码