一、机器学习的应用
1.计算机视觉
2.语音技术
3.自然语言处理
二、神经网络和深度学习
1.发展历程
三、基础知识
1.机器学习的概念
2.机器学习的三要素
3.过拟合(overfitting):经验风险的最小化原则使训练集上的误差很低,但是在未知数据上误差很高。
4.防止过拟合:正则化(regularization)
5.常见机器学习的类型
四、线性模型(Linear Model)
1.回归问题
2.分类问题
Logistic回归
$${\sigma(x)=\frac{1}{1+e^{-x}}}$$
学习准则:确定损失函数
衡量两个条件概率的差异——熵(Entropy)
交叉熵(Cross Entropy)
3.多分类问题(Multi-class Classification)
Softmax回归
Softmax Regression,也称为多项(Multinomial)或多类(Multi-Class)的Logistic回归,是Logistic回归在多分类问题上的推广。
Softmax回归中,首先还是利用线性函数作特征的映射(判别函数)
然后利用softmax函数作为非线性的决策函数
归一化
小结
感知机(Perceptron)
y是真实标签(取值为+1或-1)
线性分类模型小结
one-hot向量,如010,100,001这种独热编码