深度学习


一、机器学习的应用

1.计算机视觉

image-20230905200400706

2.语音技术

image-20230905195227897

3.自然语言处理

image-20230905200451518

二、神经网络和深度学习

1.发展历程

image-20230905214305937

三、基础知识

1.机器学习的概念image-20230906102033968

image-20230906102227505

2.机器学习的三要素

image-20230906103030309

image-20230906125932734

3.过拟合(overfitting):经验风险的最小化原则使训练集上的误差很低,但是在未知数据上误差很高。

image-20230906200829107

4.防止过拟合:正则化(regularization)

5.常见机器学习的类型

image-20230906201918302

四、线性模型(Linear Model)

1.回归问题

image-20230906204815426

2.分类问题

image-20230906204718842

image-20230906204941560

Logistic回归

image-20230906205206827

$${\sigma(x)=\frac{1}{1+e^{-x}}}$$

image-20230906210426785

学习准则:确定损失函数

image-20230906211419326

衡量两个条件概率的差异——熵(Entropy)

image-20230906211101990

交叉熵(Cross Entropy)

image-20230906212102027

image-20230907101441297

image-20230907104520096

3.多分类问题(Multi-class Classification)

image-20230907110119235

Softmax回归

Softmax Regression,也称为多项(Multinomial)或多类(Multi-Class)的Logistic回归,是Logistic回归在多分类问题上的推广。

Softmax回归中,首先还是利用线性函数作特征的映射(判别函数)

然后利用softmax函数作为非线性的决策函数

image-20230907110512154

归一化

小结

image-20230907110551177

感知机(Perceptron)

image-20230907111122195

image-20230907111142154

y是真实标签(取值为+1或-1)

image-20230907111156150

线性分类模型小结

image-20230907112333535

one-hot向量,如010,100,001这种独热编码


文章作者: nusqx
文章链接: https://nusqx.top
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 nusqx !
评论
  目录