- Regression
- Classification
- CNN
- Self-attention
- Transformer
- GAN
- BERT
- Auto encoder
- Explainable AI
- Model Attack
- Domain Adaptation
- Reinforcement Learning
- Network Compression
- Life-long Learning
- Meta Learning
李宏毅 YouTube Channel：https://www.youtube.com/c/HungyiLeeNTU
一、生成式AI（ChatGPT）
一、文字接龙-函式（function）
1. 训练 - f - 测试
2. Chat-GPT关键技术
预训练 Pre-train：GPT,基石模型 Foundation Model;自督导式学习，通过网络资料学习的过程
GPT->ChatGPT：微调（finetune）
自监督式学习 Self-supervised Learning
ChatGPT: G->generative生成的 P->pre-trained预训练 T->Transformer
督导式学习->成对地训练
增强式学习Reinforcement Learning,RL
3. ChatGPT带来的研究问题：
如何精确提出需求 Prompting
如何更正错误 Neural Editing（修改错误不带来新的错误）
侦测AI生成的物件
不小心泄露秘密 Machine Unlearning（遗忘不想泄露的信息）
文字冒险游戏使用 Midjourney 生成文字描述的图片
二、Regression
一、Model - 确定模型
1. Linear model:
$$y=b+\sum{w_ix_i} $$
$x_i$: an attribute of input x
$w_i$: weight
$b$: bias
二、Goodness of Function - 确定损失函数
1. Loss function L:
$$L(f) = L(w,b) $$
$$= /sum{}$$
kaggle JudgeBio