Machine Learning
支持向量机 (Support Vector Machine)
反向传播算法 (backward propagation, BP)
Backpropagation, Gradient Descent, - Chain Rule - Forward pass - Backward pass
ChatGPT Principle
ChatGPT 的原理，就是文字接龙（语言模型），通过输入，输出一个机率分布（Probability distribution），然后随机 取样（sample）一个字，加到输入后面，然后再输入到模型中。
GPT 使用预训练（Pre-train）, 或者叫自监督学习（Self-supervised learning）, 生成的模型叫做基石模型（Foundation model）。 预训练作用：多语言习得，在一种语言上训练，其他语言自动学习。
微调（Finetune），在基石模型（Foundation model）上继续学习。
监督学习（Supervised Learning），就是提供成对的学习资料。
强化学习（Reinforcement Learning (RL)）： 我们在某些任务上不知道如何标注数据，但是我们可以提供判断结果的好坏。（It is challenging to label data in some tasks. We can know the results are good or not.）
Professional Words
- Machine Learning ~= Looking for Function
- Deep Learning
- Neural Network
- Downstream tasks
- Generative Adversarial Network
- Anomaly Detection
- Explainable AI
- Model Attack
- Domain Adaptation
- Network Compression
- Life-long Learning
- Meta Learning = Learn to Learn
- Few-shot learning