Lecture by X.Dan

# 机器学习概论

# 核心

模型：通常是概率性的 —— 反映现实世界的概率本质
数据：以向量、矩阵或张量的形式表示
训练：通过优化过程寻找函数最小值（使用计算机）
推理：
a) 对新数据进行预测
b) 生成式人工智能：生成新数据

机器学习本质上是通过计算机（并行计算和 GPU）进行细致的参数调优！

# 应用

机器学习方法可以解决多种问题：

回归分析（线性和非线性曲线拟合）
分类任务
聚类问题
生成式人工智能：
- 翻译
- 文本、图像、音频、视频生成

学习范式有以下类型：

监督学习：回归与分类
无监督学习：聚类
强化学习

# 课程信息与目标

大语言模型的快速发展开启了人工智能前所未有的能力，为该领域带来了变革性的转变。本课程旨在提供深入且透彻的数学基础理解，这些基础对于以下方面至关重要：

开发和理解传统机器学习模型。
揭示大语言模型背后的核心原理：超越传统机器学习模型的新理念。

我们将构建理解这场革命所需的脚手架。

# 主要参考书目

C.M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.
C. Bishop, H. Bishop. Deep Learning: Foundations and Concepts. Springer, 2024.
D.J. MacKay. Information Theory, Inference and Learning Algorithms. Cambridge University Press, 2003.

# 额外资源

高级大语言模型（例如 DeepSeek、Qwen3、GLM4.5、Kimi2、GPT-4/5）可用于探索研究和代码辅助。

# 核心机器学习库

Scikit-learn - 全面的通用机器学习算法库，用于传统机器学习任务（分类、回归、聚类）
PyTorch - 灵活的深度学习研究框架，用于自定义神经网络、研究原型开发
Transformers - 最先进的自然语言处理库，用于 NLP 任务、文本生成、翻译

Machine Learning