机器学习

Tue, 12 Nov 2024 00:00:00 +0000

1. 机器学习总体概念

机器学习是让机器通过数据自动学习规律的技术。
核心任务是从数据中学习一个函数，用来进行预测或分类。

基本思想：数据 → 模型 → 学习规则（损失函数 + 优化） → 预测能力

机器学习主要分为三类：

监督学习：输入 + 标签（分类、回归）
无监督学习：只有输入（聚类、降维、密度估计）
强化学习：智能体通过与环境交互学习策略

2. 数学基础

机器学习的数学基石包括：

2.1 线性代数

向量、矩阵
矩阵运算（点乘、外积、特征值分解、奇异值分解 SVD）
距离与相似度（欧氏距离、余弦相似度）

2.2 概率论

条件概率
贝叶斯公式
分布（高斯、多项式）
最大似然估计（MLE）

2.3 微积分与优化

导数与梯度
梯度下降（GD）
牛顿法、凸优化理论

3. 监督学习

监督学习以“有标注的数据”为基础，目标是学习输入与输出之间的关系。

3.1 分类问题

输入特征 → 输出离散类别。

典型算法：

逻辑回归
决策树
随机森林
支持向量机（SVM）
KNN
朴素贝叶斯
神经网络（深度学习）

逻辑回归（Logistic Regression）

用于二分类。
本质是线性模型 + Sigmoid 映射成概率。
损失函数：交叉熵。

决策树

通过特征分裂构建树结构。
常见分裂指标：信息增益、Gini 指数。

随机森林

多棵决策树投票产生结果。
有效减少过拟合。

支持向量机（SVM）

寻找最大化间隔的分类超平面。
核技巧可处理非线性数据。

3.2 回归问题

输出连续数值。

典型算法：

线性回归
岭回归、Lasso
SVR（支持向量回归）
GBDT（梯度提升决策树）
XGBoost / LightGBM

线性回归

模型：\( y = w^Tx + b \)
损失：均方误差（MSE）
解法：正规方程或梯度下降。

Lasso & Ridge

通过 L1 或 L2 正则防止过拟合。

4. 无监督学习

无监督学习处理未标注的数据。

4.1 聚类

目标：发现数据内在分组结构。

算法：

K-Means（基于距离）
层次聚类
DBSCAN（基于密度）

K-Means 重点

随机初始化 K 个中心
迭代 “分配 → 更新中心”
目标：最小化簇内平方距离

4.2 降维

常用于可视化、加速训练、减少噪声。

算法：

PCA（主成分分析）
t-SNE（高维可视化）
Autoencoder（自编码器）

PCA

通过奇异值分解找到方差最大的方向。
保留主要成分即可降维。

5. 模型评估

对训练完的模型需要量化效果。

5.1 分类评估指标

准确率 Accuracy
精确率 Precision
召回率 Recall
F1-score
ROC 曲线、AUC

5.2 回归评估指标

MSE 均方误差
MAE 平均绝对误差
\(R^2\) 决定系数

5.3 训练/测试划分

训练集（training）
验证集（validation）
测试集（test）

使用交叉验证（K-fold）提高结果稳定性。

6. 训练流程（通用机器学习 pipeline）

数据收集
数据清洗（缺失值、异常值）
特征工程
选择模型
训练模型
调参（超参数优化）
模型评估
部署或进一步优化

7. 特征工程

机器学习的性能很大程度取决于特征。

7.1 特征处理方法

标准化（Standardization）
归一化（Normalization）
One-hot 编码
特征选择（过滤、包裹、嵌入方法）

7.2 特征重要性

在树模型、线性模型中尤为重要。

8. 过拟合与欠拟合

8.1 过拟合（记住训练集但泛化差）

解决方法：

正则化（L1/L2）
数据增强
交叉验证
降低模型复杂度

8.2 欠拟合（模型太简单）

解决方法：

使用更复杂模型
增加特征
减少正则化

9. 损失函数与优化

损失函数用于度量预测与真实标签的差距。
优化器用于最小化损失。

常见损失

回归：MSE、MAE
分类：交叉熵

常见优化器

梯度下降（GD）
随机梯度下降（SGD）
Adam（适应性学习率）

10. 树模型与 Boosting 系列

树模型在工业界广泛使用。

10.1 GBDT（Gradient Boosting Decision Tree）

使用残差逐步提升模型表现
连续叠加弱学习器（树）

10.2 XGBoost

GBDT 的高性能版本：

特征并行
剪枝算法
更快的训练速度

10.3 LightGBM

基于直方图的高效率算法
更快、更省内存
适合大数据训练

11. 强化学习（基础介绍）

强化学习由“智能体”与“环境”组成。

核心概念：

状态（State）
动作（Action）
奖励（Reward）
策略（Policy）
价值函数（Value Function）

经典方法：

Q-Learning
Deep Q Networks (DQN)
Policy Gradient

12. 机器学习 vs 深度学习

对比项	机器学习	深度学习
数据需求	中等	很大
特征工程	需要人工设计	自动学习
训练成本	较低	高
模型代表	SVM、树模型	CNN、Transformer
适用场景	小中型数据、结构化数据	图像、文本、大规模数据

深度学习学习笔记

Tue, 12 Nov 2024 00:00:00 +0000

深度学习学习笔记

1. 深度学习概念概览

深度学习属于机器学习的分支，基于多层神经网络。
核心目标：通过多层非线性变换自动学习特征表示。
深层模型相比手工特征更具表达能力，但训练更依赖数据和计算资源.

2. 神经网络基础

2.1 神经元与计算

神经元计算公式：
\( y = f(Wx + b) \)
其中 \(f\) 为激活函数（ReLU、Sigmoid 等）

2.2 激活函数

ReLU：解决梯度消失问题，训练快。
Sigmoid / Tanh：用于概率输出或特定场景。
Softmax：用于多分类。

2.3 损失函数

分类：交叉熵（Cross Entropy）
回归：均方误差（MSE）
损失函数用于衡量模型输出与真实标签之间的差距。

2.4 反向传播与优化器

反向传播利用链式法则计算梯度。
常见优化器：
- SGD
- Adam（自适应学习率）

3. 常见网络结构

3.1 全连接网络（MLP）

结构简单，多用于结构化数据或作为其它模型的基础单元。

3.2 卷积神经网络（CNN）

特点：局部感受野、权重共享。
应用：图像分类、检测、分割。
经典结构：LeNet、AlexNet、VGG、ResNet。

3.3 循环神经网络（RNN / LSTM / GRU）

用于处理序列数据（文本、时间序列）。
LSTM/GRU 解决普通 RNN 的梯度消失问题。

3.4 Transformer

使用自注意力机制，捕捉任意位置的依赖关系。
并行计算效率高，现为 NLP 和 Vision 的主流架构。
常见模型：BERT、GPT、ViT。

4. 深度学习训练流程

准备数据
定义模型结构
定义损失函数
前向传播计算输出
反向传播计算梯度
使用优化器更新参数
在验证集评估效果
调整超参数并迭代训练

5. 训练常见问题及解决策略

5.1 过拟合

现象：训练集准确率高，验证集低。
解决：
- 正则化（L2）
- Dropout
- 数据增强
- 使用更小的模型

5.2 梯度消失 / 梯度爆炸

解决：
- 使用 ReLU
- 残差连接（ResNet）
- 梯度裁剪

5.3 学习率问题

学习率过大：训练震荡
学习率过小：训练很慢且可能陷入局部最优
常用策略：学习率衰减、余弦退火、warmup

6. 参数量、计算量与显存

参数量影响模型容量与存储需求。
FLOPs（浮点运算量）影响计算成本。
显存与 batch size 密切相关。
混合精度训练（FP16/BF16）可减少显存并加速训练。

7. 深度学习的主要应用领域

NLP（文本分类、机器翻译、对话系统）
CV（图像分类、目标检测、语义分割）
多模态（图文、图像生成、视频理解）
时间序列预测（金融、天气、传感器）

8. 学习路径建议

数学：线性代数、概率统计、微积分
基础编程：Python
框架：PyTorch
实践：MNIST → CIFAR → Bert → Transformer
论文阅读：经典模型结构与优化方法

神经网络 | Liu chen chen CV

机器学习

1. 机器学习总体概念

2. 数学基础

2.1 线性代数

2.2 概率论

2.3 微积分与优化

3. 监督学习

3.1 分类问题

逻辑回归（Logistic Regression）

决策树

随机森林

支持向量机（SVM）

3.2 回归问题

线性回归

Lasso & Ridge

4. 无监督学习

4.1 聚类

K-Means 重点

4.2 降维

PCA

5. 模型评估

5.1 分类评估指标

5.2 回归评估指标

5.3 训练/测试划分

6. 训练流程（通用机器学习 pipeline）

7. 特征工程

7.1 特征处理方法

7.2 特征重要性

8. 过拟合与欠拟合

8.1 过拟合（记住训练集但泛化差）

8.2 欠拟合（模型太简单）

9. 损失函数与优化

常见损失

常见优化器

10. 树模型与 Boosting 系列

10.1 GBDT（Gradient Boosting Decision Tree）

10.2 XGBoost

10.3 LightGBM

11. 强化学习（基础介绍）

12. 机器学习 vs 深度学习

深度学习学习笔记

深度学习学习笔记

1. 深度学习概念概览

2. 神经网络基础

2.1 神经元与计算

2.2 激活函数

2.3 损失函数

2.4 反向传播与优化器

3. 常见网络结构

3.1 全连接网络（MLP）

3.2 卷积神经网络（CNN）

3.3 循环神经网络（RNN / LSTM / GRU）

3.4 Transformer

4. 深度学习训练流程

5. 训练常见问题及解决策略

5.1 过拟合

5.2 梯度消失 / 梯度爆炸

5.3 学习率问题

6. 参数量、计算量与显存

7. 深度学习的主要应用领域

8. 学习路径建议