https://liuchenlili.github.io/tags/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/深度学习Hugo Blox Builder (https://hugoblox.com)en-usTue, 12 Nov 2024 00:00:00 +0000https://liuchenlili.github.io/media/logo.svghttps://liuchenlili.github.io/tags/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/https://liuchenlili.github.io/blog/deep-learning/Tue, 12 Nov 2024 00:00:00 +0000https://liuchenlili.github.io/blog/deep-learning/<h1 id="深度学习学习笔记">深度学习学习笔记</h1> <h2 id="1-深度学习概念概览">1. 深度学习概念概览</h2> <ul> <li>深度学习属于机器学习的分支，基于多层神经网络。</li> <li>核心目标：通过多层非线性变换自动学习特征表示。</li> <li>深层模型相比手工特征更具表达能力，但训练更依赖数据和计算资源.</li> </ul> <hr> <h2 id="2-神经网络基础">2. 神经网络基础</h2> <h3 id="21-神经元与计算">2.1 神经元与计算</h3> <ul> <li>神经元计算公式：<br> \( y = f(Wx + b) \)<br> 其中 \(f\) 为激活函数（ReLU、Sigmoid 等）</li> </ul> <h3 id="22-激活函数">2.2 激活函数</h3> <ul> <li><strong>ReLU</strong>：解决梯度消失问题，训练快。</li> <li><strong>Sigmoid / Tanh</strong>：用于概率输出或特定场景。</li> <li><strong>Softmax</strong>：用于多分类。</li> </ul> <h3 id="23-损失函数">2.3 损失函数</h3> <ul> <li><strong>分类</strong>：交叉熵（Cross Entropy）</li> <li><strong>回归</strong>：均方误差（MSE）</li> <li>损失函数用于衡量模型输出与真实标签之间的差距。</li> </ul> <h3 id="24-反向传播与优化器">2.4 反向传播与优化器</h3> <ul> <li>反向传播利用链式法则计算梯度。</li> <li>常见优化器： <ul> <li>SGD</li> <li>Adam（自适应学习率）</li> </ul> </li> </ul> <hr> <h2 id="3-常见网络结构">3. 常见网络结构</h2> <h3 id="31-全连接网络mlp">3.1 全连接网络（MLP）</h3> <ul> <li>结构简单，多用于结构化数据或作为其它模型的基础单元。</li> </ul> <h3 id="32-卷积神经网络cnn">3.2 卷积神经网络（CNN）</h3> <ul> <li>特点：局部感受野、权重共享。</li> <li>应用：图像分类、检测、分割。</li> <li>经典结构：LeNet、AlexNet、VGG、ResNet。</li> </ul> <h3 id="33-循环神经网络rnn--lstm--gru">3.3 循环神经网络（RNN / LSTM / GRU）</h3> <ul> <li>用于处理序列数据（文本、时间序列）。</li> <li>LSTM/GRU 解决普通 RNN 的梯度消失问题。</li> </ul> <h3 id="34-transformer">3.4 Transformer</h3> <ul> <li>使用自注意力机制，捕捉任意位置的依赖关系。</li> <li>并行计算效率高，现为 NLP 和 Vision 的主流架构。</li> <li>常见模型：BERT、GPT、ViT。</li> </ul> <hr> <h2 id="4-深度学习训练流程">4. 深度学习训练流程</h2> <ol> <li>准备数据</li> <li>定义模型结构</li> <li>定义损失函数</li> <li>前向传播计算输出</li> <li>反向传播计算梯度</li> <li>使用优化器更新参数</li> <li>在验证集评估效果</li> <li>调整超参数并迭代训练</li> </ol> <hr> <h2 id="5-训练常见问题及解决策略">5. 训练常见问题及解决策略</h2> <h3 id="51-过拟合">5.1 过拟合</h3> <ul> <li>现象：训练集准确率高，验证集低。</li> <li>解决： <ul> <li>正则化（L2）</li> <li>Dropout</li> <li>数据增强</li> <li>使用更小的模型</li> </ul> </li> </ul> <h3 id="52-梯度消失--梯度爆炸">5.2 梯度消失 / 梯度爆炸</h3> <ul> <li>解决： <ul> <li>使用 ReLU</li> <li>残差连接（ResNet）</li> <li>梯度裁剪</li> </ul> </li> </ul> <h3 id="53-学习率问题">5.3 学习率问题</h3> <ul> <li>学习率过大：训练震荡</li> <li>学习率过小：训练很慢且可能陷入局部最优</li> <li>常用策略：学习率衰减、余弦退火、warmup</li> </ul> <hr> <h2 id="6-参数量计算量与显存">6. 参数量、计算量与显存</h2> <ul> <li>参数量影响模型容量与存储需求。</li> <li>FLOPs（浮点运算量）影响计算成本。</li> <li>显存与 batch size 密切相关。</li> <li>混合精度训练（FP16/BF16）可减少显存并加速训练。</li> </ul> <hr> <h2 id="7-深度学习的主要应用领域">7. 深度学习的主要应用领域</h2> <ul> <li>NLP（文本分类、机器翻译、对话系统）</li> <li>CV（图像分类、目标检测、语义分割）</li> <li>多模态（图文、图像生成、视频理解）</li> <li>时间序列预测（金融、天气、传感器）</li> </ul> <hr> <h2 id="8-学习路径建议">8. 学习路径建议</h2> <ul> <li>数学：线性代数、概率统计、微积分</li> <li>基础编程：Python</li> <li>框架：PyTorch</li> <li>实践：MNIST → CIFAR → Bert → Transformer</li> <li>论文阅读：经典模型结构与优化方法</li> </ul>