反思 · 2026年6月18日

昨天参加了 2026 Raicon 大模型及智能体应用会，感触颇深。会上涌现出的许多技术与应用，远远超出了我当前的知识储备。

比如大模型微调中的 LoRA（Low-Rank Adaptation）算法，在此之前我竟闻所未闻让我清晰地感受到了自身认知的边界。

于是，我把这份“无知”当作起点。

关于 LoRA 的简单笔记

• 核心思想：微调时冻结原模型权重，仅训练一个极小的“增量”矩阵，从而避开对海量参数的直接更新。
• 低秩假设：该技术基于一个重要前提——模型在适应新任务时，权重的变化量（ΔW）具有“低秩”特性，可以用更少的维度去近似。
• 实现方式：将原本巨大的 ΔW 分解为两个小型矩阵 A 和 B 的乘积（ΔW = B × A），训练时只更新 A 和 B。
• 主要优势：
  • 显存友好：可降低约 2/3 的显存占用。
  • 参数高效：相比全量微调，可训练参数减少至原来的万分之一甚至更少。
  • 速度提升：计算量大幅削减，训练周期明显缩短。
  • 灵活切换：可为不同任务保留独立的 LoRA 权重，实现即插即用。

接下来的方向

1. 夯实大模型基础：系统学习训练、微调、推理优化等核心环节，不再满足于表面调参。
2. 深入智能体（Agent）领域：从框架原理到工程实践，逐步搭建起完整的认知体系。

学习之路从来都是「知不足，然后学」。今天的记录，便是明天出发的坐标。