这项由休斯顿大学计算机科学系与俄克拉荷马大学计算机科学学院联合开展的研究，以预印本形式发布于2026年5月，论文编号为arXiv:2605.06477，有兴趣深入探索的读者可通过该编号检索完整原文。
**一个让人头疼的老问题**
假设你雇了一位精通法语的家教，他把你的法语辅导得相当不错。然而当你第二天让他改教西班牙语时，他居然把昨天学的法语全忘光了——不仅西班牙语教得一塌糊涂，就连原本擅长的法语也变得一片空白。这听起来荒谬可笑，但对于人工智能来说，这恰恰是一个真实存在的困境，有个专门的名字叫做"灾难性遗忘"。
近年来，大型视觉-语言模型（就是那种既能看图又能理解文字的AI系统）变得越来越强大，CLIP就是其中的代表。CLIP由OpenAI训练，在海量图文数据上学会了理解图片和文字之间的关系，因此在识别各种物体时表现出色。但一旦我们想让它在某个专业领域（比如卫星图像分析或者纹理识别）更加精准，就必须对它进行额外训练。问题来了：对某个专业领域训练得越精，模型就越容易遗忘它之前掌握的通用知识，像一个精专于某处却失去全局能力的偏科生。
休斯顿大学与俄克拉荷马大学的研究团队决定正面攻克这个问题。他们的方案不是让AI反复练习所有旧知识（这样代价太高），也不是同时喂给它所有领域的数据（这样管理起来极度复杂），而是发明了一套全新的"叠加"机制，让不同领域的专家模型可以像乐高积木一样拼合在一起，既保留各自的专长，又互不干扰。这套机制被他们命名为**GeoStack**（几何叠加）。
**一、AI世界里的"遗忘病"是如何产生的**
回到开头那位家教的比喻。人类大脑在学新东西时，旧知识通常并不会消失，因为我们的神经网络足够大且灵活，新旧知识可以共存于不同的记忆区域。然而，今天的AI神经网络在面对新任务时，却倾向于直接覆写原来的参数（可以理解为AI的"记忆细胞"），导致旧知识被新知识冲掉。
研究人员面对这个问题，历史上提出过不少应对方法。一种思路是"知识蒸馏"——让新旧两个版本的AI互相对照，确保新AI的输出不要偏离旧AI太远，像是给AI装了一个"守旧刹车"。另一种思路是"数据回放"——在训练新任务时，同时混入一些旧任务的样本数据，强迫AI不忘旧课，就像每天温习旧笔记。还有一种流行方案叫"适配器"（Adapter）——给大模型装上一个小插件，新任务只训练这个插件，主模型保持不变，以此保护原有知识。
适配器方案听起来很完美，但它有一个隐患：每个插件只专注于自己那个领域，当你想把多个插件的知识合并起来时，它们往往会互相打架。将一个卫星图像专家插件和一个纹理识别专家插件同时插入同一个模型，两个插件各自把图像特征拉向不同方向，结果往往两头落空，谁的任务都没做好。
这恰恰是GeoStack要解决的核心矛盾：如何让多个独立训练的专家插件，在合并之后依然各司其职、互不破坏？
**二、乐高积木式的知识叠加——GeoStack的核心思路**
研究团队把GeoStack比作一种"几何变换"的叠加游戏。为了理解这个比喻，先把CLIP的工作原理想象成一个空间。CLIP把图片和文字都压缩成高维空间里的"坐标点"，同一语义的图片和文字坐标应该靠近，不同语义的应该远离。分类的时候，AI就是在这个空间里量量不同坐标之间的距离，从而判断一张图属于哪个类别。
BiCLIP（双线性CLIP）是这项工作的前序研究，其核心思想是：与其直接修改CLIP内部的复杂参数，不如在图像特征和文字特征做距离计算之前，先对图像特征做一个"空间变换"——就像在地图上放一块扭曲的玻璃，让原本看不清楚的专业领域边界变得清晰。这个变换用一个矩阵W来表示（矩阵可以理解为一张描述"如何旋转、缩放、倾斜坐标"的说明书）。
GeoStack在BiCLIP的基础上更进一步。它的关键洞察是：如果每个专家域的变换矩阵W都足够"温和"——也就是说，W对空间的扭曲程度很小，接近于"什么都不变"——那么把多个W依次相乘，就相当于把多个微小扭曲叠加在一起，而不是让后一个扭曲把前一个彻底覆盖掉。这就像几层轻薄的透明滤镜叠在一起，每一层都稍微调整一下颜色，叠加后的效果是各层效果的温和综合，而不是其中某一层完全遮蔽其他层。
为了保证每个变换矩阵W都足够"温和"，研究团队施加了两个数学约束。第一个约束叫做**上三角约束**：每个W必须是一个上三角矩阵（只有对角线及其上方有数字，下方都是零），这种结构在数学上有一个好性质，就是多个上三角矩阵相乘，结果依然是上三角矩阵，整个叠加过程始终在可控的数学框架内运行。第二个约束叫做**扰动先验**：每个W在训练开始时被初始化为单位矩阵（就是"什么都不变"的恒等变换），然后从这个起点出发，只学习一个"微小偏移"。这样每个专家W其实是在说"我在原来不变的基础上，稍微往我的专业领域方向调整了一点"。
**三、数学上为什么这种叠加能保住旧知识**
研究团队用严格的数学推导证明了这种叠加方式的稳定性，这里用更通俗的方式还原这个推理过程。
把每个专家W写成"单位矩阵加上一个小扰动"的形式，即W = I + Δ，其中I代表"什么都不变"，Δ代表针对该领域学到的那一点点偏移量。两个专家叠加时，相当于计算（I+Δa）乘以（I+Δb）。展开来看，结果是I + Δa + Δb + Δa×Δb。由于两个扰动都很小，它们的乘积（Δa×Δb）是一个更小的量，可以忽略不计。于是叠加的最终结果近似于I + Δa + Δb，也就是说，两个专家的贡献被近似地"加"在一起，而不是互相覆盖。
更进一步，这个性质还带来了一个意外的好处：叠加是近似可交换的。Δa加Δb和Δb加Δa近似相等，因此把专家A叠到专家B上，和把专家B叠到专家A上，效果几乎相同。研究团队把这个性质称为"准阿贝尔性"（Quasi-Abelian）——引用了抽象代数中描述"运算顺序不影响结果"的数学概念。这意味着使用者不需要纠结"先加哪个专家、再加哪个专家"的问题，组合顺序几乎无关紧要，省去了大量的排列优化工作。
当然，这种叠加并非无限稳定。随着叠加的专家数量越来越多，每个新加入的小扰动都会对已有专家的知识边界产生一点干扰，累积起来最终会让某些旧领域的分类边界变得模糊，这就是研究团队所说的"边界侵蚀"。这是GeoStack坦然承认的局限性，适用于有限数量的叠加，并非无限可扩展。
**四、如何训练一个"懂得克制"的专家插件——GeoLayer**
GeoStack的叠加能否稳定，关键在于每个专家插件（研究团队称之为GeoLayer，几何层）在训练时就要学会"克制自己的变形幅度"。于是GeoLayer的训练有两个同时进行的目标：一方面要学好本领域的分类任务，另一方面要把自己的变形幅度控制到最小。
第一个目标通过信息论中的对比损失函数（InfoNCE Loss）来实现。简单理解就是：给定一批图片和对应的文字描述，GeoLayer要让正确的图文对在变换后的空间里尽可能靠近，错误的图文对尽可能远离。这个过程就像调整一张地图的投影方式，让同属某专业领域的图片和文字标签聚集在一起。
第二个目标通过"正交损失"（Orthogonality Loss）来实现。正交变换在数学上是指"只旋转不拉伸"的变换，它不会改变各个点之间的距离，对空间的"破坏性"最低。研究团队要求GeoLayer在训练时尽量保持正交性，具体方法是最小化 W的转置乘以W与单位矩阵之差的Frobenius范数（可以理解为衡量W偏离"纯旋转"程度的一个分数，分数越低代表变形越温和）。
最终的训练目标是这两个损失的加权组合，研究团队称之为"凸正交对齐损失"（COA Loss）。权重参数λ控制二者的比例：λ越小，模型更专注于学好当前领域；λ越大，模型更注重保持变形的温和程度以便后续叠加。在实验中，研究团队对大多数数据集将λ设为0.95，对特别专业化的数据集提升到0.99。
这种设计的本质，是在训练时就把"未来要和别人叠加"这件事考虑进去，让每个专家提前学会如何"与人为善"。
**五、折叠技巧——零额外开销的多专家推理**
GeoStack还有一个在工程上极具吸引力的特性，叫做"权重折叠"。CLIP的视觉编码器里有一个投影矩阵P，负责把原始图像特征压缩成最终的图像向量。GeoStack的每个专家层W是一个同维度的方阵。当你把N个专家全部叠加好之后，相当于得到了一个综合变换矩阵Wg = W1 × W2 × ... × Wn。而这个Wg可以直接乘到原始投影矩阵P上，得到一个新的投影矩阵P_eff = P × Wg。
P_eff的维度和结构与原始CLIP的投影矩阵完全相同。也就是说，推理时你根本不需要额外运行N个专家层，只需把P_eff当作普通的CLIP投影矩阵使用即可，推理速度和普通CLIP完全一样，完全没有因为多了N个专家而带来任何额外的计算开销或内存占用。专家数量从1增加到100，推理代价丝毫不变。研究团队将这一特性称为O(1)推理复杂度，这在多任务AI系统的实际部署中是非常宝贵的属性。
此外，GeoLayer只需要训练上三角部分的参数，相当于将参数量削减了约一半，对于ViT-B/16骨干来说大约只需学习13万个参数，训练和存储成本都相当低廉。
**六、多领域适配实验——六个数据集的大考**
研究团队在多个视觉分类数据集上对GeoStack进行了系统性测试，数据集覆盖了差异极大的视觉领域：ImageNet-1K（通用物体）、Caltech-101（通用物体）、Flowers-102（细粒度花卉）、Food-101（细粒度食物）、EuroSAT（卫星遥感图像）以及DTD（纹理图像）。每个专家层在各自对应数据集的16张样本每类（16-shot）协议下独立训练，之后按照不同的叠加顺序组合成一个四层的"四叠堆"模型。
为了呈现不同难度，他们设计了三种叠加方案。第一种叫做"容易栈"，按照ImageNet → Caltech-101 → Food-101 → EuroSAT的顺序叠加，这些领域之间的语义跨度相对平滑。第二种叫做"中等栈"，按照ImageNet → Food-101 → EuroSAT → DTD的顺序，领域间的视觉风格差异更大。第三种叫做"困难栈"，按照ImageNet → EuroSAT → DTD → Flowers的顺序，从通用物体一路跳到卫星图像再到纹理再到花卉，跨度最大、干扰最强。
对比实验包括五种方案：不带任何适配器的原始CLIP（零样本基准）、任务算术结合未约束BiCLIP插件、任务算术结合GeoLayer插件、直接叠乘未约束BiCLIP（无正交损失，λ=0）、以及正式的GeoStack（有正交损失约束）。
结果非常清晰地呈现了几何约束的价值。在容易栈中，GeoStack以84.0%的平均准确率超过了无约束BiCLIP叠乘的83.3%，而两者对应的正交误差分别是0.010和0.022，GeoStack更低的正交误差意味着更温和的变形，因此知识的保留效果更好。在困难栈中，差距进一步拉大。无约束的BiCLIP叠乘使得ImageNet识别率从原本的66.6%骤降到52.6%，这意味着叠加卫星图像、纹理和花卉专家之后，模型连基本的通用物体都认不清楚了。而GeoStack则把ImageNet识别率维持在62.8%，总体平均准确率也从72.6%提升到74.4%。这组数字背后反映的是：当叠加的领域跨度越大、积累的正交误差越高，不加约束的叠加就越快坍塌，而GeoStack的约束越来越显现出其不可或缺性。
**七、增量学习实验——不忘旧课的连续学习**
除了多领域适配，研究团队还在CIFAR-100数据集上测试了GeoStack对抗灾难性遗忘的能力。CIFAR-100包含100类通用图像，研究团队将其切分为4个批次，每批25类，模拟一个AI系统在四个阶段依次学习新类别的场景。每个阶段独立训练一个GeoLayer，然后依次叠加。
关键问题有两个：一是随着类别越来越多，模型的整体识别率能否保持？二是第一批次学到的25个类别，在后续三个新批次叠加进来之后，还能记得多牢？
结果显示，未约束的BiCLIP在第一批次学得最好（86.20%），但随后急剧下滑，到第四批次时跌至60.08%，已经低于不加任何适配器的零样本CLIP的68.11%——相当于越学越差，原有的知识被彻底冲垮。任务算术方案略好，但也在第三批次附近跌破零样本基准。GeoStack则在第四批次时仍保持69.47%，高出零样本基准约1.4%，说明它不仅没有遗忘旧知识，还通过叠加真正获得了增益。
在第一批次知识的保留实验中，BiCLIP经过四个批次的叠加后，对最初那25类的识别率从86.20%跌到72.04%，净损失14.16个百分点。任务算术损失3.92个百分点。GeoStack只损失了2.12个百分点，从77.92%保持到75.80%。这些数字说明，GeoStack的几何约束有效地为旧知识建立了一道防火墙，让新知识的加入不至于烧毁旧有的积累。
研究团队还进行了一个更极端的10批次实验，把CIFAR-100切成10个10类的批次。在叠到第10层时，BiCLIP对第一批次的记忆已经崩溃到21.50%，而GeoStack仍保持在56.00%。在维护基础ImageNet知识方面，GeoStack的最终得分是57.2%，比任务算术结合BiCLIP高出19.4个百分点。这组数字证明了GeoStack的线性退化（随叠加层数缓慢下降）相比BiCLIP的指数级崩溃有着本质的区别。
**八、准阿贝尔性的验证——顺序不重要是真的**
研究团队专门设计了一组实验来验证叠加顺序是否真的不影响结果。他们取出四个领域的专家（ImageNet、Caltech-101、Food-101、EuroSAT），枚举了多种叠加顺序，测量每种顺序下每个领域的识别率。
结果绘制成蜘蛛图（即雷达图），视觉上非常直观地显示：不论把哪个专家放在第一位、哪个放在最后，四个领域的准确率几乎落在同一条轮廓线上。以EuroSAT为例，无论其专家层处于叠加链的哪个位置，识别率稳定在84.49% ± 0.42%的范围内，标准差极小。这个实验有力地验证了理论推导出的准阿贝尔性，告诉用户在实际使用时不必为了找到"最优叠加顺序"而耗费大量精力，任意顺序都能得到近似相同的结果。
**九、正交误差阈值的探索——什么时候叠加会出问题**
研究团队还系统性地研究了"正交误差到多大才会导致知识崩溃"这个问题。他们合成了一系列具有不同程度正交误差的人工专家矩阵，将其叠加到一个EuroSAT专家上，观察EuroSAT识别率的变化趋势。
实验结果揭示了三个清晰的区间。当归一化正交误差低于0.015时，模型处于"稳定高原"，识别率几乎不受干扰，决策边界的稳健性足以吸收外来扰动。当误差在0.015到0.06之间时，模型进入"温和退化区"，识别率开始出现1%到5%的缓慢下滑。当误差达到0.06以上时，模型越过了"灾难性遗忘临界线"，识别率急剧崩溃。这三个阈值为实际使用者提供了一套简单的诊断工具：只需计算一下准备叠加的专家矩阵的正交误差，就能预判叠加是否安全。
值得一提的是，在λ敏感性分析中，研究团队发现将λ从0.5提升到0.99，正交误差从0.0332指数式下降到0.0078，而对应的识别率仅损失2.6%。这意味着通过把训练目标更多倾向于正交约束，可以大幅压低叠加风险，代价只是略微牺牲一点单领域峰值表现。
**十、六层堆叠的极限测试——边界在哪里**
为了探明GeoStack能撑到多少层，研究团队设计了一个六专家叠加实验，引入了两个额外数据集：Stanford Cars（细粒度汽车分类）和Oxford-Pets（细粒度宠物分类），叠加顺序为ImageNet → Oxford-Pets → Flowers → Stanford-Cars → EuroSAT → DTD。这个组合涵盖了通用物体、细粒度动物、花卉、车辆、卫星图像和纹理，是一个涵盖极度多样化语义的六层堆叠。
此时，无约束BiCLIP的累积正交误差飙升到0.1359，远超灾难性遗忘临界线，ImageNet识别率从66.6%暴跌到39.7%，Oxford-Pets的识别率也跌到72.7%，低于零样本基准。GeoStack则把累积正交误差压在0.0142，仍处于稳定高原区间，ImageNet识别率维持在62.2%，Oxford-Pets保持在86.3%，平均识别率73.4%比BiCLIP的64.0%高出9.4个百分点。这组数据说明，在六层叠加的规模下，GeoStack依然是一个可靠的知识组合框架，而无约束方案已经完全失效。
说到底，GeoStack做的事情，是在AI多任务学习这个领域里提供了一种真正实用的"乐高式"知识积木方案。它不要求所有专家同时在场，不要求重新训练，不要求数据共享，不增加推理负担，只需要在每块积木的制造阶段加入一点"克制自己变形幅度"的训练约束，就能让任意数量的专家模块拼合成一个多面手AI，且整体表现明显优于完全不加约束的叠加方案。这对于那些需要在有限计算资源下、随着时间推移逐步扩展AI能力的实际场景——比如医疗机构每年需要适配新疾病图像的筛查系统，或者工业巡检系统需要不断适应新设备——具有直接的参考价值。
当然，边界侵蚀的问题告诉我们，GeoStack并不是万能药。专家数量增多、领域差异越大，叠加稳定性就越受考验，这也为后续研究留下了清晰的改进方向。有兴趣深入了解技术细节的读者，可以通过arXiv编号2605.06477找到完整论文和公开代码，自行进行实验和验证。
Q&A
Q1：GeoStack和普通的多任务AI训练有什么不同？
A：普通的多任务训练需要把所有领域的数据放在一起同时训练，数据越多越复杂、越容易互相干扰。GeoStack则是让每个领域的专家模块各自独立训练，训练时通过正交约束保证变形温和，之后直接用矩阵乘法叠加起来，既不需要数据共享，也不需要重新训练，最终还能折叠成一个和原始模型完全相同结构的推理矩阵，没有额外计算开销。
Q2：GeoStack里的"正交误差"是什么意思？
A：正交误差是衡量一个GeoLayer专家矩阵"变形有多剧烈"的一个分数。正交变换就是只旋转不拉伸的变换，分数越低说明这个专家对特征空间的改动越温和、越像纯旋转，叠加时对其他专家的干扰越小。研究团队通过实验发现，当这个分数低于0.015时叠加非常安全，超过0.06时就会触发灾难性遗忘，中间是一个温和退化的过渡区。
Q3：GeoStack在CIFAR-100增量学习里的表现比零样本CLIP好在哪里？
A：零样本CLIP没有经过任何专门训练，在CIFAR-100 100个类别上的整体准确率约为68.11%。GeoStack通过四个批次的独立专家叠加，最终在100个类别上达到69.47%，不仅没有像BiCLIP那样越学越差（BiCLIP最终跌到60.08%），反而相比零样本基准还略有提升。而且GeoStack对最初学习的25个类别只损失了2.12个百分点的记忆，远低于BiCLIP的14.16个百分点的遗忘量。