Mind Lab LoRA 研究：0.12% 参数增量使 AI 记忆提升 1.31 倍

機器之心於 6 月 2 日報道，心洲科技（Mindverse）旗下 Mind Lab 近期連續發布 LoRA 與 PEFT 高效微調的研究成果。δ-mem 關鍵指標為：以低至 0.12% 參數增量，在 Memory Agent Bench 和 LoCoMo 重度記憶基準測試中帶來 1.31 倍和 1.20 倍性能提升。

δ-mem：確認的技術機制與基準測試數字

δ-mem 是一種針對 LoRA 特性設計的平行混合線性注意力架構。傳統 Transformer 的 KV cache 在推理中為凍結緩存，本身不具備更新能力；δ-mem 引入「在線關聯記憶狀態」（Online State of Associative Memory），維護一個 8×8 矩陣，在 token 輸入過程中以增量規則（delta-rule learning）持續更新，在生成時對主幹網路的 Attention Query 和 Output 施加低秩校正（low-rank corrections）。

依據 Mind Lab 官方數字：

參數增量：低至 0.12%

Memory Agent Bench 提升：1.31 倍

LoCoMo 提升：1.20 倍

即使移除顯式歷史上下文：仍能恢復大量相關資訊

MinT：百萬 LoRA 訓推基礎設施的確認性能指標

MinT 是專為 LoRA 訓練和在線服務打造的託管基礎設施系統。設計核心：基礎模型長期常駐於訓練與推理服務中，每次訓練完成後匯出的是輕量 LoRA Adapter（在 Rank-1 配置下可低至基礎模型的約 0.1%），上線新策略無需合併完整模型或重新載入。

依據 Mind Lab 官方數字：

訓練完成到推理服務可用的交接時間縮短：最多 18.3 倍

引擎即時載入速度提升（通過 MoE LoRA 張量打包）：8.5 至 8.7 倍

二階段 rollout 機制下：使用者可見的 LoRA 載入 p95 降至 0

首請求 TTFT p95 縮短：2.3 倍

LoRA 擴展定律論文《On the Scaling of PEFT》提出三大擴展軸：Scale up（修正 1T 稀疏 MoE 上的路由重播機制失效問題）、Scale down（OLoRA-tail 初始化，利用次要奇異向量提升 Rank-1 穩定性，無需增加參數）、Scale out（LoRA as Memory 概念，多模型投票下準確率隨模型數量 k 呈對數增長規律）。

Macaron-A2UI：確認的基準測試成績

Macaron-A2UI 基於 MinT 平台，在 30B、235B 和 754B 的大語言模型底座上，依次使用基於 LoRA 的 SFT 和 GRPO 強化學習訓練而成。模型能在文本輸出之外生成結構化的 A2UI 可執行動作（多重選取框、滑桿、確認卡片等）。

依據 Mind Lab 官方數字：Macaron-A2UI-Venti 在 A2UI-Bench 上取得 75.6 分，在僅使用輕量級 Schema 提示的情況下，超越輸入完整冗長 Schema（長度約為 27 倍）的最強前沿模型基線。

常見問題

δ-mem 的 0.12% 參數增量是如何以如此低的代價實現記憶性能提升的？

δ-mem 引入了一個 8×8 的在線關聯記憶狀態矩陣（而非傳統的靜態 KV cache），以增量規則持續更新，並在生成時對主幹 Transformer 施加低秩校正。這種設計讓模型在不依賴顯式歷史上下文的情況下恢復相關資訊，僅需 0.12% 的參數增量即可實現 1.31 倍的記憶提升。

MinT 如何在不重新載入完整模型的情況下管理百萬數量級的 LoRA？

MinT 將基礎模型長期常駐於訓練和推理服務中，每次更新只移動和載入輕量的 LoRA Adapter，體積通常不到基礎模型的 1%。MoE LoRA 張量打包解決了大量小物件讀寫瓶頸；二階段 rollout 機制確保 LoRA 在 admission 控制下完成預熱後才對用戶流量可見，將 p95 載入延遲降至 0。

Macaron-A2UI 與傳統純文本 AI 助理有何根本差異？

Macaron-A2UI 在文本輸出之外，能夠在即時互動中生成結構化的 A2UI 可執行動作（多重選取框、滑桿、確認卡片等），旨在降低複雜任務的認知負荷，並依據用戶個性化習慣持續學習。