Якоря continual-learning повысили запоминание в 28 раз
Метод continual-learning с якорями данных, функций и весов вместе с объединёнными low-rank LoRA-обновлениями поднял удержание после 100 задач с 1,2% до 34,9% — рост в 28 раз. Наивный последовательный fine-tuning забывает почти сразу: половина памяти теряется уже после одной задачи на Symbol-QA и LLM-QA.
- Удержание после 100 задач выросло с 1,2% до 34,9%
- Наивный fine-tuning теряет память уже после 1–2 задач
- Лучший результат даёт комбинация якоря данных и merged LoRA
- Метод проверен только на трёх наборах по 100 задач
Читать дальше
Софт