Общая геометрия Фишера — Рао позволяет управлять любыми LLM

Исследование показало, что распределения вероятностей следующего токена у разных семейств LLM сходятся к почти одинаковой метрике Фишера — Рао. Это позволяет одним малодистурбационным вмешательством управлять трансформерами, state-space и рекуррентными моделями, снижая побочные изменения до двух порядков.

• Метрика Фишера — Рао почти совпадает у разных семейств LLM
• Одна коррекция управляет трансформерами, SSM и рекуррентными сетями
• Побочные изменения снижены до двух порядков
• Метод улучшает стиринг, правку знаний и файнтюнинг