Два правила промпта подняли Text-to-SQL на Oracle с 35% до 64%
Разработчик schemagate прогнал лёгкую модель Gemini 2.5 Flash на бенчмарке UniQL по Oracle (1534 вопроса). Добавление в промпт двух правил Oracle — запрета AS перед псевдонимом таблицы и кавычек для зарезервированных слов DATE и NUMBER — подняло точность с первой попытки с 35,0% до 64,5%, выше лучшего опубликованного результата 49,61% у Claude Sonnet 4.5.
- Точность с первой попытки выросла с 35,0% до 64,5% после двух правил Oracle в промпте
- Число неудачных первых запросов упало с 694 до 85
- 551 ошибка из 694 — использование AS перед псевдонимом таблицы, запрещённое в Oracle
- Лучший опубликованный результат UniQL по Oracle — 49,61% у Claude Sonnet 4.5
Читать дальше
ИИ