Тест: L40S дешевле H100 в 3,6–6,8 раза при эмбеддингах BGE

Автор арендовал RTX 5090, L40S, RTX A6000 и H100 PCIe и замерил пропускную способность моделей BGE small, base и large на 128 и 512 токенах. L40S за $0,54/час оказалась дешевле всех: $0,032 за миллион 128-токенных пассажей с bge-small и $0,49 за миллион 512-токенных с bge-large. H100 за $3,86/час была быстрее только на base и large, но стоила в 3,6–6,8 раза дороже за пассаж.

• L40S: $0,032 за 1 млн пассажей bge-small (128 токенов) и $0,49 за bge-large (512)
• H100 быстрее только на bge-base и bge-large, но в 3,6–6,8 раза дороже за пассаж
• На bge-small H100 медленнее RTX 5090: 4 952 против 6 415 пассажей в секунду
• Пиковое потребление памяти не выше 2,3 ГБ даже для bge-large на 512 токенах