EmbeddingGemma 2 в FiftyOne: поиск видео по тексту, звуку и веб-камере

Google DeepMind выпустила EmbeddingGemma 2 — открытую модель на 740 млн параметров, которая проецирует текст, изображения, видео и аудио в единое 768-мерное пространство. В туториале FiftyOne на 10 тыс. клипов VGGSound строятся три индекса LanceDB, позволяющие искать видео по описанию, звуку или записи с микрофона.

• Модель на 740 млн параметров под лицензией Apache 2.0, контекст до 8K токенов
• Matryoshka-обучение позволяет усекать векторы до 512, 256 или 128 измерений
• Три векторных поля и индекса LanceDB на 10 тыс. клипов VGGSound
• Поиск по тексту, загруженному медиа, микрофону или веб-камере