ProjectSPG: edge-прокси для приватности LLM с задержкой 86 мкс

Разработчики представили ProjectSPG — открытый прокси на Cloudflare Workers, который обратимо заменяет PII в промптах на типизированные токены перед отправкой в OpenAI, Anthropic, Mistral и Gemini. Бенчмарк на 9,33 млн промптов и 1,94 млрд токенов показал 100% точность восстановления при медианной задержке 86 мкс и пропускной способности 17 735 промптов/с на узел.

• Медианная задержка токенизации 86 мкс, p99 — 218 мкс
• Точность обратного восстановления 100,00% на 9,33 млн промптов
• Пропускная способность 17 735 промптов/с на одном узле
• Поддержка PII 109 стран, IBAN и карт с проверкой Луна