🛡️Сервис Спамоборона (Java)

«Наша служба и опасна и трудна». Мало кто из пользователей задумывается о существовании систем защиты от спама… до тех пор, пока она не пропустит спам в их почтовый ящик 📭 Назойливые письма и сообщения могут засорять сервисы, раздражать, замедлять или вовсе блокировать работу пользователей. Поэтому наш основной челлендж — обеспечивать чистые от спама ящики, да ещё и так, чтобы пользователи не подозревали, чего это стоит.

📩 Ключевые цифры:

• 300 миллионов писем пользователей обрабатываем каждый день;
• 70 счётчиков массовости вычисляем и накручиваем по каждому письму;
• из каждого письма извлекаем чистый текст, который бы увидел пользователь, отфильтровывая HTML-оформление и мусор;
• 3 модели семантического анализа применяем к тексту, чтобы оценить вид письма, его окрас и схожесть с известными спамерскими письмами;
• 600 факторов вычисляем для каждого письма в итоге;
• передаём все эти факторы в модель машинного обучения, взвесив которые, она предполагает, хочет ли пользователь видеть это письмо в своём ящике или нет.

📝 Ближайшие (и не только) планы

☑️  Реализация на бэкенде нового ML-функционала в области CV, NLP и применения LLM

☑️  Автоматическое дообучение модели по жалобам пользователей.

☑️  Обнаружение спам-атак за пределами Яндекса, когда мы не имеем информации о жалобах пользователей.

☑️  Интеграция с другими сервисами Яндекса, чтобы получать как можно больше информации об отправителе.

☑️  Полностью автоматический CI/CD.

🖇️ Стек

• Java 11/17 ♨
• Ненулевое количество C++ (а вы пробовали перемножить миллион матриц на Java?)
• Самая капелька Lua

🎓 Мы работаем над ИИ-фичами всего Яндекс 360