Чёрный ящик.

Previous Entry Поделиться Next Entry
30 января, 2012
e_kaspersky
Задача отфильтровать рекламу и прочий шлак может показаться тривиальной – это ж и ребёнок способен отличить «виагру» от нормального письма! На самом деле всё гораздо сложнее – нам ведь надо создать некое подобие искусственного интеллекта, который мог бы это делать. Причем не просто сделать, а соблюсти кучу всяких требований по эффективности, надёжности, совместимости и т.д. Ну, о ситуации с ИИ вы в курсе – много кто кидает пальцы, но реально никто ещё ничего не сделал. Или сделал, но не рассказал :)

Вообще, защита от спама ничем не менее сложная задача, чем защита от малвары. А может быть даже и сложнее (может потому, что я в вирусах больше понимаю?). В спам-бизнесе крутятся миллиарды долларов и над рассылкой всякой хрени работают десятки тысяч достаточно квалифицированных упырей. А эти черти очень изобретательны в своих лингвистических и не только экзерсисах. Тут расчёт прост – сочинить спам, протестировать на самых популярных анти-спамах и пульнуть в рассылку через ботнет. Гы-гы, заказчики-то не знают, что у такого письма жизненный цикл всего-то полчаса-час. 90% рассылки так и не дойдёт до адресата – застрянет в фильтрах, сработавших по обновлению или по статистическому триггеру.

Вот об этом чёрном ящике, который любезно принимает на себя почтовые грехи, фильтрует спам и содержит ваши инбоксы в чистоте и порядке и пойдёт речь.

Для начала – историческая справка. С 2002 г. в нашем антиспаме (KAS) сменилось 4 поколения движков. Сейчас выкатываем пятое. Так что в одном посте обо всём не расскажешь – за 10 лет KAS оброс десятками всяких рюшечек и фишечек. Одних только методов анализа спама – больше десятка. Поэтому начну с технологии «Мёбиус» - как раз под её дебют в новой версии для Exchange.




Вводные. Одна из главных проблем защиты от спама – скорость доставки обновлений. А их в день мы выпускаем до 200 штук. Математика проста – чем быстрее мы проапдейтим клиентов, тем меньше спама «ляжет» в инбоксы юзеров. При этом спам изменяется и передвигается по сети чаще и быстрее малвары.

Так вот, до «Мёбиуса» среднее время доставки обновления составляло безобразных 22 минуты! Это, на минуточку, очень хороший показатель для индустрии. Правда, сюда входило всё-всё, включая многоуровневое тестирование, закачку на публичные серверы и загрузку оттуда, и всевозможные технологические простои. Как результат – 2-3% различие в уровне детекта у нас в спамлабе и на стороне клиента. Проанализировали ситуацию и поняли, что тут отлично вписывается специальное клиент-серверное соединение с пуш-обновлениями. Отсюда и «Мёбиус» - символ неразрывной связи нашего спамлаба и пользователей во имя синхронизации баз данных :)

Как работает «Мёбиус»?

Это лучше всего показать в сравнении с классическим обновлением антиспам-базы.

Есть сервер и есть клиент. Клиент раз в некоторое заданное время спрашивает сервер «Есть чо?» :) Ну, и если «есть чо», загружает апдейт. Казалось бы, что тут можно оптимизировать?

«Мёбиус» состоит из 3 частей: бэкэнд, фронтэнд и клиент. Бэкэнд получает обновление из спамлаба, проводит автоматическое тестирование и закачивает во фронтэнд. Причём он работает не со всеми обновлениями, а только с критичными по сроку доставки – текстовыми и графическими сигнатурами. Таким образом, мы ускоряем процесс - не ждём «тяжелых» апдейтов и уходим от технологических простоев связанных с бизнес-логикой. Фронтэнд держит специальное соединение с заказчиком и как только появляется апдейт – загружает его в продукт. Со стороны продукта апдейт принимает мёбиус-клиент, который это обновление распаковывает, компилирует и подключает. В результате у нас получились почти real-time обновления – разница между их разработкой в спамлабе и подключением в продукте теперь меньше 1 минуты!!

В общем, да – это аналог облака, но сильно оптимизированный под конкретную задачу. По сравнению с классическим облаком у «Мёбиуса» несколько сильных сторон:

  • Доставляет апдейты быстрее (обновления «проталкиваются» в продукт, не дожидаясь коннекта по расписанию)

  • Работает шустрее (фильтрация спама идёт на стороне клиента – не нужно считать и передавать в облако хэши неклассифицированных писем и потом ждать реакции)

  • Лучше защита (антиспам получает данные в исходном виде, а не сжатые хэш-суммы -> больше возможностей для анализа)

  • Производительнее и надёжнее (значительно меньше зависит от флуктуаций трафика у заказчика и от системы доставки обычных обновлений)

Чтобы не было недопонимания – то самое «классическое облако» в антиспам-технологиях у нас тоже присутствует. В общем, и тут у нас самая, что ни на есть гибридная защита. Например, UDS (удалённая категоризация письма по специфическим признакам) UDS2 (развитие UDS с оригинальной реализацией фаззи-хэшей для более эффективного детектирования спама) и Content Reputation (дополнение к UDS2 - автоматическое вычисление спам-репутации для разных контентных характеристик). Но это отдельная тема для докторской диссертации – об этом в следующий раз.

Ну и немного фактуры. «Мёбиус» - часть пятого KAS-движка. Сейчас он заступил на боевое дежурство в нашем продукте для Exchange. В планах – интеграция в другие шлюзово-серверные решения - Mail Gateway, Hosted Security и KAS SDK. Планов вставить его в наши персональные продукты пока нет: во-первых, для домашнего пользователя не столь критична подобная степень актуализации базы данных, а во-вторых, мало кто сможет соответствовать требованию «Мёбиуса» держать специальное соединение с фронтэндом. Да и прямо скажу - сам фронтэнд пока тоже к этому не готов :)
Метки: ,
Previous Entry Поделиться Next Entry
кстати, скажите вашему веб-мастеру, чтобы якори хтмл здесь подправил http://www.kaspersky.ru/mail_gateway там кто-то, видимо по запарке, кавычки у якорей неправильно поставил (шарп за кавычками) :)

То есть вы тупо игнорируете настройки клиента и вваливаете ему свои обновления независимо от того хочет он этого в данный момент или нет?

Умно игнорируем и маленькими порциями передаем обновления

Мёбиус (официальное название - Enforced Anti-Spam Updates Service) работает в соответствии с настройками продукта. Его можно как включить, так и выключить. Хотя, выключать, конечно, не стоит :)

тогда хорошо)

я видимо еще не успел оценить)

А вам предлагают кусочек от миллиардов в обмен на лояльность к определенному спаму?

Бред эти Мёбиусы и иже с ними. Одни недоделки.

Мэйл например, кидает в спам свои же письма с Футубры, да ещё и выводит предупреждение, что там опасный код!

Спам и обычное сообщение приходящее с одного и того же адреса также не умеет отфильтровывать. Например, очень интересный ход в сфере спама по электропочтам придумали одни "доморощенные хакеры", которые спамят ЖЖ (-> помощь профессиональному бахгалтеру), где ссылки преимущественно с индивидуальными настройками не проходят, за то, как следствие, валится многотысячный спам на почту владельцев аккаунта :)

Существуют десятки способов обойти фильтры, стоп-слова, выплюнуть массово в самые сжатые сроки огромное количество спама до момента пока все попалится и т.д. и т.п.

Вы абсолютно правы в том, что арсенал трюков у спамеров довольно широк. Как и правы в своём наблюдении, что поймать абсолютно _весь_ спам, не заблокировав ни одного честного письма – задача чрезвычайно сложная. Тем не менее время идёт, технологии совершенствуются и мы подбираемся всё и ближе к этому идеалу. Арсенал антиспам-техник расширяется и Мёбиус – одна из них. К слову, как показала практика, весьма и весьма эффективная!

Насколько подбираетесь - настолько и отдаляетесь (уместно вспомнить, что "+" на "-" при равных значениях даст в результате ноль).

Я, как администратор одного из ресурсов получаю около 10 тысяч писем в год. И поверьте, от того, что он защищен АнтиСпамом Касперского в количественном отношении за прошедшие 2 года ничего не изменилось.

Да, поменялась "тематика" писем. Стоп-слова фильтрует хорошо. Но в то же время в спам летят Футубра, ЖЖ и прочее :)

А какой продукт у Вас установлен?
Обсуждаемая технология Мёбиус (одна из последних наиболее прорывных технологий) стала доступна недавно в серверном решении для MS Exchange – KSE 8.0 MP1.

У меня почта на мыле и какой у них продукт я не в курсе. Могу точно сказать, что в яше спама на порядок меньше, но это может быть связано с позициями привлекательности ресурсов под спам, а также с количественными факторами зарегистрированных ящиков.

Не могли бы Вы прислать мне для анализа ваши примеры ложных срабатываний (контакт я сообщу в ЛС)?
Что касается количества пропущенного спама – на mail.ru технология Moebius пока ещё не интегрирована.

Ах, да. Забыл сказать, что ещё есть способ отправки спама на электропочту с подменой адреса. Один крупный игровой портал, когда попал под какие-то почтовые фильтры на мыле и яше, стал рассылать новостные сообщения (около 25к подписчиков) от имени одного из операторов сотовой связи. И до сих пор шлёт - я плучаю ежедневно новости :)

А проблема именно с распознованием спама по приходу письма? Навскидку задним числом его распознать несложно: завести десять (сто-тысячу) ящиков-"ловушек", занести их в спам-базы :) и письма, идентичные попадающим в ловушки, убивать в почте как спам. Да, задним числом, но с высокой точностью.
БАМ

?

Log in

No account? Create an account