|
Утром в понедельник вы включаете свой рабочий
компьютер и запускаете почтовую программу... Опять! Они опять не дают
вам покоя. В инбоксе больше сотни непрочитанных писем, в глазах рябит
от «V1AGR@». Первые полчаса рабочего дня вы снова потратите на
разгребание Авгиевых конюшен, а ведь в электронном, скорее уже не
почтовом, а мусорном ящике, нужно еще и отыскать действительно нужные
сообщения.
Знакомая ситуация? Увы, знакома она, миллионам тех,
для кого электронная почта является одним из основных каналов
коммуникации. По данным различных компаний до 80% всей электронной
почты рассылаемой в Интернет является спамом – незапрошенными,
массовыми, анонимными рассылками. Это значит, что 80% почтового трафика
оплачивается компаниями и абонентами интернет-провайдеров впустую.
Огромная доля дискового пространства почтовых серверов резервируется
под ненужную корреспонденцию. ИТ-отделы вынуждены привлекать большее
количество системных администраторов для борьбы с напастью, а рабочее
время сотрудников тратится на каждодневную схватку с переполненным
почтовым ящиком.
К сожалению, технологические особенности электронной
почты и протокола SMTP таковы, что неограниченное число сообщений может
быть отправлено любому адресату, причем, при желании, абсолютно
анонимно. В ближайшем будущем кардинального перехода на другое, столь
же популярное как электронная почта, средство общения не ожидается.
Меры же по аутентификации отправителей (например, технологии Sender ID,
Domain Keys) или другие надстройки к системе SMTP не дают, сколь бы то
ни было ощутимого, эффекта из-за своей половинчатости и недостаточной
распространенности. Остановить ежедневную отправку различного
рекламного и откровенно мусорного трафика в интернете нереально. Зато
реально бороться с получением, перекрыв канал по которому она приходит
к адресату?
В конце 90-х электронная почта проникла буквально во
все сферы человеческой деятельности и вместе с популярностью e-mail
росла катастрофичность ситуации со спамом. Тогда же появились и первые
средства для блокирования незапрошенной корреспонденции при ее
получении. С тех пор борьба идет с переменным успехом, эволюционируют
системы фильтрации спама, не стоят на месте и спамерские технологии.
Одним из недавних ответов на эти технологии стал вышедший «из под пера»
отечественных разработчиков «Лаборатории Касперского» продукт Kaspersky
Anti-Spam 3.0. Сами авторы называют его огромным шагом вперед в деле
решения проблемы спама для компаний и провайдеров. Попытаемся
разобраться что это за продукт, как он работает, и в чем отличается от
своих предшественников.
«Прежде всего, фильтрация спама это не продукт, а
целый процесс, человеко-машинная цепочка!», — говорит Андрей Калинин,
системный архитектор продукта и Анна Власова, руководитель группы
спам-аналитиков «Лаборатории Касперского». Цепочка эта состоит их
нескольких звеньев – сбор спама в интернете, работа спам-лаборатории,
формирование обновлений, необходимых для работы продукта, и,
собственно, самого продукта Kaspersky Anti-Spam 3.0, установленного у
клиента.
Для того, чтобы отслеживать начало новых рассылок в
Сети и иметь возможность анализировать спамерские трюки, применяемые
для обхода фильтров, необходимо получать достаточно большие объемы
спама – причем в реальном времени. В спам-лабораторию спам попадает из
трех основных источников – пересылается энтузиастами, поддерживающими
развитие продукта, поступает от крупных клиентов «Лаборатории
Касперского» (таких как Mail.ru или «Вымпелком»), а также –
пересылается со специальных адресов-«ловушек», размещенных по всему
Интернету, и намеренно зарегистрированных на сомнительных сайтах, чтобы
они попали в базы спамеров.
«Интересно отметить», — рассказывает Анна Власова, —
«что разные источники — это разный жанр спама. Это касается как
географии источников, так и расположения их на почтовых серверах
разного характера. Например, спам, приходящий на бесплатные почтовые
сервера наподобие Hotmail, куда сыплется масса предложений купить
университетский диплом, значительно отличается от спама на
корпоративных адресах а-ля info@company.com, куда приходит большое
количество приглашений на семинары и конференции и т.д. Сегодня наша
спам-лаборатория получает и анализирует несколько сотен тысяч
спамерских сообщений в сутки. И работаем мы тоже – круглосуточно, и в
Новый Год, и в выходные».
В лингвистической лаборатории сейчас работают 12
человек, коллектив постоянно расширяется за счет специалистов по новым
языкам. Все эти люди занимаются непрерывным анализом спама. Это
специалисты с высшим лингвистическим образованием, с опытом работы в
области прикладной лингвистики и искусственного интеллекта. Задача
дежурных спам-аналитиков – сразу же добавить сигнатуру (образец) нового
спамерского письма в базы обновлений, а затем провести его глубокий
анализ, выделить новые термины и фразы, типичные для спама, назначить
им вес, определяющий, как продукт будет реагировать на них. Помимо
этого, спам-аналитики параллельно занимаются анализом "конверта"
письма, то есть его формальных признаков (отправитель, получатель, путь
следования и т.п.) и созданием новых правил для распознавания уже по
этим признакам.
Те обновления, которые формируются спам-лабораторией,
становятся доступными продукту, установленному у клиента, каждые 20
минут. «В новой, третьей версии появилась и технология UDS, Urgent
Detection System, позволяющая параллельно использовать второй тип
сигнатур – причем в режиме реального времени! Теперь уже через секунду
после обнаружения новой рассылки продукт блокирует ее, т.к. моментально
получает информацию о ней.» — говорит Андрей Калинин.
На вопрос, почему продукту необходимы обновления, он
отвечает: «Регулярное обновление баз чрезвычайно важно по трем
причинам. Во-первых, высокая подвижность спамерского лексикона.
Естественно, что используемые выражения и фразы постоянно меняются,
хотя бы потому что, в основном, это великий и могучий русский язык.
Во-вторых, повторяемость спамерских рассылок достаточно велика, до
10-15% – иногда происходят повторные рассылки спустя несколько дней,
иногда несколько писем вообще приходит «пачкой», одно и то же письмо с
минутным интервалом. Имея сигнатуру этого письма, пришедшую с
обновлениями, это сообщение легко блокируется. Ну и наконец, скорость
распространения одной рассылки конечна – невозможно разослать за
секунду письма на несколько миллионов адресов. Поэтому, можно засечь и
заблокировать получение рассылки еще до ее завершения».
Как же работает продукт на стороне клиента? «Фильтр
спама вообще, это серверная программа, которая устанавливается на входе
в сеть и фильтрует входящий поток почты, определяет, какие из входящих
сообщений являются спамом», — продолжает Андрей.
Kaspersky Anti-Spam предназначен для распознавания и
фильтрации нежелательных почтовых сообщений в процессе приема
электронной почты по протоколу SMTP, то есть до того, как сообщения
будут доставлены в почтовый ящик конечного получателя. Это
полнофункциональный почтовый продукт, работающий на Linux и FreeBSD —
платформах, широко распространенных в крупных почтовых системах
интернет-провайдеров и крупных компаний.
Получая новое письмо, Kaspersky Anti-Spam всесторонне
анализирует его, используя в комплексе различные методы определения
спама, многие из которых не имеют аналогов в мире. Письмо
сопоставляется с различными публичным «черными списками» - DNSBL
(DNS-based Blackhole List), в которых IP отправителя сравнивается с
таковыми, хранимыми в различных DNSBL как подозрительные или однозначно
спамерские. Администратор почтовой системы, используя Kaspersky
Anti-Spam, может и сам добавить любые свои «Черные списки». Результаты
такой проверки будут учитываться при вынесении вердикта письму –
является оно спамом или нет. Также, в версии 3.0 может учитываться
авторизация отправителя по технологии SPF (Sender Policy Framework).
В дополнение к DNSBL, блокирующим спамерские
IP-адреса, используется технология SURBL (Spam URI Realtime Block
List), выявляющая спамерские URL в теле сообщения. Тут уже спам
выявляется не по принципу «кто прислал», а «кто в письме рекламируется».
Отсутствие адреса отправителя, отсутствие или слишком
много получателей, отсутствие IP-адреса в системе интернет-адресов DNS
и т.д. – все это является признаками спамерского сообщения. Это
проверяется на третьем этапе анализа. «По формальным признакам», — как
называет его Анна Власова, руководитель группы спам-аналитиков
«Лаборатории Касперского». Также учитывается размер, формат сообщения.
Четвертый шаг в процессе анализа продуктом входящего
сообщения – лингвистический разбор текста. Тут проверяется наличие в
письме признаков спамерского содержания: определенного набора и
распределения по письму специфических словосочетаний. Причем Kaspersky
Anti-Spam анализирует не только текст самого письма, но и вложения.
Самое интересное, это новая технология GSG-2,
позволяющая идентифицировать графический спам, доля которого в
последнее время резко увеличилась. «Этот метод позволяет нам обнаружить
спам, даже если он представлен в виде намеренно зашумленной,
модифицированной картинки» - говорит Андрей Калинин.
Каждый из перечисленных методов анализа прибавляет
свой вес к статусу письма и в завершение они суммируются. Превышен
порог – письмо летит в папку «Спам». Если письмо набрало мало баллов –
оно доставляется адресату. А может ли приложение «сомневаться»?
«Может!» — рассказывает Андрей, — «Если некое письмо не получило
однозначной оценки, выполняется моментальный запрос к UDS-серверу,
сердцу технологии Urgent Detection System. Он содержит данные о самых
последних рассылках, информация о новом спаме добавляется в тот же
момент, когда он обнаружен спам-аналитиком. На основании полученной
информации письму присваивается окончательный статус (спам / не-спам).»
А может ли продукт ошибаться? Разработчики отвечают,
что доля таких ошибок, ложных срабатываний, когда легальное письмо
определяется как спам, ничтожно мала, примерно 1 случай на сто тысяч
сообщений, причем, как правило, попадают «под нож» пресс-релизы или
массовые рассылки с рекламной тематикой. Андрей Калинин, системный
архитектор продукта, считает, что: «Вообще, очень важно не обеспечить
100% отсев спама, кстати, это не так уж сложно, а соблюсти баланс, при
котором 95% спама не доходит до адреса, но и ни одно важное деловое
письмо не потеряется. Мы в своем продукте сделали ставку на отсутствие
ошибок и ложных срабатываний».
Другой интересный вопрос, это то, как продукт
справляется с большим потоком почты, ведь каждое письмо подвергается
подробной антиспамовой экзекуции. По результатам тестирования
выясняется, что по сравнению с предыдущей версией, Kaspersky Anti-Spam
3.0 обрабатывает в 4,5 раза больше почты на том же оборудовании. Объем
обновлений же снижен в 3,5 раза при сохранении их частоты и переходу к
дополнительным UDS-запросам в режиме реального времени. «В среднем, на
легком сервере с процессором P4-2.6 и гигабайтом памяти, продукт легко
обрабатывает 2,5 млн. сообщений в сутки», — улыбается Калинин., —
«Новая версия продукта была разработана таким образом, чтобы
кардинально поднять производительность Kaspersky Anti-Spam».
Так что же, в итоге, принесет компании или провайдеру
использование этого продукта? Анна говорит: «Вы знаете, помимо нашей
основной, программисткой работы, мы раз в год проводим конференцию
«Проблема спама и ее решения». Рассказываем участникам о ситуации в
сфере спама, трендах, о том какие средства борьбы актуальны сегодня. И
я запомнила слова одного из наших клиентов, сказавшего — «Эта
конференция называется «Проблема спама...», но к счастью спам для меня
уже давно не является проблемой. Я установил и настроил спам-фильтр,
благо его еще и вовсе не нужно регулярно подкручивать. Лишь 1-2 раза в
неделю мне падает в почтовый ящик письмо с «Виагрой», и оно меня
совершенно не раздражает. Это капля в море, по сравнению с тем, что
было. Для меня проблема спама — решена».
Поликом Про
|
