Виртуальный Вестник 5 — Борьба со спамом

Виртуальный Вестник, это непериодическое электронное издание, публикуемое на страницах сайта
Виртуальный Миллерово и приоткрывающее завесу тайны о его будущем.

Спам, проблема с которой "Виртуальный Миллерово" сталкивался постоянно. Для рядовых пользователей это не всегда заметно, но война идет не первый год, и победителя назвать невозможно, ведь обе стороны постоянно совершенствуют свое оружие. Сейчас я расскажу как все примерно происходило.

Уже во времена "Миллеровских черновиков" я впервые столкнулся со спамом. Тогда его было видно невооруженным взглядом. Но он публиковался сразу, т.к. правила публикации не подразумевали даже использование КАПЧи. Роботы, как только сайт начал мелькать на первых страницах поисковиков, начали свою атаку. Первый спам-комментарий был опубликован 1 января 2007 года. И в последующие годы январь, точнее его начало, всегда была парой активизации спаммеров.
Приходилось идти на разные ухищрения, отключать возможность создания материалов незарегистрированным пользователям, добавлять капчу, и даже вводить премодерацию комментариев. Но большинство из этих действий приходилось делать администратору или модераторам, а это время...
Но по прошествии времени и ЦМС'ок была найдена золотая середина, которая оберегала сайт долгое время. Система выглядела примерно так:

Причем незарегистрированным пользователям так же разрешалось публиковать комментарии (а мог бы сказать "могли постить комменты", все равно бы поняли ), но только после ввода капчи (фильтровались боты) и ручной модерации (благо комментариев было не много). Эта система не является самой лучшей, ведь премодерация сообщений, это зло, и от него надо избавляться. Да и незарегистрированные пользователи (самые ценные) просто проходили мимо из-за нежелания регистрироваться, а оставить комментарий с системой КАПЧа + модерация — тяжелый труд. Но что-то менять в этой системе было лень, поэтому она просуществовала долго и продолжила бы свое существование, но...
Но с января месяца (знакомо не так ли?), начали появляться комментарии, которые меня вводили в тупик:

Вроде ссылок нет (иногда ссылкой делают пробел или точку, чтобы визуально было тяжело различить), вроде в профиле пользователя то же все чисто, но гложат сомнения. И оказалось не напрасно. Сейчас боты поумнели и распознать их среди "мирного населения" все тяжелее. Теперь на сайте человек регистрирует бота (капча и все такое ботам пока не по зубам), далее бот сидит некоторое время, и начинает постить комменты, причем такие как показано выше. Короче ведет себя "по людски", далее алгоритм ветвится. Бот либо начинает постить новые комменты, но уже со спам ссылками (ссылки спрятаны в точках и пробелах), либо редактирует собственные комментарии добавляя туда ссылки. Гениально!

Именно это заставило меня пересмотреть всю систему защиты сайта. И старую, работающую с сентября 2008 года, убить. Кстати за время работы системы она отразила:

CAPTCHA  Уже 109 973 формы отправки заблокировано

Это число по большому счету ни о чем не говорит, но некоторая часть этого числа заблокированный спам.

Итак, что мы имеем? Мы имеем старую, никому не нужную рухлядь, которую применять нельзя. И умные боты, которые научились обходить существующую систему защиты. К сожалению я ничего придумать не смог. И расписавшись в собственном бессилии, пошел к тем кто может помочь. На данный момент остановился на команде Моллом.

— Веб-сервис, анализирующий качество содержимого, отправляемого на веб-сайты.

Стартап основателя Друпала Бёйтарта Дриса, с 2008 года защищающий от спама многих, от корпораций, до простых людей.

С этого дня все комментарии незарегистрированных пользователей и некоторых зарегистрированных Моллом будет проверять на "спам пригодность" и затем либо публиковать, либо нет. Всем ненавистная КАПЧа будет встречаться, пока только при регистрации пользователя. Ну и как обычно в случае чего, гайки будут прикручены.