Не разрешайте плохим ботам захватывать ваш сайт и влиять на бизнес-решения.
Посетители сайта не всегда люди, сделанные из плоти и мяса: иногда это боты. Боты в основном просматривают веб-сайты для сбора статистики для поисковых систем, таких как Google и Yahoo. Но также существуют боты, которые собирают информацию, создают поддельные учетные записи, распространяют вирусы или автоматически спамят в разделах комментариев — и это те боты, которые могут нанести наибольший ущерб.
Внезапный захват сайта ботами может быть подавляющим, и это потенциальный кошмар для администратора сайта, который предпочитает управлять чистым кораблем. Вот как определить, какие боты что делают и несколько практических способов изгнать их с вашего сайта.
Поисковые боты против спам-ботов
Некоторые боты - хорошие, поисковые боты посещают ваш сайт, чтобы внести в каталог новую информацию для поисковых систем, и обычно вы хотите, чтобы эти типы ботов прошли через
ваш сайт. Это то, что помогает поисковым системам индексировать ваш сайт среди его
результатов.
Что важно для администратора сайта, так это выявить поисковых роботов по сравнению с
истинным трафиком, чтобы собрать точную картину того, сколько посетителей и смотрящих
являются людьми. Если у вас есть Google Analytics, посмотрите в разделе «Дополнительные
настройки», и вы можете разделить поисковых ботов и человеческий трафик, чтобы увидеть,
как поисковые системы и люди просматривают сайт.
Помимо вашего стандартного бота поисковой системы, вы также можете столкнуться с
множеством различных спам-ботов. Это опасные боты, от которых вы должны избавиться,
когда они появятся. Иногда они распространяют вирусы; в других случаях спамят или
заполняют сайт ложными учетными записями.