Реферальний спам: що це таке і як з ним…

Глобальна проблема в SEO – наявність реферального спаму, який негативно впливає на показники трафіку.
У нашій сьогоднішній статті ми розглянемо більш детально, як виявити і позбутися від нього.

Що ж таке реферальний спам?

Реферальний спам – це негативний трафік, який передають спам-боти під прикриттям різних доменів і IP адрес. При наявності рефспама, сайт отримує накручений трафік від спам-ботів, що може привернути санкції пошукових систем по поведінкових факторів (показник відмов або тривалість сеансів).

Спам-боти часто шукають слабо захищені сайти і піддають їх атакам. Коли ваш сайт розміщений на дешевому хостингу або написаний на незахищеною легкої користувальницької CMS системі, тобто дуже висока ймовірність того, що спам-боти звернуть увагу на ваш ресурс.

Як виявити присутність реферального спаму?
1. Зайдіть в Google Analytics сайту, який перевіряємо на реферальний спам.
2. Перейдіть в «Джерела трафіку» → «Весь трафік» → Спрямування
blank
3. Відсортуйте звіт в порядку убування за показниками відмов
blank
Зверніть увагу на рефералів з показником відмов в 100% і тривалістю сеансу в 0. Це 100% реферальний спам.
Методи боротьби з реферальним спамом
1. Блокування реферала, який використовує спам-бот.
Для цього необхідно внести наступні директиви в файл .htaccess, що лежить в корені сайту.

Приклад:

RewriteEngine On

Options +FollowSymlinks

RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*site\.com\ [NC,OR]

RewriteRule .* – [F]

Даний код заблокує всі http і https реферали з сайту site.com і з усіх його піддоменів.

2. Блокування IP адреси, який використовує спам-бот.

​Для цього необхідно внести наступні директиви в файл .htaccess, що лежить в корені сайту

Приклад:
RewriteEngine On

Options +FollowSymlinks

Order Deny,Allow

Deny from 123.45.67.89

Важливо! Це лише приклад, в такому вигляді він не спрацює, вам необхідно підставити свої значення IP адреси.

3. Виняток реферального трафіку

Щоб реферальний трафік не підсумовувати із загальним трафіком, необхідно створити і налаштувати фільтри трафіку в Google Analytics, який в подальшому не буде враховувати джерела реферальних атак.

Заходимо в «Джерела трафіку» → «Весь трафік» → «Джерело / Канал»

blank

Ми бачимо джерела трафіку різного типу. Нас цікавить реферальний. Спам-боти можуть змінювати джерела і робити їх схожими між собою за назвою.

Приклад №1: Виключаємо реферальних спамерів, які містять слово, що повторюється в середині своєї назви. »

blank

Виходячи з трафіку за останні 6 місяців, виділимо лише ті джерела, які містять в собі слово «buttons». Для цього через пошук по трафіку відсортуємо джерела, що містять «buttons».

blank

В результаті ми отримаємо список всіх доменів з вмістом в назві «buttons» які використовували спам-боти для реферера.

blank

blank

21 джерело реферального спаму з вмістом в назві «buttons».

Щоб виключити ці спам джерела трафіку, необхідно перейти в пункт верхнього меню «Адміністратор». Далі, в колонці «Подання» вибрати пункт «Фільтри».
blank
Для створення нового фільтру натискаємо кнопку «Додати фільтр»
blank
Далі необхідно створити шаблон фільтра, який буде виключати трафік від всіх спам джерел містять «buttons».
blank

У шаблоні фільтра використовувалося регулярне вираз

.*buttons

Яке враховує всі символи включаючи їх повторення до слова «buttons». З моменту збереження, весь наступний трафік який буде надходити з реферальних спамерів, що містять «buttons» не буде враховуватися в подальшу статистику трафіку.

blank

Приклад №2: Виключаємо трафік хости з однаковим початком свого імені.

На даний момент виявлено 26 хостів які починаються на слово «site».

blank

blank

Щоб виключити ці спам джерела трафіку, необхідно перейти в пункт верхнього меню «Адміністратор», далі в колонці «Подання» вибрати пункт «Фільтри».

blank

Для створення нового фільтру натискаємо кнопку «Додати фільтр»

blank

Далі необхідно задати за допомогою регулярного виразу умова виключення всіх джерел, які будуть починатися на слово «site».

blank

Регулярний вираз «^ site» вказує, що всі спам хости, що починаються на site, будуть виключені з загального трафіку з моменту збереження фільтра.

Зберігаємо і отримуємо наступну картину:

blank

Приклад №3: точкове виняток:

Припустимо, у нас є спамний хост, виключити його регулярним виразом ми не зможемо, тому що він один.

blank

Щоб точково закрити подібні хости, необхідно створити фільтр під кожен одиничний спам реферер.

blank

Зберігаємо і отримуємо наступне:

blank

Важливо! При видаленні даних фільтрів, спам трафік знову буде надходити в статистику загального трафіку.

Мінусом цього рішення є те, що список таких рефералів постійно поповнюється, і потрібно періодично моніторити звіти трафіку на предмет виникнення нових рефералів щоб уникнути перекручування статистики.