Глобальна проблема в SEO — наявність реферального спаму, який негативно впливає на показники трафіку. У нашій сьогоднішній статті ми розглянемо більш детально, як його виявити і позбутися.
Що ж таке реферальний спам?
Реферальний спам — це негативний трафік, який передають спам-боти під прикриттям різних доменів та IP-адрес. За наявності рефспаму сайт отримує накручений трафік від спам-ботів, що може призвести до санкцій пошукових систем за поведінковими факторами (показник відмов або тривалість сеансів).
Спам-боти часто шукають слабо захищені сайти та піддають їх атакам. Якщо ваш сайт розміщений на дешевому хостингу або створений на незахищеній легкій CMS-системі, ймовірність того, що спам-боти звернуть увагу на ваш ресурс, дуже висока.
Як виявити наявність реферального спаму?
➤ Увійдіть у Google Analytics сайту, який перевіряє на реферальний спам.
➤ Перейдіть у «Джерела трафіку» → «Весь трафік» → «Реферали».
➤ Відсортуйте звіт у порядку спадання за показниками відмов.
Зверніть увагу на рефералів із показником відмов 100% та тривалістю сеансу 0. Це 100% реферальний спам.
Методи боротьби з реферальним спамом
1. Блокування реферала, який використовує спам-бот
Для цього необхідно внести наступні директиви у файл .htaccess, що знаходиться в корені сайту.
Приклад:
| RewriteEngine On Options +FollowSymlinks RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*site\.com\ [NC,OR] RewriteRule .* – [F] |
Цей код заблокує всі http та https реферали з сайту site.com та з усіх його піддоменів.
2. Блокування IP-адреси, яка використовує спам-бот
Для цього необхідно внести наступні директиви у файл .htaccess, що знаходиться в корені сайту.
Приклад:
| RewriteEngine On Options +FollowSymlinks Order Deny,Allow Deny from 123.45.67.89 |
Важливо! Це лише приклад, у такому вигляді він не спрацює — вам потрібно підставити власні значення IP-адрес.
3. Виключення реферального трафіку
Щоб реферальний трафік не сумувався з загальним трафіком, необхідно створити та налаштувати фільтри трафіку в Google Analytics, які надалі не будуть враховувати джерела реферальних атак.
Перейдіть у «Джерела трафіку» → «Весь трафік» → «Джерело/Канал».
Ми бачимо джерела трафіку різного типу. Нас цікавить реферальний. Спам-боти можуть змінювати джерела та робити їх схожими між собою за назвою.
Приклад №1: Виключаємо реферальних спамерів, які містять повторюване слово всередині своєї назви.
Виходячи з трафіку за останні 6 місяців, виділимо лише ті джерела, які містять у собі слово «buttons».
Для цього через пошук по трафіку відсортуємо джерела, що містять «buttons».
У результаті ми отримаємо список усіх доменів із вмістом у назві «buttons», які використовували спам-боти для реферала.
21 джерело реферального спаму з вмістом у назві «buttons»
Щоб виключити ці спам-джерела трафіку, необхідно перейти в пункт верхнього меню «Адміністратор». Далі, у колонці «Представлення» обрати пункт «Фільтри».
Для створення нового фільтра натисніть кнопку «Додати фільтр».
Далі необхідно створити шаблон фільтра, який буде виключати трафік від усіх спам-джерел, що містять «buttons».
У шаблоні фільтра використовувалося регулярне вираження .*buttons, яке враховує всі символи, включно з їх повторенням до слова «buttons». З моменту збереження весь наступний трафік, що надходитиме від реферальних спамерів із «buttons», не буде враховуватися у подальшій статистиці трафіку.
Приклад №2: Виключаємо трафік хостів з однаковим початком назви. На даний момент виявлено 26 хостів, які починаються зі слова «site».
Щоб виключити ці спам-джерела трафіку, необхідно перейти в пункт верхнього меню «Адміністратор», далі у колонці «Представлення» обрати пункт «Фільтри».
Для створення нового фільтра натисніть кнопку «Додати фільтр».
Далі необхідно за допомогою регулярного вираження задати умову виключення всіх джерел, які починаються зі слова «site».
Регулярне вираження ^site вказує, що всі спам-хости, які починаються на site, будуть виключені з загального трафіку з моменту збереження фільтра. Зберігаємо і отримуємо таку картину:
Приклад №3: точкове виключення
Припустимо, у нас є спам-хост, виключити його за допомогою регулярного вираження ми не зможемо, оскільки він один.
Щоб точково заблокувати подібні хости, необхідно створити фільтр для кожного окремого спам-реферала.
Зберігаємо і отримуємо наступне:
Важливо! При видаленні цих фільтрів спам-трафік знову почне надходити до статистики загального трафіку. Мінус цього рішення в тому, що список таких рефералів постійно поповнюється, і необхідно періодично моніторити звіти трафіку на предмет появи нових рефералів, щоб уникнути спотворення статистики.
