Реферальний спам: що це таке і як з ним боротися?
08.03.2018Глобальна проблема в SEO – наявність реферального спаму, який негативно впливає на показники трафіку. У нашій сьогоднішній статті ми розглянемо більш детально, як виявити і позбутися від нього.
Що ж таке реферальний спам?
Реферальний спам – це негативний трафік, який передають спам-боти під прикриттям різних доменів і IP-адрес. При наявності рефспама сайт отримує накручений трафік від спам-ботів, що може привернути санкції пошукових систем по поведінкових факторах (показник відмов або тривалість сеансів). Спам-боти часто шукають слабо захищені сайти і піддають їх атакам. Коли ваш сайт розміщений на дешевому хостингу або написаний на незахищеній легкій користувальницькій CMS-системі, тобто дуже висока ймовірність того, що спам-боти звернуть увагу на ваш ресурс.
Як виявити присутність реферального спаму?
1. Зайдіть в Google Analytics сайту, який перевіряємо на реферальний спам. 2. Перейдіть в «Джерела трафіку» → «Весь трафік» → Спрямування
3. Відсортуйте звіт в порядку спадання за показниками відмов.
Зверніть увагу на рефералів з показником відмов в 100% і тривалістю сеансу в 0. Це 100% реферальний спам.
Методи боротьби з реферальним спамом
1. Блокування реферала, який використовує спам-бот.
Для цього необхідно внести наступні директиви в файл .htaccess, що лежить в корені сайту.
Приклад:
Даний код заблокує всі http- і https-реферали з сайту site.com і з усіх його піддоменів. 2. Блокування IP-адреси, яка використовує спам-бот. Для цього необхідно внести наступні директиви в файл .htaccess, що лежить в корені сайту.
Важливо! Це лише приклад, в такому вигляді він не спрацює, вам необхідно підставити свої значення IP-адреси. 3. Виняток реферального трафіку. Щоб реферальний трафік не підсумовувати із загальним трафіком, необхідно створити і налаштувати фільтри трафіку в Google Analytics, який в подальшому не буде враховувати джерела реферальних атак. Заходимо в «Джерела трафіку» → «Весь трафік» → «Джерело / Канал» 
Ми бачимо джерела трафіку різного типу. Нас цікавить реферальний. Спам-боти можуть змінювати джерела і робити їх схожими між собою за назвою. Приклад №1: Виключаємо реферальних спамерів, які містять слово, що повторюється в середині своєї назви. Виходячи з трафіку за останні 6 місяців, виділимо лише ті джерела, які містять в собі слово «buttons». Для цього через пошук по трафіку відсортуємо джерела, що містять «buttons».
| RewriteEngine On Options +FollowSymlinks RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*site\.com\ [NC,OR] RewriteRule .* – [F] |
Приклад:
| RewriteEngine On Options +FollowSymlinks Order Deny,Allow Deny from 123.45.67.89 |
Ми бачимо джерела трафіку різного типу. Нас цікавить реферальний. Спам-боти можуть змінювати джерела і робити їх схожими між собою за назвою. Приклад №1: Виключаємо реферальних спамерів, які містять слово, що повторюється в середині своєї назви. 
Виходячи з трафіку за останні 6 місяців, виділимо лише ті джерела, які містять в собі слово «buttons». Для цього через пошук по трафіку відсортуємо джерела, що містять «buttons».
В результаті ми отримаємо список всіх доменів з вмістом в назві «buttons», які використовували спам-боти для реферера. 
21 джерело реферального спаму з вмістом в назві «buttons».Щоб виключити ці спам-джерела трафіку, необхідно перейти в пункт верхнього меню «Адміністратор». Далі в колонці «Подання» вибрати пункт «Фільтри».
Для створення нового фільтру натискаємо кнопку «Додати фільтр».
Далі необхідно створити шаблон фільтра, який виключатиме трафік від всіх спам-джерел, що містять «buttons».
У шаблоні фільтра використовувався регулярний вираз *buttons, який враховує всі символи, включаючи їх повторення до слова «buttons». З моменту збереження весь наступний трафік, який надходитиме з реферальних спамерів, що містять «buttons», не буде враховуватися в подальшу статистику трафіку. Приклад №2: Виключаємо трафік-хости з однаковим початком свого імені. На даний момент виявлено 26 хостів, які починаються на слово «site». Щоб виключити ці спам-джерела трафіку, необхідно перейти в пункт верхнього меню «Адміністратор», далі в колонці «Подання» вибрати пункт «Фільтри». Для створення нового фільтру натискаємо кнопку «Додати фільтр». Далі необхідно задати за допомогою регулярного виразу умову виключення всіх джерел, які починатимуться на слово «site». Регулярний вираз «^ site» вказує, що всі спам-хости, що починаються на site, будуть виключені з загального трафіку з моменту збереження фільтра. Зберігаємо і отримуємо наступну картину: Приклад №3: точковий виняток. Припустимо, у нас є спамний хост, виключити його регулярним виразом ми не зможемо, тому що він один. Щоб точково закрити подібні хости, необхідно створити фільтр під кожен одиничний спам-реферер. Зберігаємо і отримуємо наступне: Важливо! При видаленні даних фільтрів спам трафік знову надходитиме в статистику загального трафіку. Мінусом цього рішення є те, що список таких рефералів постійно поповнюється, і потрібно періодично моніторити звіти трафіку на предмет виникнення нових рефералів, щоб уникнути перекручування статистики.
Приклад №2: Виключаємо трафік-хости з однаковим початком свого імені. На даний момент виявлено 26 хостів, які починаються на слово «site». 
Щоб виключити ці спам-джерела трафіку, необхідно перейти в пункт верхнього меню «Адміністратор», далі в колонці «Подання» вибрати пункт «Фільтри». 
Для створення нового фільтру натискаємо кнопку «Додати фільтр». 
Далі необхідно задати за допомогою регулярного виразу умову виключення всіх джерел, які починатимуться на слово «site». 
Регулярний вираз «^ site» вказує, що всі спам-хости, що починаються на site, будуть виключені з загального трафіку з моменту збереження фільтра. Зберігаємо і отримуємо наступну картину: 
Приклад №3: точковий виняток. Припустимо, у нас є спамний хост, виключити його регулярним виразом ми не зможемо, тому що він один. 
Щоб точково закрити подібні хости, необхідно створити фільтр під кожен одиничний спам-реферер. 
Зберігаємо і отримуємо наступне: 
Важливо! При видаленні даних фільтрів спам трафік знову надходитиме в статистику загального трафіку. Мінусом цього рішення є те, що список таких рефералів постійно поповнюється, і потрібно періодично моніторити звіти трафіку на предмет виникнення нових рефералів, щоб уникнути перекручування статистики.
