Аналітика ботів

Метрики відповідей кажуть, що говорять AI-системи. Аналітика ботів каже, чи вони взагалі завантажували ваші сторінки. Дані надходять із вашої власної інфраструктури, тож доступні одразу й незалежно від будь-якого циклу збору.

Як це працює

Ви генеруєте ключ для передавання даних і налаштовуєте свою платформу пересилати метадані запитів на ендпоінт прийому. Вхідні запити зіставляються з реєстром відомих кролерів і з'являються на вкладці «Боти».

Надсилаються лише метадані запиту: що запитали, коли і як відповів ваш сервер. Жодного вмісту сторінок і жодних тіл запитів.

Налаштування

1. Відкрийте вкладку Боти й згенеруйте ключ.
2. Скопіюйте його одразу — він показується раз і пізніше його не отримати. Генерація нового ключа скасовує старий.
3. Оберіть свою платформу й застосуйте показану конфігурацію.

Застосунок дає готові конфігурації для Cloudflare Workers, Vercel (log drain або middleware), WordPress, nginx і AWS, а також універсальний варіант для всього іншого. Оберіть платформу й скопіюйте показане — деталі підключення йдуть у комплекті.

Вибір точки інтеграції

Edge або CDN (Cloudflare, Vercel) — найповніша картина, бо вона бачить запити, що ніколи не доходять до вашого origin. Рекомендовано там, де доступно.

Вебсервер (nginx) або застосунок (WordPress) — бачить те, що доходить до origin. Нормально, якщо ви розумієте, що все віддане з кешу на межі буде відсутнім.

Власна інтеграція — для всього іншого. Де можливо, групуйте запити в пакети, а не надсилайте по виклику на кожне звернення.

Практичні нотатки

• Надсилайте все, фільтруйте потім. Виключення шляхів на джерелі назавжди прибирає дані; застосунок може відфільтрувати їх пізніше.
• Не блокуйте відповідь. Пересилайте асинхронно, щоб повільний прийом ніколи не затримував відвідувача. Надані сніпети вже так роблять.
• Охопіть усі хости, які хочете вимірювати, включно з www і без www, якщо обидва віддають контент.
• Ставтеся до ключа як до пароля. Перегенеруйте його, якщо він міг витекти, і оновіть усі точки інтеграції.

Перевірка

Після деплою зайдіть на свій сайт і подивіться вкладку «Боти». Ваш власний візит там не з'явиться — рахуються лише розпізнані кролери, — але трафік кролерів має з'явитися невдовзі.

Якщо нічого не надходить:

1. Переконайтеся, що інтеграція задеплоєна й працює на правильному хості.
2. Переконайтеся, що ключ саме той, що був згенерований, і в правильному заголовку.
3. Пошукайте помилки коду пересилання в логах своєї платформи.

Пов'язане

• Вкладка «Боти» — читання даних
• Аудит Robots.txt — чи пускають кролерів
• Технічні перевірки — що вони знаходять, коли приходять