Аудит Robots.txt

robots.txt вирішує, які автоматизовані клієнти можуть завантажувати ваші сторінки. AI-кролери новіші за більшість файлів robots, тож нерідко трапляється сайт, який тихо їх блокує правилом, написаним роками раніше для іншої мети, — або суцільним правилом, яке їх ніколи не передбачало.

Цей аудит читає ваш robots.txt і повідомляє, кролер за кролером, чи може він дістатися до вашого контенту.

Про що повідомляє

Доступ для кожного кролера. Для кожного відомого AI- та пошукового кролера: дозволено, заблоковано або не згадано. «Не згадано» означає, що у файлі немає правила з його ім'ям, тож він підпадає під ваші правила за замовчуванням.

Правила, що дали кожен вердикт. Яка директива застосовується до якого кролера — щоб несподіваний вердикт можна було простежити до рядка, що його спричинив.

Рекомендації. Конкретні зміни до вашого файлу з текстом, який треба додати або прибрати.

Якщо robots.txt на сайті немає, аудит про це скаже. Це дозвільний стан — дозволено все, — але він також означає, що у вас немає контролю, тож файл варто додати свідомо.

Як це читати

Заблоковані AI-кролери — це знахідка, з якою треба щось робити. Заблокований кролер не може процитувати вас за жодних обставин, хоч би яким хорошим був ваш контент. Саме тому аудит є правильною першою зупинкою, коли Видимість близька до нуля з причин, яких ніщо інше не пояснює.

Перевірте правила за замовчуванням. Широкий Disallow під загальним правилом блокує кролерів, про яких ви й не думали. Це найпоширеніша причина ненавмисного блокування.

Блокування може бути навмисним. Деякі організації свідомо не пускають AI-кролерів із ліцензійних чи політичних міркувань. Це легітимний вибір — але він має бути рішенням, і його наслідок у тому, що робота над видимістю в AI не дасть результату.

Блокування ресурсів теж має значення. Правила, що блокують ресурси, потрібні для рендерингу сторінки, можуть лишити кролера з частковою картиною навіть тоді, коли сама сторінка дозволена.

Після зміни robots.txt

1. Задеплойте зміну й перезапустіть аудит, щоб підтвердити, що вердикти перемкнулися.
2. Слідкуйте за вкладкою «Боти» — візити кролерів є доказом, що доступ справді змінився.
3. Очікуйте затримки, перш ніж зрушать відповіді. Доступ має привести до обходу, обхід — до індексації, індексація — до цитування.

Обмеження

• robots.txt — це прохання, а не примус. Він каже добропорядним кролерам, що робити; це не засіб безпеки. Усе, що не має бути публічним, потребує справжнього контролю доступу.
• Він відповідає про доступ, а не про корисність. Допущений кролер усе одно має знайти сторінку, варту читання, — див. Технічні перевірки та Аудит Schema.

Пов'язане

• Вкладка «Боти» — які кролери справді приходять
• Вкладка «Звіт» — де живуть аудити