Как повторно отправить обновленный или новый файл Robots.txt

роботы txt

Наше агентство занимается Консультации по органическому поиску для нескольких поставщиков SaaS в отрасли. Клиент, с которым мы недавно начали работать, проделал довольно стандартную практику, разместив свое приложение в субдомене и переместив свой сайт с брошюрой в основной домен. Это стандартная практика, поскольку она позволяет как вашей производственной команде, так и вашей маркетинговой команде делать обновления по мере необходимости без какой-либо зависимости друг от друга.

В качестве первого шага к анализу состояния их обычного поиска мы зарегистрировали домены брошюры и приложения в веб-мастерах. Именно тогда мы обнаружили непосредственную проблему. Все страницы приложения блокировались от индексации поисковыми системами. Мы перешли к их записи robots.txt в веб-мастерах и сразу определили проблему.

При подготовке к миграции их команда разработчиков не хотела, чтобы субдомен приложения индексировался поиском, поэтому они запретили доступ поисковым системам. Файл robots.txt - это файл, который находится в корне вашего сайта - yourdomain.com/robots.txt - это позволяет поисковой системе узнать, следует ли сканировать сайт. Вы можете написать правила, разрешающие или запрещающие индексацию для всего сайта или определенных путей. Вы также можете добавить строку, чтобы указать файл карты сайта.

Освободи Себя Robots.txt В файле была следующая запись, которая не позволяла сканировать и индексировать сайт в результатах поиска:

User-Agent: * Disallow: /

Это должно было быть написано так:

Пользовательский агент: * Разрешить: /

Последний предоставляет разрешение любой поисковой системе, просматривающей сайт, чтобы они могли получить доступ к любому каталогу или файлу на сайте.

Отлично ... теперь, когда robots.txt файл идеален, но как Google узнает и когда они снова проверят сайт? Что ж, вы можете абсолютно запросить, чтобы Google проверил ваш robots.txt, но это не слишком интуитивно понятно.

Перейдите в Консоль поиска Google Search Console до Сканирование> robots.txt Tester. Вы увидите содержимое последнего просканированного файла robots.txt в Тестере. Если вы хотите повторно отправить файл robots.txt, нажмите «Отправить», и появится всплывающее окно с несколькими вариантами.

повторно отправить robots.txt

Последний вариант - Попросите Google обновить. Нажмите синюю кнопку «Отправить» рядом с этой опцией, а затем вернитесь к Сканирование> robots.txt Tester пункт меню для перезагрузки страницы. Теперь вы должны увидеть обновленный файл robots.txt вместе с отметкой даты, которая показывает, что сканирование было выполнено снова.

Если вы не видите обновленную версию, вы можете нажать «Отправить» и выбрать Посмотреть загруженную версию чтобы перейти к вашему фактическому файлу robots.txt. Многие системы кэшируют этот файл. Фактически, IIS генерирует этот файл динамически на основе правил, введенных через их пользовательский интерфейс. Скорее всего, вам придется обновить правила и обновить кеш, чтобы опубликовать новый файл robots.txt.

робот-txt-тестер

Как вы думаете?

Этот сайт использует Akismet для уменьшения количества спама. Узнайте, как обрабатываются ваши данные комментариев.