Как поисковые системы находят, сканируют и индексируют ваш контент?

Поисковая оптимизация

Я не часто рекомендую клиентам создавать свои собственные системы электронной коммерции или управления контентом из-за всех невидимых возможностей расширяемости, которые необходимы в настоящее время - в первую очередь, ориентированных на поиск и социальную оптимизацию. Я написал статью о как выбрать CMS и я все еще показываю это компаниям, с которыми работаю, которые испытывают искушение просто создать свою собственную систему управления контентом.

Однако бывают абсолютно ситуации, когда настраиваемая платформа необходима. Тем не менее, когда это оптимальное решение, я по-прежнему подталкиваю своих клиентов к созданию необходимых функций для оптимизации своих сайтов для поиска и социальных сетей. По сути, есть три ключевые функции, которые необходимы.

  • Robots.txt
  • XML Sitemap
  • Метаданные

Что такое файл Robots.txt?

Robots.txt файл - robots.txt file - это простой текстовый файл, который находится в корневом каталоге сайта и сообщает поисковым системам, что они должны включать и исключать из результатов поиска. В последние годы поисковые системы также просили вас включить в файл путь к XML-карте сайта. Вот мой пример, который позволяет всем ботам сканировать мой сайт, а также направляет их на мою карту сайта XML:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Что такое XML-карта сайта?

XML Sitemap - Подобно тому, как HTML предназначен для просмотра в браузере, XML создается для программной обработки. Карта сайта XML - это, по сути, таблица каждой страницы вашего сайта и даты последнего обновления. XML-карты сайта также могут быть соединены в цепочку… то есть один XML-файл Sitemap может ссылаться на другой. Это замечательно, если вы хотите логически организовать и разбить элементы своего сайта (часто задаваемые вопросы, страницы, продукты и т. Д.) В их собственные файлы Sitemap.

Файлы Sitemap важны для того, чтобы вы могли эффективно сообщить поисковым системам, какой контент вы создали и когда он последний раз редактировался. Процесс, используемый поисковой системой при переходе на ваш сайт, неэффективен без использования карты сайта и фрагментов.

Без XML Sitemap, вы рискуете, что ваши страницы никогда не будут обнаружены. Что делать, если у вас есть целевая страница нового продукта, на которую нет внутренних или внешних ссылок. Как Google это обнаруживает? Ну, попросту говоря… пока на него не будет найдена ссылка, вас не обнаружат. К счастью, поисковые системы позволяют системам управления контентом и платформам электронной коммерции проложить для них красную ковровую дорожку!

  1. Google обнаруживает внешнюю или внутреннюю ссылку на ваш сайт.
  2. Google индексирует страницу и ранжирует ее в соответствии с ее содержанием, а также содержанием и качеством сайта, на котором находится ссылка.

С помощью XML-карты сайта, вы не оставляете на волю случая обнаружение вашего контента или обновление вашего контента! Слишком много разработчиков пытаются использовать ярлыки, которые причиняют им вред. Они публикуют один и тот же расширенный фрагмент кода по всему сайту, предоставляя информацию, не имеющую отношения к информации на странице. Они публикуют карту сайта с одинаковыми датами на каждой странице (или все они обновляются при обновлении одной страницы), создавая очереди для поисковых систем, что они обманывают систему или ненадежны. Или они вообще не пингуют поисковые системы… поэтому поисковая система не понимает, что была опубликована новая информация.

Что такое метаданные? Микроданные? Rich Snippets?

Rich snippets - это тщательно помеченные микроданные который скрыт от зрителя, но виден на странице для использования поисковыми системами или сайтами социальных сетей. Это известно как метаданные. Google соответствует Schema.org в качестве стандарта для включения таких вещей, как изображения, заголовки, описания ... а также множества других информативных фрагментов, таких как цена, количество, информация о местоположении, рейтинги и т. д. Схема значительно повысит видимость вашей поисковой системы и вероятность того, что пользователь нажмет через.

Facebook использует OpenGraph протокол (конечно, они не могут быть одинаковыми), у Twitter даже есть сниппет для указания вашего профиля Twitter. Все больше и больше платформ используют эти метаданные для предварительного просмотра встроенных ссылок и другой информации при публикации.

Ваши веб-страницы имеют основное значение, которое люди понимают, когда читают веб-страницы. Но поисковые системы имеют ограниченное представление о том, что обсуждается на этих страницах. Добавляя дополнительные теги в HTML-код своих веб-страниц - теги, которые говорят: «Привет, поисковая система, эта информация описывает этот конкретный фильм, или место, или человека, или видео» - вы можете помочь поисковым системам и другим приложениям лучше понять ваш контент. и отображать его в удобной и актуальной форме. Микроданные - это набор тегов, представленных в HTML5, которые позволяют вам это делать.

Schema.org, что такое микроданные?

Конечно, ничего из этого не требуется… но я очень рекомендую их. Когда вы, например, делитесь ссылкой на Facebook, а изображение, заголовок или описание не появляется ... мало кто заинтересуется и фактически перейдет по ссылке. И если ваши фрагменты схемы отсутствуют на каждой странице, вы, конечно, все равно можете появляться в результатах поиска ... но конкуренты могут победить вас, когда у них будет отображаться дополнительная информация.

Зарегистрируйте свои XML-файлы Sitemap в Search Console

Если вы создали свой собственный контент или платформу электронной коммерции, совершенно необходимо, чтобы у вас была подсистема, которая проверяет поисковые системы, публикует микроданные, а затем предоставляет действительную карту сайта XML для контента или информации о продукте, которую нужно найти!

После того, как ваш файл robots.txt, карты сайта XML и расширенные фрагменты будут настроены и оптимизированы для всего вашего сайта, не забудьте зарегистрироваться в Search Console каждой поисковой системы (также известной как инструмент для веб-мастеров), где вы можете отслеживать состояние и видимость своего сайт в поисковых системах. Вы даже можете указать путь к файлу Sitemap, если его нет в списке, и посмотреть, как его использует поисковая система, есть ли с ним какие-либо проблемы и даже как их исправить.

Раскройте красную ковровую дорожку поисковым системам и социальным сетям, и вы обнаружите, что ваш сайт ранжируется лучше, ваши записи на страницах результатов поисковых систем просматриваются больше, а ваши страницы больше распространяются в социальных сетях. Все складывается!

Как Robots.txt, карты сайта и метаданные работают вместе

Сочетание всех этих элементов во многом похоже на раскатку красной ковровой дорожки для вашего сайта. Вот процесс сканирования, выполняемый ботом, вместе с тем, как поисковая система индексирует ваш контент.

  1. На вашем сайте есть файл robots.txt, который также ссылается на местоположение вашего XML-файла Sitemap.
  2. Ваша CMS или система электронной торговли обновляет XML-карту сайта, добавляя любую страницу и дату публикации или дату редактирования.
  3. Ваша CMS или система электронной коммерции пингует поисковые системы, чтобы сообщить им, что ваш сайт обновлен. Вы можете пропинговать их напрямую или использовать RPC и такую ​​службу, как Пинг-о-матик распространяться во все ключевые поисковые системы.
  4. Поисковая система мгновенно возвращается, уважает файл Robots.txt, находит новые или обновленные страницы с помощью карты сайта, а затем индексирует страницу.
  5. Когда он индексирует вашу страницу, он использует микроданные расширенного сниппета для улучшения страницы результатов поисковой системы.
  6. По мере того, как другие релевантные сайты ссылаются на ваш контент, рейтинг вашего контента выше.
  7. Поскольку ваш контент публикуется в социальных сетях, указанная информация расширенного фрагмента может помочь правильно просмотреть ваш контент и направить его в ваш профиль в социальной сети.

2 комментариев

  1. 1

    мой веб-сайт не может индексировать новый контент, я получаю карту сайта и URL-адреса на веб-мастере, но все еще не могу это улучшить. Это проблема с сервером Google?

Как вы думаете?

Этот сайт использует Akismet для уменьшения количества спама. Узнайте, как обрабатываются ваши данные комментариев.