Как поисковые системы находят, сканируют и индексируют ваш контент?
Я не часто рекомендую клиентам создавать свои собственные системы электронной коммерции или управления контентом из-за невиданных сегодня возможностей расширения, которые в первую очередь ориентированы на поисковую и социальную оптимизацию. Я написал статью о выбор CMSи я до сих пор показываю его компаниям, с которыми работаю, у которых возникает соблазн построить свою систему управления контентом.
Как работают поисковые системы?
Начнем с того, как работают поисковые системы. Вот отличный обзор от Google.
Однако бывают ситуации, когда кастомная платформа просто необходима. Когда это оптимальное решение, я все равно заставляю своих клиентов создавать необходимые функции для оптимизации своих сайтов для поиска и социальных сетей. Три ключевые особенности являются необходимостью.
- Robots.txt
- XML Sitemap
- Метаданные
Что такое файл Robots.txt?
Robots.txt файл - robots.txt Файл представляет собой обычный текстовый файл в корневом каталоге сайта и сообщает поисковым системам, что им следует включать и исключать из результатов поиска. В последние годы поисковые системы также требовали включения в файл пути к XML-карте сайта. Вот мой пример, который позволяет всем ботам сканировать мой сайт, а также направляет их на мою XML-карту сайта:
User-agent: *
Sitemap: https://martech.zone/sitemap_index.xmlЧто такое XML-карта сайта?
XML Sitemap - Подобно HTML предназначен для просмотра в браузере, XML записывается для программного анализа. Ан XML Карта сайта — это таблица каждой страницы вашего сайта и даты ее последнего обновления. Карты сайта XML также могут быть последовательно соединены… то есть один файл Sitemap XML может ссылаться на другой. Это замечательно, если вы хотите логически организовать и разбить элементы своего сайта (Часто задаваемые вопросы, страницы, продукты и т. д.) в свои собственные файлы Sitemap.
Файлы Sitemap необходимы для эффективного информирования поисковых систем о том, какой контент вы создали и когда он последний раз редактировался. Процесс перехода поисковой системы на ваш сайт неэффективен без использования карты сайта и фрагментов.
Без XML Sitemap, вы рискуете, что ваши страницы никогда не будут обнаружены. Что делать, если у вас есть целевая страница нового продукта, на которую нет внутренних или внешних ссылок? Как Google это обнаруживает? Ну, пока не будет найдена ссылка на него, вас не обнаружат. К счастью, поисковые системы позволяют системам управления контентом и платформам электронной коммерции расстилать для них красную дорожку!
- Google обнаруживает внешнюю или внутреннюю ссылку на ваш сайт.
- Google индексирует страницу и ранжирует ее в соответствии с ее содержанием, а также содержанием и качеством сайта ссылающейся ссылки.
С помощью XML-карты сайта, вы не оставляете обнаружение или обновление вашего контента на волю случая! Слишком многие разработчики пытаются использовать короткие пути, которые вредят и им самим. Они публикуют один и тот же расширенный фрагмент по всему сайту, предоставляя информацию, не имеющую отношения к информации на странице. Они публикуют карту сайта с одинаковыми датами на каждой странице (или все они обновляются при обновлении одной страницы), создавая очереди поисковым системам, что они обманывают систему или ненадежны. Или они вообще не пингуют поисковые системы… поэтому поисковая система не осознает, что была опубликована новая информация.
Что такое метаданные? Микроданные? Rich Snippets?
Rich snippets - это тщательно помеченные микроданные скрыты от зрителя, но видны на странице для использования поисковыми системами или сайтами социальных сетей. Это известно как метаданные. Google соответствует Schema.org в качестве стандарта для включения таких вещей, как изображения, заголовки, описания и множество других информационных фрагментов, таких как цена, количество, информация о местоположении, рейтинги и т. д. Схема значительно повысит видимость вашей поисковой системы и вероятность того, что пользователь перейдет по ссылке.
Facebook использует OpenGraph протокол (конечно, они не могут быть одинаковыми), X даже есть фрагмент для указания вашего X-профиля. Все больше и больше платформ используют эти метаданные для предварительного просмотра встроенных ссылок и другой информации при их публикации.
Ваши веб-страницы имеют основное значение, которое люди понимают, когда читают веб-страницы. Но поисковые системы имеют ограниченное представление о том, что обсуждается на этих страницах. Добавляя дополнительные теги в HTML-код своих веб-страниц - теги, которые говорят: «Привет, поисковая система, эта информация описывает этот конкретный фильм, или место, или человека, или видео» - вы можете помочь поисковым системам и другим приложениям лучше понять ваш контент. и отображать его в удобной и актуальной форме. Микроданные - это набор тегов, представленных в HTML5, которые позволяют вам это делать.
Schema.org, что такое микроданные?
Конечно, ничего из этого не требуется ... но я очень рекомендую их. Когда вы, например, делитесь ссылкой на Facebook, а изображение, заголовок или описание не появляется ... мало кто заинтересуется и фактически перейдет по ссылке. И если ваши фрагменты схемы отсутствуют на каждой странице, вы, конечно, все равно можете появляться в результатах поиска ... но конкуренты могут победить вас, когда у них будет отображаться дополнительная информация.
Зарегистрируйте свои XML-файлы Sitemap в Search Console
Если вы создали собственную платформу для контента или электронной коммерции, крайне важно, чтобы у вас была подсистема, которая проверяет поисковые системы, публикует микроданные, а затем предоставляет действительную XML-карту сайта для контента или информации о продукте, которую нужно найти!
После того как файл robots.txt, XML-карты сайта и расширенные фрагменты кода будут настроены и оптимизированы на вашем сайте, не забудьте зарегистрироваться для каждой поисковой системы. Поиск Консоль (Также известный как Веб-мастер инструмент), где вы можете следить за работоспособностью и видимостью вашего сайта в поисковых системах. Вы даже можете указать путь к файлу Sitemap, если его нет в списке, и посмотреть, как поисковая система его использует, есть ли с ним какие-либо проблемы и даже как их исправить.
Расстелите красную дорожку поисковым системам и социальным сетям, и вы обнаружите, что рейтинг вашего сайта повысится, ваши записи на страницах результатов поисковых систем будут чаще переходить по ссылкам, а ваши страницы будут больше делиться в социальных сетях. Все это складывается!
Как Robots.txt, карты сайта и метаданные работают вместе
Объединение всех этих элементов похоже на расстилание красной ковровой дорожки для вашего сайта. Вот процесс сканирования, который выполняет бот, а также то, как поисковая система индексирует ваш контент.
- На вашем сайте есть файл robots.txt, который также ссылается на местоположение вашего XML-файла Sitemap.
- Ваша CMS или система электронной коммерции обновляет XML-карту сайта, добавляя любую страницу и информацию о дате публикации или редактирования.
- Ваша CMS или система электронной коммерции отправляет запрос поисковым системам, чтобы сообщить им, что ваш сайт обновлен. Вы можете проверить их связь напрямую или использовать RPC и такую службу, как Ping-o-matic, для отправки запроса всем ключевым поисковым системам.
- Поисковая система мгновенно возвращается, учитывает файл Robots.txt, находит новые или обновленные страницы через карту сайта, а затем индексирует страницу.
- При индексировании вашей страницы он использует заголовок, метаописание, элементы HTML5, заголовки, изображения, теги alt и другую информацию для правильной индексации страницы для соответствующих поисковых запросов.
- При индексировании вашей страницы она использует заголовок, метаописание и микроданные расширенного фрагмента для улучшения страницы результатов поисковой системы.
- По мере того, как другие релевантные сайты ссылаются на ваш контент, рейтинг вашего контента выше.
- Поскольку ваш контент публикуется в социальных сетях, указанная расширенная информация о фрагментах может помочь правильно просмотреть ваш контент и направить его в ваш социальный профиль.
