Правильный robots txt и sitemap

Правильный robots txt и sitemap

 

Пока копирайтер (о том, как найти копирайтера) работает над вашим контентом, приступите к работе над картой сайта и файлом robots.txt. Вначале расскажу о Sitemap, так логичнее.

Site Map

Sitemap дословно переводится, как карта сайта. Смысл её в том, чтобы сообщать поисковому роботу о всех страницах имеющихся на сайте. Выглядит карта сайта в виде файла, в котором ссылки располагаются в столбик. Как правило sitemap имеет расширение .xml и .html.

Пример карты сайта .xml

https://seo-prodvigenie.ru/component/osmap/?view=html&id=1

Если ваш сайт работает на движке (CMS), то есть плагины автоматически генерирующие эти ссылки. Как правило они бесплатны.

Для joomla: XMap и OSMap.

Для wordpress: Google XML Sitemap и All in one SEO Pack.

Для Drupal: XML Sitemap и Site Map.

Я назвал самые популярные плагины для CRM. Я уверен, что и для своего сайта вы без труда найдете подходящий плагин. Если же ваш сайт написан вручную свободным кодом, тогда карту сайта либо придется писать вручную, либо использовать онлайн сервис для генерации карты сайта. Генераторы: www.mysitemapgenerator.com (до 500 страниц бесплатно, формат .xml), gensitemap.ru (до 1000 страниц бесплатно, .xml). Этот вариант плох тем, что при каждом новом добавлении контента на сайт, Вам придется генерировать новую карту.

Robots.txt

После того, как составили карту сайта, то переходим к созданию файла robots.txt. Что такое robots.txt? Это файл, в котором сообщается поисковому роботу, какие директории сайта следует сканировать, а какие не нужно. Robots.txt - это файл с форматом .txt, в котором с каждой новой строки записывается команда для поискового бота. Каждая новая строка начинается с команды, далее следует условие. Самыми популярными командами являются Allow и Disallow. Allow - разрешает сканировать директорию, Disallow - запрещает это делать.

Пример robots.txt

В robots.txt как правило запрещают сканировать разделы администратора, разделы комментариев, разделы поиска, ссылки с UTM-метками и другие. Все зависит от вашей CRM и то какие ссылки она создает.

Команды могут иметь принадлежность к поисковым роботам. Или другими словами мы можем показывать роботу Яндекса одни разделы, а роботу Google  мы не хотим этого делать. Тогда, мы указываем перед строками с командами для Яндекса User-agent: Yandex, а перед строками с командами для Google User-agent: Googlebot. В этом случае бот Яндекса выполнит свои команды, а Google свои.

Команда User-agent: * указывает на то, что данные команды должны выполнить роботы всех систем.

User-agent: Googlebot - для поискового робота Google

User-agent: Yandex - для поискового робота Яндекса

 

Чтобы закрыть все директории от сканирования в robots.txt нужно дать команду

User-agent: *

Disallow: /

Для робота Google:

User-agent: Googlebot

Disallow: /

Чтобы закрыть определенную папку от Google:

User-agent: Googlebot

Disallow: /folder/

Чтобы закрыть файл от индексации от Google:

User-agent: Googlebot

Disallow: /filder/folder2/file.pdf

Чтобы скрыть файлы определенного формата от Google:

User-agent: Googlebot

Disallow: *.pdf

Disallow: *.jpg

Таким образом в robots.txt можно закрыть любой файл и директорию от индексации. Помните о том, что скрыв разделы от индексации, не означает, что поисковый робот их не индексирует. Просто эти страницы не появятся в поисковом индексе.

Как открыть все страницы для индексации:

User-agent: *

Allow: /

Где находиться robots.txt?

Файл должен быть доступен по ссылке вашсайт.рф/robots.txt. Файл должен лежать в корневой папке на вашем хостинге, иметь название robots и формат .txt.



Host и Site Map в robots.txt

В файл также необходимо прописать еще два важных значения: host и sitemap.

Например:

Host: https://seo-prodvigenie.ru/
Sitemap: https://seo-prodvigenie.ru/component/osmap/?view=xml&id=1

Команда Host показывает главное зеркало сайта, например с www. или без www. Если сайт имеет SSL сертификат, то нужно прописать вначале https://.

Значения прописывают как правило в самом низу файла, каждая команда с новой строки.

Сделал максимально подробный и пошаговый план такой сложной темы. Уверен, что у вас все получится! Загрузить карту сайта в вебмастер, проверить ее актуальность и еще много полезных фишек в Яндекс.Вебмастере (полный обзор Яндекс Вебмастера). 

 

Если вы начали наш курс не с самого начала, то рекомендую ознакомиться с каждой статьей по порядку. Вот ссылка на первую статью про анализ конкурентов


Печать   E-mail