Доброго времени суток, уважаемые читатели и посетители wmbn.ru! Сегодня поговорим о файле robots.txt, которы уже изначально присутствует в Drupal после установки. Немного пробежимся по нему и посмотрим что в нем да как. Ну начинается он конечно с комментариев, которые указывают некоторые инструкции по проверке данного файла. Далее стандартные операторы любого robots.txt, в том числе и в Drupal — это атрибуты Disallow и User-Agent.

Файл robots.txt для Drupal

Однако может показаться, что файл составлен слегка непонятно, да и присутствует неизвестный атрибут Crawl-delay со своим значением 10. Поискав информацию о нем в центре вебмастеров Яндекса, нашелся очень интересный ответ — атрибут Crawl-delay нужен для того, чтобы задать интервал, при котором робот будет просматривать страницы сайта. Когда рассматривал Drupal в большей степени как CMS для создания сайтов, то даже и не думал о его СЕО части — сейчас же все по другому.

Далее присутствуют такие поля, как # Directories или # Files — это комментарии, которые указывают пользователю о том, что все что находится внизу является папками или файлами, которые не нужно индексировать. Кроме того добавлены в файл как чистые ссылки, так и запросы, типа ?q=admin.

Добавить в файл robots.txt можно, а даже нужно, путь до карты сайта и указать главное зеркало сайта. Все это делается с помощью атрибутов Sitemap: и Host: — это будет выглядеть так: Sitemap: http://drupal_site.ru/sitemap.xml и Host: drupal_site.ru. Подведем некоторые итоги:

  • Если сайт, которые вы планируете сделать, будет использовать в качестве движка систему Drupal, то для начала создайте стандартный файл sitemap.xml, он же карта сайта, который можно так же и редактировать с помощью модуля XML sitemap;
  • Помимо основного контента, можно добавить в карту сайта и пользователей Drupal, различные ссылки и таксономию;
  • По умолчанию в Drupal карты сайта нет, что очень плохо для любого оптимизатора и вебмастера;
  • Robots.txt в Drupal далеко не идеален, однако его начальный каркас вполне пригоден для редактирования и добавления в него своих атрибутов;

Вот и все, запись о файле robots.txt можно закончить. Хотелось бы под конец еще немного поразмыслить — те ссылки и параметры, которые будут добавляться в файл sitemap.xml нужно учесть. То есть может не всегда потребоваться так, чтобы ссылки с профилей каким-то образом индексировались и просматривались поисковыми системами. В некоторых случаях можно вызвать дубликат страниц, если все наобум запихнуть в карту.

Про robots.txt вообще можно писать и писать как он далек от идеала, но вспомните — был ли в WordPress нормальный файл для робота, там вообще придется создать robots.txt вручную. Drupal же предлагает, так скажем начальный каркас, от которого можно сделать и свой файл, а старый сохранить на всякий случай. А вообще посмотрите как он создан на других проектах и возможно их данные вам помогут.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>