Мета-тег robots: что это такое и зачем он нужен

meta-teg-robots-chto-eto-takoe-i-zachem-on-nuzhen-malik

Мета-тег robots: что это такое и зачем он нужен

Поисковые системы имеют свои требования к страницам сайта, и чтобы ресурс был на первых позициях, необходимо их придерживаться. От того, насколько качественным и SEO-оптимизированным будет ваш сайт, будет зависеть и его положение в выдаче. Одним их таких требований является использование мета-тега robots. Что это такое? Когда и как применяется robots? Зачем он нужен?

Что такое мета-тег robots?

Разобраться, в чем суть мета-тега robots, можно и без знания термина. Robots помогает сайту наладить положительные отношения с поисковыми системами. Если программист вставляет тег на страницу, то поисковики будут понимать, нужно ли индексировать ее или нет. Чаще всего его используют в тех случаях, когда нужно скрыть страницу из индекса.

Этот мета-тег очень важен, особенно для развивающихся сайтов. Иногда возникает проблема дублирования страниц, из-за чего система негативно оценивает ресурс. Тогда наличие robots поможет скрыть одну страницу из выдачи.

Как использовать мета-тега robots?

Внедрение тега на выбранные страницы — это очень простая задача. Необходимо внутрь тега <head> добавить robots.

Главное в этом случае его правильно оформить.

Структура мета-тега robots очень простая:
<meta name=”robots” content=”xxxxxxxxx”/>
Внутреннее содержимое content будет зависеть от того, какую цель вы хотите добиться. Чаще всего необходимо скрыть страницу из выдачи, поэтому используется noindex, но есть и множество других директив.

  • Index или noindex. Данный тег применяется тогда, когда необходимо скрыть содержимое страницы от индексации. Noindex необходимо отдельно прописывать, если вы планируете вообще спрятать страницу, а index специально не используется, потому что поисковики самостоятельно считывают эту страницу.
  • Follow или nofollow — тег помогает системе понять, нужно ли анализировать ссылки, которые используются на этой странице. Поисковая система сможет проиндексировать сам контент, но будет игнорировать ссылки.
  • All или none — нужно ли полностью скрыть или разрешить к индексации страницу и контент на ней.
  • Noimageindex. Этот тег не дает роботу считывать изображения на странице. По сути, картинки будут считываться, но ваш сайт не будет выдаваться как источник этого изображения в выдаче “Фото” в поисковиках.
  • Noarchive запрещает поисковой системе показывать ссылку “Сохраненная копия” вашей страницы.
  • Nosnippet применяется редко. Этот тег означает, что у выбранной страницы не будет короткого описания (сниппета или основных мета-тегов) во время выдачи.
  • Noodp сейчас применяется еще реже, потому что он запрещает поисковику пользоваться в качестве сниппета текстом из каталога Open Directory Project (DMOZ). Так как каталог уже закрыт, то и директива по сути бесполезны.
  • Noydir — запрещает брать описания из каталога Yahoo!, и тоже почти не используется, но если вы ориентируетесь на этот поисковик, то его можно добавить.

Нужно помнить, что в некоторых случаях используется больше одного тега для content. Они прописываются через запятую. Кроме того, эти теги применяю только для Яндекса и рамблера, а Google не воспринимает некоторые теги.

Например, noindex не читается гуглом, потому что он не относится к официальной спецификацию гипертекстовой html-разметки.

Как и где используется мета-тег robots?

В некоторых случаях, теги можно взаимозаменять, потому что суть директив одинакова. К примеру, вы планируете полностью скрыть содержимое страницы, а также ссылок на ней. При том нет необходимость вставлять в content noindex и nofollow, а можно просто вписать none.

Если вам необходимо поставить полное считывание, индексацию всего содержимого страницы, то иногда добавляют директивы index, follow или all, но лучшим вариантом будет вообще убрать тег. Система сама сможет прочитать страницы вашего сайта, кроме тех, которые вы принудительно скрыли.

Вместе с этим, может появиться проблема, что поисковик не видит страницу по каким-то проблемам. Тогда можно прописать мета-тег robots, чтобы заставить систему проиндексировать ее. Если и это не получится, то нужно будет искать ошибку в коде.

Как настроить только под Google?

Бывает, что нужно настроить robots только для определенного поисковика. В этом случае, вместо слова robots в коде указывается имя бота системы.

<meta name=”googlebot” content=”nofollow”/>
Но обязательно обратите внимание на то, что внутри тега content нельзя вписывать противоречащие друг другу директивы. Иначе система попросту проигнорирует наличие этого мета-тега.

Регистр мета-тега robots

Есть у robots и достаточно спорный момент — регистр, в котором добавляют тег. Некоторые специалисты работают с ним исключительно как с прописным, хотя другие считают, что robots — строчный. Но использовать можно оба варианта, потому что система и сайт никак не реагирует на тип регистра.

Если существует файл robots.txt, то зачем нужен robots?

Мета-тег robots, хотя и похож с файлом robots.txt, но имеет отличия:

  1. Мета-тег применяется тогда, когда нужно более точно настроить индексацию.В robots.txt не позволит скрыть анализ ссылок или изображений.
  2. Чтобы добавить robots.txt, нужно проникать во внутреннюю директорию сайта, а часто для этого нет возможности. Тег же добавляется напрямую в разметку, что намного проще.
  3. Robots.txt — это более крупный вариант тега, который дает возможность запретить считывать каталог, множество страниц одновременно.

Если у одной страницы будет два разных варианта тега, то система может не правильно прочитать ее. В этом случае, ни одному файлу не будет даваться приоритет. В большинстве случаев, поисковик случайно выбирает один вариант, или же вообще пропустит наличие каких-либо мета-тегов robots.

Для крупных сайтов необходимо хотя бы для одной страницы использовать robots, потому он является очень удобным инструментом. Важно только научится правильно его применять, а это совершенно не сложно.

Было полезно? Тогда жмите

***

Скоро я проведу бесплатный онлайн мастер-класс «5 Прорывных идей развития нишевого интернет-магазина в 2018-2019». Вы узнаете:

  • Как стимулировать истинное желание купить именно у вас;
  • Как вас видят клиенты в интернете (не так, как вы думаете);
  • 7 главных маркетинговых инструментов, которые используют ваши конкуренты, но не Вы;
  • И многое другое.

Зарегистрироваться на мастер-класс и ознакомиться с полной программой можете по ссылке:

17 способов увеличить продажи в интернет-магазине

В этом Чек-Листе список стратегий и идей, которые помогут Вам посмотреть на Ваш бизнес с другой стороны. Это мой личный опыт по рекомендациям Игоря Манна и Роберта Чалдини. Внедряйте. Совершенно [Бесплатно]

Leave a Reply

Ваш e-mail не будет опубликован. Обязательные поля помечены *

развития нишевого интернет - магазина в 2018-2019 ​

Узнайте мои стратегии продвижения интернет-магазина, которые позволили сделать