Файл robots txt – директива для поисковиков

Файл robots txt
Файл robots txt

Хотите узнать как заработать в Интернете?
Скачайте бесплатную книгу Владислава Челпаченко
=>> «10 шагов к первому миллиону в инфобизнесе»

Приветствую посетителей своего блога, друзей, читателей, подписчиков! С Вами Андрей Хвостов, автор блога ingenerhvostov.ru, и основатель проекта DohodSistemno.ru.

Разрешите поздравить вас с праздниками: Светлой Пасхой и всемирным праздником Мира и Труда! Хочется пожелать вам исполнения всех ваших желаний, мирного неба над головой и труда, который приносит вам радость, удовлетворение и достаток!

Я нашёл для себя такой труд, и счастлив, что это произошло! В моей жизни воцарилась гармония, счастье и удовлетворение своей жизнью и работой, от которой я испытываю кайф, чего и вам желаю.

Продолжая серию статей, о сео оптимизации блога, нельзя не остановиться, на одной важной теме – настройке текстового файла robots txt, содержащего директивы индексирования блога для поисковиков.

Прежде всего, хочу напомнить новичкам, что пока сайт молодой, и на нём ещё нет достаточного количества статей, рекомендуется закрыть его полностью, от индексаций роботами поисковых систем.

Закрыть сайт очень просто, достаточно поставить одну галочку. В административной части блога, в левом меню, выбираете «настройки», и в выпадающем списке – «чтение», на открывшейся странице, найдите строчку «Видимость для поисковых систем», поставьте галочку.

Это нужно сделать, чтобы поисковики не беспокоили блог, пока он не наполнен статьями. Когда на блоге (сайте) будет достаточно контента для поисковиков, вы галочку снимите.

Роботы посетят ваш сайт, а о том, какой контент разрешено просматривать, а какой нельзя – покажет им файл robots txt.

Файл robots txt – директива для поисковиков

Файл robots txt – это инструкция, показывающая роботам, какие разделы блога разрешается читать, а какие нельзя.

Файл robots txt легко найти в корне блога. В моём случае папка – public_html, думаю, у вас так же.

Возможно ли просмотреть, что содержит ваш файл robots txt? Сделать это не сложно, можете вбить в поисковую строку ссылку на блог, затем дописать через слеш (/) robots txt. То есть, это выглядит так – http://ваш домен/robots.txt (https://ingenerhvostov.ru/ robots.txt)

скриншот файла robots txt

Таким методом, вы можете увидеть файл robots txt на каждом блоге, узнать, что веб мастер запрещает для индексации, а что нет. Таким образом, можете скопировать любой файл robots txt.

Как разобраться, что в нём написано, расшифровать смысл выражений в файле robots txt?

Это не трудно, сейчас расскажу вам значение основных выражений. И вы с лёгкостью сможете настроить этот файл на своём блоге.
Как любой документ, robots txt, начинается с обращения. Файл robots txt, показывает, для кого предназначен.

User-agent – это обращение к поисковикам, но роботов существует большое количество. Это роботы индексирующие текст, картинки, видеофайлы, аудио файлы, микро-разметку, роботы различных поисковых сист.

Так что же, нужно все их перечислять? Не обязательно! Можно обратиться ко всем поисковым роботам одновременно, и для этого существует звёздочка (*).

Не смотря на то, что мы, таким образом, обратились ко всем роботам, к поисковику Яндекса нужно обратиться персонально, так сказать оказать ему «особое внимание».

Файл robots txt – расшифровка директив

Обратился ко всем, что же дальше? А дальше идут директивы, указывающие, что можно индексировать, а что запрещено.

Disallow – эта команда роботам запрещающая индексацию.
Allow – эта команда разрешающая индексацию.

После того, как вы прописали все запреты, нужно указать имя вашего домена, то есть – Host.

И заканчивается файл robots txt, значением (Sitemap), говорящим, где лежит карта сайта для поисковиков. Необходимо написать адрес архива, файла в формате xml.

Например:
Host: домен.ру (в моём случае – ingenerhvostov.ru)
Sitemap: http://ваш сайт/sitemap.xml.gz (у меня – http:// ingenerhvostov.ru /sitemap.xml.gz)
Sitemap: http://ваш сайт/sitemap.xml

Обязательно установите плагин, генерирующий карту сайта для WordPress, которая будет находиться там, где вы указали.

Более полное и подробное описание оставшихся директив текстового файла robots txt, найдёте, посетив страницы раздела «помощь веб мастеру», на Яндекс – yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

Файл robots txt – что нужно закрывать от поисковых роботов

В идеале, необходимо скрыть все тех. разделы, страницы, файлы, ссылки. К запрету стоит отнести все темы, находящиеся на блоге, комментарии, папки плагинов, админки, так далее. Индексироваться должны статьи вашего блога по прямой ссылке.

Как же прописать запреты на индексирование, не будем же мы указывать все ссылки вручную?! Расслабьтесь, вписывать вручную все ссылки не нужно, для этого есть регулярные выражения.

Файл robots txt – регулярные выражения

Например, нужно закрыть от индексации все комментарии, достаточно вписать запрет (*/comments), где звёздочка означает все ссылки, перед – /comments, то есть запрещает индексировать все комментарии.

А вот это значение – (/*?*), говорит роботам о том, что не нужно индексировать ссылки, где есть знак вопроса (?).

Новичкам достаточно сложно, на первых порах, правильно настроить текстовый файл robots txt, поэтому, лучше всего, взять готовый, правильный файл, потом корректировать его для себя.

Для того, чтобы вносить изменения в файл robots txt, необходимо связаться с хостингом, через FTP соединение, например, при помощи бесплатной программки FileZilla.

Открыв корневую папку сайта, найти файл robots txt, скачать его на компьютер, или правой кнопкой мыши выбрать строку – редактировать.
Открывать файл лучше всего в программе Notepad++. После внесения изменений, не забудьте сохранить файл перед тем, как его закрыть. Если вы скачивали его на компьютер, то закачайте его обратно на сервер.

Файл robots txt – где брать

Я не стал давать вам в статье файл robots txt, вы можете открыть его, как я написал выше, и просто копировать. Не забудьте заменить домен и адрес сайта, вписав свои данные.

А ещё, просматривая файл, обратите внимание, что многие браузеры переводят текст на русский язык. Если ваш браузер делает автоматический перевод, то нажмите на ссылку – показать оригинал, так как переведённый файл работать не будет.

Что вы можете сделать ещё? А ещё вы можете таким же образом, посмотреть файлы на других блогах, лучше это делать на блогах вебмастеров – сеошников, сравнить его с моим файлом, может быть, у меня не всё закрыто от индексации.

Так вы можете создать более полный файл robots txt, запрещающий поисковым роботам просматривать то, что им смотреть не обязательно.

Возможно, я не ошибусь, сказав, что всех начинающих блогеров волнует вопрос, правильно ли они настроили robots txt. Спешу вас успокоить, во первых, вы можете, на всякий случай, сохранить имеющийся на блоге файл robors txt, себе на компьютер.

А новый, исправленный, загруженный на сервер файл robots txt вы сможете проверить в разделе Яндекса, помощи для веб-мастера, адрес: – webmaster.yandex.ru/robots.xml

Вы увидите, есть ли ошибки в файле, можете сразу всё исправить. Далее, скопировать правильный файл, и залить его на сервер.

Помните, что он правильно настроенной внутренней оптимизации сайта, зависит успешное продвижение, и «любовь» поисковых роботов. Наведите порядок на сайте, с первых дней его основания.

Надеюсь, моя статья поможет вам разобраться с тем, как правильно настроить файл robots txt, и вам теперь понятны выражения, написанные в роботсе, если это получилось, значит, я трудился не зря.

Мне очень хотелось, чтобы всё, о чём я написал, было бы понятно для новичков, старался писать, не применяя специальных терминов. Буду рад, если вы скажите в комментариях, своё мнение, дадите обратную связь.

P.S. Прикладываю скриншоты моих заработков в партнёрских программах. И напоминаю, что так зарабатывать может каждый, даже новичок! Главное — правильно это делать, а значит, научиться у тех, кто уже зарабатывает, то есть, у профессионалов Интернет бизнеса.

Зверев партнёрка

Зверев партнёрка

 

Вы хотите узнать какие ошибки совершают новички?
[urlspan]ошибки новичков убивающие результат[/urlspan]
99% новичков совершают эти ошибки и терпят фиаско в бизнесе и заработке в интернет! Посмотрите, чтобы не повторить этих ошибок — [urlspan]»3 + 1 ОШИБКИ НОВИЧКА, УБИВАЮЩИХ РЕЗУЛЬТАТ»[/urlspan].

Вам срочно нужны деньги?
[urlspan]ТОП5-заработок в интернете[/urlspan]
Скачайте бесплатно: «[urlspan]ТОП — 5 способов заработка в Интернете[/urlspan]». 5 лучших способов заработка в интернете, которые гарантированно принесут вам результат от 1 000 рублей в сутки и более.

Здесь готовое решение для вашего бизнеса!
[urlspan]проект готовых решений[/urlspan]
А для тех, кто привык брать готовые решения, есть [urlspan]»Проект готовых решений для старта заработка в Интернет»[/urlspan]. Узнайте, как начать свой бизнес в Интернете, даже самому «зеленому» новичку, без технических знаний, и даже без экспертности.

Оцените статью
Статьи, приносящие деньги
Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

  1. Руслан

    А что плохого в том, что поисковики будут индексировать молодой сайт на котором мало статей? Это же нормально,что в интернете появляются время от времени новые сайты.
    И еще: выражение (/*?*) — не уверен, но мне кажется, что должно быть так (*/?*)

    Ответить
    1. Иван Кунпан

      Руслан, можно открыть для индексации сайт сразу, но, как правило, на молодом сайте допускается куча ошибок,что негативно повлияет на дальнейшее продвижение. Кроме того, Яндекс блог все равно не будет индексировать 2-3 месяца. Дав ему сразу пачку статей, например, 20-40, он сразу же проиндексирует статьи и блог, такова статистика.

      Ответить
  2. Иван Кунпан

    Согласен, файл robots.txt важнейший атрибут любого сайта (блога), файл нужно составить качественно и без ошибок.

    Ответить
  3. Елизавета

    Я открыла свой блог для индексации, после того, когда было опубликовано около 40 статей. Спасибо Андрей, что помог разобраться с тем, как правильно настроить файл robots txt.

    Ответить
    1. И такой правильный подход и настройка, помогли блогу взять хороший старт с самого рождения.

      Ответить
  4. Юлия

    Сколько смотрю у блоггеров этот файл у всех по — разному, у seoшников он бывает сокращенный, потому что многие запреты они делают через код. А гугл совсем не любит роботс, он его игнорирует. Для него надо по — особенному настроить.

    Ответить
    1. Я бы не сказал, что гугл игнорирует роботс. Он не будет читать то, что под запретом, а вот забрать в сопли — может. Отсюда и получаются дубли.

      Ответить
      1. Юлия

        Вот я тоже за это и переживаю, делает он дубли или нет. Как это проверить

        Ответить
        1. Юлия, проверить это можно в разделе помощи веб мастеру, в Гугле, там есть вся информация, или через поиск. Я в следующих статьях подробно разберу как это делать. То есть как искать дубли.

          Ответить
          1. Юлия

            Хорошо будем ждать!

          2. Ок!

  5. Михаил

    Здравствуйте. Что-то не смог скопировать файл-не нашёл его.

    Ответить
    1. Андрей Хвостов автор

      Здравствуйте. Смотрите в скриншотах. Так страница роботс выглядит https://ingenerhvostov.ru/robots.txt.

      Ответить
  6. галина

    Спасибо Андрей все так подробно и понятно особенно для новичков

    Ответить
    1. Андрей Хвостов автор

      Пожалуйста.

      Ответить
  7. Анна

    Христос Воскресе! Спасибо, Андрей вы мне очень помогли! То что мне очень нужно было.

    Ответить
    1. Андрей Хвостов автор

      Воистину Воскресе! Пожалуйста!

      Ответить