Содержание:
1.Индексация в Яндексе
2.Индексация в Google
3.Заголовок, описание и ключевые слова
4.Работа с файлами sitemap.xml и Robots.txt
5. Исключение из индексации:
5.1. Всех страниц на домене
5.2. Некоторых страниц в подпапках
5.3. Любую страницу с помощью метатега
5.4. Исключаем секцию
6. Как вручную указать путь к Sitemap и Robots для поисковиков?
​

❗Важно. Страница, которая находится на бесплатном тестовом поддомене и имеет окончание «******.plp7.ru» не индексируется. Для индексации необходимо прикрепить домен к странице.
 

 

Поисковая оптимизация

Поисковая оптимизация сайта (поисковое продвижение сайта, раскрутка сайта, SEO – SearchEngineOptimization) – это комплекс мер для повышения позиций сайта в результатах выдачи поисковых систем по заранее отобранным запросам.
Если сайт не оптимизирован – он может не отображаться на страницах Яндекса/Google или же отображаться некорректно.

В этой статье Вы узнаете о первых и главных шагах в оптимизации сайта. Как добавить сайт в поисковые системы Яндекс и Google.
Сможете настроить заголовок, описание и ключевые слова для страницы.

 

1.Индексация в Яндексе

Индексация сайта – наличие страниц сайта в базе поисковых систем. Для того, что бы сайт стал проиндексирован, необходимо, чтобы на него зашёл поисковой бот.
❗Важно. Добавить в поисковые системы можно только полноценный домен, на бесплатных адресах формата xxxx.plp7.ru индексация отключена.

Шаг 1.

• Добавьте сайт в Яндекс.Вебмастер.

❗Важно. Если у вас нет аккаунта на Яндексе – обязательно зарегистрируйтесь. Аккаунт пригодится для Яндекс.Метрики.

• Впишите доменное имя сайта и нажмите кнопку «Добавить».

❗Важно. Если вы используете ssl-сертификат на страницах, то все ссылки в Вебмастере Яндекс (адрес сайта, sitemap и т.д.) необходимо указывать с https, например, не site.ru, а https://site.ru . Это нужно для корректного отслеживания индексации страниц, ошибок и т.д.

Шаг 2. Выберите подтверждение прав через DNS-запись и скопируйте значение yandex-verification. Например:

yandex-verification: d73af6733565640e

У вас будет другое, уникальное значение.

Шаг 3.

• Переходим в личный кабинет Платформы LP, во вкладку «Домены» и нажимаем «Добавить запись»:

• Далее добавляем запись типа TXT:

Хост: @
Тип: TXT
Значение: Копируем с сервиса Yandex.

Нажимаем «Добавить». ✔

Шаг 4. Вернитесь на страницу Вебмастера и нажмите кнопку «Проверить».

❗Важно. Если проверка сразу не нашла запись, попробуйте повторить чуть позже. Обновление DNS-записей может занять до 72 часов.

Настройка завершена, теперь Ваш сайт появится в Яндексе.
Чтобы узнать больше, заходите в инструкцию вебмастера.
Индексация занимает от 3 до 21 дней. Если через 21 день сайт так и не появился в поиске – напишите в службу поддержки.

 

2.Индексация в Google

Шаг 1. Добавьте сайт в Google Webmasters.

❗Важно. Если у Вас еще нет аккаунта в Google – зарегистрируйтесь. Это пригодится при подключении Google Analytics – сервиса для сбора статистики;

Шаг 2. Нажимаем «Начать» - «Перейти в Search Console» - «Попробовать». Далее впишите ссылку на ваш домен в окне «Ресурс с префиксом в URL» и нажмите «Продолжить».
❗Важно. Если вы используете ssl-сертификат на ваших страницах, то ссылка будет с https-протоколом, как на скриншоте ниже. Если данный сертификат вы не используете, то ссылка будет с http. 

Шаг 3. Откройте вкладку «Тег HTML» и скопируйте ваш код.

Пример кода:

 <meta name=”google-site-verification” content=”o_9XTifcflRoGNLHTJ6SN-tUe3p7VOOMR24A” />

 Шаг 4. Вернитесь на Платформу, перейдите в раздел «Страницы», выберите нужную станицу и откройте ее «Настройки».

Шаг 5. Откройте раздел «Метрика и скрипты» и нажмите «Добавить плагин»

Шаг 6. Добавьте плагин «Google подтверждение прав» и вставьте полученный ранее мета-тег в поле «Код подтверждения Google» 

Нажмите «Сохранить» ✔

Шаг 7. Вернитесь в Google Search console для проверки кода.

Настройка завершена. Теперь сайт появится в Google.
Чтобы узнать больше, заходите в справочный центр.
Индексация занимает от 3 до 21 дней.
Если через 21 день сайт так и не появился в поиске – напишите в службу поддержки.
 

3.Заголовок, описание и ключевые слова

Откройте настройки страницы и выберите вкладку «Поисковая оптимизация».
Заполните пустые поля, следуя рекомендациям ниже.

Заголовок (тег title) – текст, который отображается во вкладке браузера и в результатах поиска.

Подберите короткий, ёмкий и максимально точный заголовок для Вашей страницы.
Заголовок – это «лицо» сайта, поэтому пишите кратко и понятно.
Рекомендуем уложиться в 60-75 знаков.

Описание(meta description) – текст, который отображается под заголовком сайта.

Создайте привлекательное, продающее описание сайта.
Рекомендуем уложиться в 150-180 знаков, т.к. длинные описания обрезаются поисковым роботом и отображаются некорректно.
❗Важно. На данный момент поисковые системы часто игнорируют описание сайта, отображая контент страницы отрывками, в зависимости от поискового запроса. Это нормальная ситуация.  

Ключевые слова(meta keywords) – слова, по которым пользователь находит сайт.
Пример:
Вы продаете шкафы – определите, по каким запросам он выйдет на продавца.
Чтобы определить ключевые слова, воспользуйтесь Яндекс.Wordstat или наймите seo-программиста.

Добавьте ключевые слова и фразы через запятую. Рекомендуемая максимальная длина – до 250 знаков, более 1000 знаков добавить не получится.
Сделайте упор на первые 150 знаков, самые «нужные» и эффективные фразы поставьте в начало.
В итоге поле с ключевыми словами может выглядеть так: «купить шкаф в Москве, шкаф из сосны, московская фабрика мебели» и т.п.
 

4.Работа с файлами Sitemap.xml и Robots.txt

❗Важно. Оба данных файла заполняются только для главных страниц сайта. Настройки будут распространяться на все страницы в подпапках, которые будут указаны в списке страниц Sitemap. Остальные страницы (которые не попали в список) могут быть индексированы как часть вашего основного сайта, как совершенно отдельный сайт или не быть проиндексированы совсем.
Поддомен и страницы на нём распознаются системой как отдельный сайт. Поэтому для каждого поддомена необходимо составлять свой Sitemap.xml и Robots.txt.
Для одностраничных сайтов заполнять Sitemap.xml и Robots.txt не обязательно, т.к. данные файлы созданы в первую очередь для работы с многостраничными сайтами.

 

Sitemap.xml

Sitemap помогает поисковикам определить список страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковики смогли более разумно провести индексацию.

Подробную схему описания sitemap.xml можно найти на этой странице – https://www.sitemaps.org/ru/protocol.html

Если у вас нет опыта в создании sitemap, или специалиста, который может это сделать - рекомендуем воспользоваться одним из бесплатных генераторов
sitemap, который сделает это за вас.
❗Обратите внимание, что карта генератором создаётся из ссылок, которые есть на главной странице. Если на основной странице нет ссылки на какую-то страницу в подпапке, то она может быть не включена в sitemap.
Примеры генераторов:
https://gensitemap.ru/
https://www.mysitemapgenerator.com/
Инструкция по генератору mysitemapgenerator.com:

1. Введите полный адрес сайта, например, https://domen.ru/ и нажмите "Старт!"

2. Нажмите на кнопку "Скачать" и далее снова "Скачать"

3. Откройте скачанный файл через блокнот (обязательно данным способом, чтобы не появились сторонние символы)

4. Проверьте, что в файле есть все необходимые страницы. Адреса расположены между тегами <loc> ссылка </loc>

5. Скопируйте содержимое файла. Важно скопировать текст полностью, не пропустив ни символа. Пример:

При добавлении новой страницы к сайту необходимо ее прописывать в sitemap.xml вручную или создать файл заново через генератор, чтобы поисковые системы быстрее проиндексировали страницу и распознали её как часть сайта.
После этого добавляем нашу созданную карту сайта и сохраняем изменения:

 

Robots.txt

Robots.txt —текстовый файл, ограничивающий поисковым роботам доступ к содержимому сайта.

Файл состоит из набора инструкций, при помощи которых можно указать страницы для запрета индексации, указать главное зеркало и sitemap.xml.
Для правильной настройки рекомендуем использовать рекомендации от Яндекс (https://yandex.ru/support/webmaster) и Google (https://support.google.com/webmasters)

Если не существует файла robots.txt, то поисковые роботы будут индексировать ваш сайт полностью. Если же такой файл существует, то роботы будут руководствоваться правилами, которые в этом файле прописываются.

💡Некоторые сервисы для веб-мастеров, например, Яндекс, могут требовать наличие данного файла в обязательном порядке. Если вы планируете работать с поисковой выдачей, то желательно robots.txt заполнить.

Пример стандартного содержимого файла при условии, что все страницы сайта открыты для индексации:

User-Agent: *
Disallow:

Прописать sitemap.xml и robots.txt можно в настройках страницы, на вкладке «Поисковая оптимизация»:

 

5. Исключение из индексации

Исключить из индексации можно все страницы, или одну/несколько конкретных в подпапках. Обратите внимание, что поддомены распознаются системами как отдельные домены и для каждого из них нужен свой sitemap и robots. Рассмотрим все варианты ниже.
 

5.1. Всех страниц на домене

Чтобы закрыть от индексации все страницы на домене, заходим в настройки главной страницы (которая размещается на самом домене, без подпапок)

и добавляем в Robots.txt следующий код:

User-agent: *
Disallow: /

Сохраняем изменения ✔
 

5.2. Некоторых страниц в подпапках

Если нужно запретить некоторые страницы, которые размещены в определенной подпапке для показа в поиске, то они указываются в правиле "Disallow", например:

User-agent: *
Disallow: /page1
Disallow: /page2

В данном примере разрешены для индексации все страницы сайта, кроме https://site.ru/page1 и https://site.ru/page2.

Для закрытия подпапок от индексации, значение robots.txt прописываем в настройках главной страницы и сохраняем изменения.
 

5.3. Любую страницу с помощью метатега

Помимо robots.txt, для исключения страницы из индексации, также можно использовать метатег. Для этого:

1. Зайдите в настройки страницы, которую хотите исключить из индексации

2. Зайдите в раздел «Метрика и скрипты»

3. Нажмите на кнопку «Добавить плагин»

4.  Выберите плагин «Произвольный код HEAD или BODY»

5. Добавьте следующий метатег в поле HEAD:

<meta name="robots" content="noindex, nofollow">

Сохраняем изменения ✔
 

5.4. Исключаем секцию

Если мы хотим, чтобы определённая секция не индексировалась поисковыми системами, то её можно исключить из индексации.
Для этого перейдём в “Стили секции” во вкладку “Параметры” и установим галочку “Исключить из индексации”

Повторно опубликуем страницу для применения изменений ✔
 

6. Как вручную указать путь к Sitemap и Robots для поисковиков?

Проверяем Robots в Вебмастере

Для этого зайдите в Вебмастер и следуйте пошаговой инструкции: 

1. Выберите нужный домен в списке подключенных

2. Перейдите в раздел «Инструменты» и в подраздел robots.txt

3. Нажмите на кнопку «Проверить»

Яндекс проверит наличие robots.txt на вашей странице, и отобразит его в текстовом поле, если robots подключен.
 

Проверяем Sitemap в Вебмастере

1. Выберите нужный домен в списке подключенных

2. Перейдите в раздел «Инструменты» и в подраздел Sitemap

3. Выберите способ проверки «URL»

4. Укажите адрес на ваш sitemap, в таком формате: mysite.ru/sitemap.xml
   Где mysite.ru - имя вашего домена. И нажмите на кнопку «Проверить»

Если появится надпись «Ошибок не найдено» значит все в порядке.
Пример результата успешной проверки:
​

❗ После проверки наличия sitemap, нужно также подтвердить его для индексации.

1. Зайдите в раздел «Индексирование»

2. Перейдите в подраздел «Файлы Sitemap»

3. Укажите ссылку на ваш sitemap. Если вы уже прошли проверку по инструкции выше - нажав на поле ввода, Вебмастер предложит вам ту же ссылку, которую вы проверяли. Добавьте ее, или укажите вручную, в том же формате: mysite.ru/sitemap.xml
   Где mysite.ru - имя вашего домена.После ввода ссылки - нажмите на кнопку «Добавить»

Указанная ссылка на sitemap встанет в очередь на индексацию. Если индексация пройдет успешно - это отобразится в статусе:
​

Проверяем Sitemap в Google Search Console

1. Зайдите в Google Search и выберите ресурс (ваш домен) на котором хотите проверить sitemap.

2. Перейдите в раздел «Файлы Sitemap»

3. В поле «URL файла Sitemap» укажите значение sitemap.xml без адреса страницы, т.к. он подставляется автоматически

4. Нажмите на кнопку «Отправить»

Если sitemap на странице присутствует - в панели проверки будет статус «Успешно»

Готово, поисковая оптимизация завершена 😊🎉