Kак настроить поисковую оптимизацию?

Добавляем сайт в Яндекс.Вебмастер, Google Webmasters, заполняем заголовок/описание и ключевые слова. Sitemap и robots.txt

Содержание:
1.Индексация в Яндексе
2.Индексация в Google
3.Заголовок, описание и ключевые слова
4.Работа с файлами sitemap.xml и Robots.txt
5. Исключение из индексации:
5.1. Всех страниц на домене
5.2. Некоторых страниц в подпапках
5.3. Любую страницу с помощью мета-тега
5.4. Исключаем секцию
6. Как вручную указать путь к Sitemap и Robots для поисковиков?


Важно. Страница, которая находится на бесплатном тестовом поддомене и имеет окончание «******.plp7.me» не индексируется. Для индексации необходимо прикрепить домен к странице


Поисковая оптимизация

Поисковая оптимизация сайта (поисковое продвижение сайта, раскрутка сайта, SEO – SearchEngineOptimization) – это комплекс мер для повышения позиций сайта в результатах выдачи поисковых систем по заранее отобранным запросам.
Если сайт не оптимизирован – он может не отображаться на страницах Яндекса/Google или же отображаться некорректно.


В этой статье Вы узнаете о первых и главных шагах в оптимизации сайта. Как добавить сайт в поисковые системы Яндекс и Google.
Сможете настроить заголовок, описание и ключевые слова для страницы.


 


1.Индексация в Яндексе

Индексация сайта – наличие страниц сайта в базе поисковых систем. Для того, что бы сайт стал проиндексирован, необходимо, чтобы на него зашёл поисковой бот.
Важно. Добавить в поисковые системы можно только полноценный домен, на бесплатных адресах формата xxxx.plp7.ru индексация отключена.


Шаг 1.

Важно. Если у вас нет аккаунта на Яндексе – обязательно зарегистрируйтесь. Аккаунт пригодится для Яндекс.Метрики.


  • Впишите доменное имя сайта и нажмите кнопку «Добавить».

Важно. Если вы используете ssl-сертификат на страницах, то все ссылки в Вебмастере Яндекс (адрес сайта, sitemap и т.д.) необходимо указывать с https, например, не site.ru, а https://site.ru . Это нужно для корректного отслеживания индексации страниц, ошибок и т.д.


Шаг 2. Выберите подтверждение прав через DNS-запись и скопируйте значение yandex-verification. Например:

yandex-verification: d73af6733565640e

У вас будет другое, уникальное значение.

Шаг 3. 

  • Переходим в личный кабинет Платформы LP, во вкладку «Домены» и нажимаем «Добавить запись»:

  • Далее добавляем запись типа TXT:

Хост: @
Тип: TXT
Значение: Копируем с сервиса Yandex.

Нажимаем «Добавить». ✔


Шаг 4. Вернитесь на страницу Вебмастера и нажмите кнопку «Проверить».

Важно. Если проверка сразу не нашла запись, попробуйте повторить чуть позже. Обновление DNS-записей может занять до 72 часов.


Настройка завершена, теперь Ваш сайт появится в Яндексе.
Чтобы узнать больше, заходите в инструкцию вебмастера.
Индексация занимает от 3 до 21 дней. Если через 21 день сайт так и не появился в поиске – напишите в службу поддержки.


 


2.Индексация в Google

Шаг 1. Добавьте сайт в Google Webmasters.


Важно. Если у Вас еще нет аккаунта в Google – зарегистрируйтесь. Это пригодится при подключении Google Analytics – сервиса для сбора статистики;


Шаг 2. Нажимаем «Начать» - «Перейти в Search Console» - «Попробовать». Далее впишите ссылку на ваш домен в окне «Ресурс с префиксом в URL» и нажмите «Продолжить».
Важно. Если вы используете ssl-сертификат на ваших страницах, то ссылка будет с https-протоколом, как на скриншоте ниже. Если данный сертификат вы не используете, то ссылка будет с http. 


Шаг 3. Откройте вкладку «Тег HTML» и скопируйте ваш код.


Пример кода:

 <meta name=”google-site-verification” content=”o_9XTifcflRoGNLHTJ6SN-tUe3p7VOOMR24A” />

 Шаг 4. Вернитесь на Платформу, перейдите в раздел «Страницы», выберите нужную станицу и откройте ее «Настройки».


Шаг 5. Откройте раздел «Метрика и скрипты» и нажмите «Добавить плагин»


Шаг 6. Добавьте плагин «Google подтверждение прав» и вставьте полученный ранее мета-тег в поле «Код подтверждения Google» 


Нажмите «Сохранить» 


Шаг 7. Вернитесь в Google Search console для проверки кода.


Настройка завершена. Теперь сайт появится в Google.
Чтобы узнать больше, заходите в справочный центр.
Индексация занимает от 3 до 21 дней.
Если через 21 день сайт так и не появился в поиске – напишите в службу поддержки.
 


3.Заголовок, описание и ключевые слова

Откройте настройки страницы и выберите вкладку «Поисковая оптимизация».
Заполните пустые поля, следуя рекомендациям ниже.


Заголовок (тег title) – текст, который отображается во вкладке браузера и в результатах поиска.


Подберите короткий, ёмкий и максимально точный заголовок для Вашей страницы.
Заголовок – это «лицо» сайта, поэтому пишите кратко и понятно.
Рекомендуем уложиться в 60-75 знаков.


Описание(meta description) – текст, который отображается под заголовком сайта.


Создайте привлекательное, продающее описание сайта.
Рекомендуем уложиться в 150-180 знаков, т.к. длинные описания обрезаются поисковым роботом и отображаются некорректно.
Важно. На данный момент поисковые системы часто игнорируют описание сайта, отображая контент страницы отрывками, в зависимости от поискового запроса. Это нормальная ситуация.  


Ключевые слова(meta keywords) – слова, по которым пользователь находит сайт.
Пример:
Вы продаете шкафы – определите, по каким запросам он выйдет на продавца.
Чтобы определить ключевые слова, воспользуйтесь Яндекс.Wordstat или наймите seo-программиста.


Добавьте ключевые слова и фразы через запятую. Рекомендуемая максимальная длина – до 250 знаков, более 1000 знаков добавить не получится.
Сделайте упор на первые 150 знаков, самые «нужные» и эффективные фразы поставьте в начало.
В итоге поле с ключевыми словами может выглядеть так: «купить шкаф в Москве, шкаф из сосны, московская фабрика мебели» и т.п.
 


4.Работа с файлами Sitemap.xml и Robots.txt

Важно. Оба данных файла заполняются только для главных страниц сайта. Настройки будут распространяться на все страницы в подпапках, которые будут указаны в списке страниц Sitemap. Остальные страницы (которые не попали в список) могут быть индексированы как часть вашего основного сайта, как совершенно отдельный сайт или не быть проиндексированы совсем.
Поддомен и страницы на нём распознаются системой как отдельный сайт. Поэтому для каждого поддомена необходимо составлять свой Sitemap.xml и Robots.txt.
Для одностраничных сайтов заполнять Sitemap.xml и Robots.txt не обязательно, т.к. данные файлы созданы в первую очередь для работы с многостраничными сайтами.


 


Sitemap.xml

Sitemap помогает поисковикам определить список страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковики смогли более разумно провести индексацию.


Подробную схему описания sitemap.xml можно найти на этой странице – https://www.sitemaps.org/ru/protocol.html

Если у вас нет опыта в создании sitemap, или специалиста, который может это сделать - рекомендуем воспользоваться одним из бесплатных генераторов 
sitemap, который сделает это за вас. 
Обратите внимание, что карта генератором создаётся из ссылок, которые есть на главной странице. Если на основной странице нет ссылки на какую-то страницу в подпапке, то она может быть не включена в sitemap. 
Примеры генераторов: 
https://gensitemap.ru/ 
https://www.mysitemapgenerator.com/
Инструкция по генератору mysitemapgenerator.com:


  1. Введите полный адрес сайта, например, https://domen.ru/ и нажмите "Старт!"

  2. Нажмите на кнопку "Скачать" и далее снова "Скачать"

  3. Откройте скачанный файл через блокнот (обязательно данным способом, чтобы не появились сторонние символы)

  4. Проверьте, что в файле есть все необходимые страницы. Адреса расположены между тегами <loc> ссылка </loc>

  5. Скопируйте содержимое файла. Важно скопировать текст полностью, не пропустив ни символа. Пример:

При добавлении новой страницы к сайту необходимо ее прописывать в sitemap.xml вручную или создать файл заново через генератор, чтобы поисковые системы быстрее проиндексировали страницу и распознали её как часть сайта.
После этого добавляем нашу созданную карту сайта и сохраняем изменения:


 


Robots.txt

Robots.txt —текстовый файл, ограничивающий поисковым роботам доступ к содержимому сайта.


Файл состоит из набора инструкций, при помощи которых можно указать страницы для запрета индексации, указать главное зеркало и sitemap.xml.
Для правильной настройки рекомендуем использовать рекомендации от Яндекс (https://yandex.ru/support/webmaster) и Google (https://support.google.com/webmasters)


Если не существует файла robots.txt, то поисковые роботы будут индексировать ваш сайт полностью. Если же такой файл существует, то роботы будут руководствоваться правилами, которые в этом файле прописываются.


💡Некоторые сервисы для веб-мастеров, например, Яндекс, могут требовать наличие данного файла в обязательном порядке. Если вы планируете работать с поисковой выдачей, то желательно robots.txt заполнить.

Пример стандартного содержимого файла при условии, что все страницы сайта открыты для индексации:


User-Agent: *
Disallow:

Прописать sitemap.xml и robots.txt можно в настройках страницы, на вкладке «Поисковая оптимизация»:


 


5. Исключение из индексации

Исключить из индексации можно все страницы, или одну/несколько конкретных в подпапках. Обратите внимание, что поддомены распознаются системами как отдельные домены и для каждого из них нужен свой sitemap и robots. Рассмотрим все варианты ниже.
 


5.1. Всех страниц на домене

Чтобы закрыть от индексации все страницы на домене, заходим в настройки главной страницы (которая размещается на самом домене, без подпапок)


и добавляем в Robots.txt следующий код:


User-agent: *
Disallow: /

Сохраняем изменения ✔
 


5.2. Некоторых страниц в подпапках

Если нужно запретить некоторые страницы, которые размещены в определенной подпапке для показа в поиске, то они указываются в правиле "Disallow", например:


User-agent: *
Disallow: /page1
Disallow: /page2

В данном примере разрешены для индексации все страницы сайта, кроме https://site.ru/page1 и https://site.ru/page2.


Для закрытия подпапок от индексации, значение robots.txt прописываем в настройках главной страницы и сохраняем изменения.
 


5.3. Любую страницу с помощью метатега

Помимо robots.txt, для исключения страницы из индексации, также можно использовать метатег. Для этого:


  1. Зайдите в настройки страницы, которую хотите исключить из индексации

  2. Зайдите в раздел «Метрика и скрипты»

  3. Нажмите на кнопку «Добавить плагин»

  4.  Выберите плагин «Произвольный код HEAD или BODY»

  5. Добавьте следующий метатег в поле HEAD:

<meta name="robots" content="noindex, nofollow">

Сохраняем изменения ✔
 


5.4. Исключаем секцию

Если мы хотим, чтобы определённая секция не индексировалась поисковыми системами, то её можно исключить из индексации.
Для этого перейдём в “Стили секции” во вкладку “Параметры” и установим галочку “Исключить из индексации


Повторно опубликуем страницу для применения изменений ✔
 


6. Как вручную указать путь к Sitemap и Robots для поисковиков?

Проверяем Robots в Вебмастере

Для этого зайдите в Вебмастер и следуйте пошаговой инструкции: 


  1. Выберите нужный домен в списке подключенных

  2. Перейдите в раздел «Инструменты» и в подраздел robots.txt

  3. Нажмите на кнопку «Проверить»

Яндекс проверит наличие robots.txt на вашей странице, и отобразит его в текстовом поле, если robots подключен.
 


Проверяем Sitemap в Вебмастере

  1. Выберите нужный домен в списке подключенных

  2. Перейдите в раздел «Инструменты» и в подраздел Sitemap

  3. Выберите способ проверки «URL»

  4. Укажите адрес на ваш sitemap, в таком формате: mysite.ru/sitemap.xml
    Где mysite.ru - имя вашего домена. И нажмите на кнопку «Проверить»

Если появится надпись «Ошибок не найдено» значит все в порядке.
Пример результата успешной проверки:


После проверки наличия sitemap, нужно также подтвердить его для индексации.


  1. Зайдите в раздел «Индексирование»

  2. Перейдите в подраздел «Файлы Sitemap»

  3. Укажите ссылку на ваш sitemap. Если вы уже прошли проверку по инструкции выше - нажав на поле ввода, Вебмастер предложит вам ту же ссылку, которую вы проверяли. Добавьте ее, или укажите вручную, в том же формате: mysite.ru/sitemap.xml
    Где mysite.ru - имя вашего домена.После ввода ссылки - нажмите на кнопку «Добавить»

Указанная ссылка на sitemap встанет в очередь на индексацию. Если индексация пройдет успешно - это отобразится в статусе:


Проверяем Sitemap в Google Search Console

  1. Зайдите в Google Search и выберите ресурс (ваш домен) на котором хотите проверить sitemap.

  2. Перейдите в раздел «Файлы Sitemap»

  3. В поле «URL файла Sitemap» укажите значение sitemap.xml без адреса страницы, т.к. он подставляется автоматически

  4. Нажмите на кнопку «Отправить»

Если sitemap на странице присутствует - в панели проверки будет статус «Успешно»


Готово, поисковая оптимизация завершена 😊🎉


👆 На этом пока всё