Содержание:
1.Индексация в Яндексе
2.Индексация в Google
3.Заголовок, описание и ключевые слова
4.Работа с файлами sitemap.xml и Robots.txt
5. Исключение из индексации:
5.1. Всех страниц на домене
5.2. Некоторых страниц в подпапках
5.3. Любую страницу с помощью метатега
5.4. Исключаем секцию
6. Как вручную указать путь к Sitemap и Robots для поисковиков?
❗Важно. Страница, которая находится на бесплатном тестовом поддомене и имеет окончание «******.plp7.ru» не индексируется. Для индексации необходимо прикрепить домен к странице.
Поисковая оптимизация сайта (поисковое продвижение сайта, раскрутка сайта, SEO – SearchEngineOptimization) – это комплекс мер для повышения позиций сайта в результатах выдачи поисковых систем по заранее отобранным запросам.
Если сайт не оптимизирован – он может не отображаться на страницах Яндекса/Google или же отображаться некорректно.
В этой статье Вы узнаете о первых и главных шагах в оптимизации сайта. Как добавить сайт в поисковые системы Яндекс и Google.
Сможете настроить заголовок, описание и ключевые слова для страницы.
Индексация сайта – наличие страниц сайта в базе поисковых систем. Для того, что бы сайт стал проиндексирован, необходимо, чтобы на него зашёл поисковой бот.
❗Важно. Добавить в поисковые системы можно только полноценный домен, на бесплатных адресах формата xxxx.plp7.ru индексация отключена.
Шаг 1.
Добавьте сайт в Яндекс.Вебмастер.
❗Важно. Если у вас нет аккаунта на Яндексе – обязательно зарегистрируйтесь. Аккаунт пригодится для Яндекс.Метрики.
Впишите доменное имя сайта и нажмите кнопку «Добавить».
❗Важно. Если вы используете ssl-сертификат на страницах, то все ссылки в Вебмастере Яндекс (адрес сайта, sitemap и т.д.) необходимо указывать с https, например, не site.ru, а https://site.ru . Это нужно для корректного отслеживания индексации страниц, ошибок и т.д.
Шаг 2. Выберите подтверждение прав через DNS-запись и скопируйте значение yandex-verification. Например:
yandex-verification: d73af6733565640e
У вас будет другое, уникальное значение.
Шаг 3.
Переходим в личный кабинет Платформы LP, во вкладку «Домены» и нажимаем «Добавить запись»:
Далее добавляем запись типа TXT:
Хост: @
Тип: TXT
Значение: Копируем с сервиса Yandex.
Нажимаем «Добавить». ✔
Шаг 4. Вернитесь на страницу Вебмастера и нажмите кнопку «Проверить».
❗Важно. Если проверка сразу не нашла запись, попробуйте повторить чуть позже. Обновление DNS-записей может занять до 72 часов.
Настройка завершена, теперь Ваш сайт появится в Яндексе.
Чтобы узнать больше, заходите в инструкцию вебмастера.
Индексация занимает от 3 до 21 дней. Если через 21 день сайт так и не появился в поиске – напишите в службу поддержки.
Шаг 1. Добавьте сайт в Google Webmasters.
❗Важно. Если у Вас еще нет аккаунта в Google – зарегистрируйтесь. Это пригодится при подключении Google Analytics – сервиса для сбора статистики;
Шаг 2. Нажимаем «Начать» - «Перейти в Search Console» - «Попробовать». Далее впишите ссылку на ваш домен в окне «Ресурс с префиксом в URL» и нажмите «Продолжить».
❗Важно. Если вы используете ssl-сертификат на ваших страницах, то ссылка будет с https-протоколом, как на скриншоте ниже. Если данный сертификат вы не используете, то ссылка будет с http.
Шаг 3. Откройте вкладку «Тег HTML» и скопируйте ваш код.
Пример кода:
<meta name=”google-site-verification” content=”o_9XTifcflRoGNLHTJ6SN-tUe3p7VOOMR24A” />
Шаг 4. Вернитесь на Платформу, перейдите в раздел «Страницы», выберите нужную станицу и откройте ее «Настройки».
Шаг 5. Откройте раздел «Метрика и скрипты» и нажмите «Добавить плагин»
Шаг 6. Добавьте плагин «Google подтверждение прав» и вставьте полученный ранее мета-тег в поле «Код подтверждения Google»
Нажмите «Сохранить» ✔
Шаг 7. Вернитесь в Google Search console для проверки кода.
Настройка завершена. Теперь сайт появится в Google.
Чтобы узнать больше, заходите в справочный центр.
Индексация занимает от 3 до 21 дней.
Если через 21 день сайт так и не появился в поиске – напишите в службу поддержки.
Откройте настройки страницы и выберите вкладку «Поисковая оптимизация».
Заполните пустые поля, следуя рекомендациям ниже.
Заголовок (тег title) – текст, который отображается во вкладке браузера и в результатах поиска.
Подберите короткий, ёмкий и максимально точный заголовок для Вашей страницы.
Заголовок – это «лицо» сайта, поэтому пишите кратко и понятно.
Рекомендуем уложиться в 60-75 знаков.
Описание(meta description) – текст, который отображается под заголовком сайта.
Создайте привлекательное, продающее описание сайта.
Рекомендуем уложиться в 150-180 знаков, т.к. длинные описания обрезаются поисковым роботом и отображаются некорректно.
❗Важно. На данный момент поисковые системы часто игнорируют описание сайта, отображая контент страницы отрывками, в зависимости от поискового запроса. Это нормальная ситуация.
Ключевые слова(meta keywords) – слова, по которым пользователь находит сайт.
Пример:
Вы продаете шкафы – определите, по каким запросам он выйдет на продавца.
Чтобы определить ключевые слова, воспользуйтесь Яндекс.Wordstat или наймите seo-программиста.
Добавьте ключевые слова и фразы через запятую. Рекомендуемая максимальная длина – до 250 знаков, более 1000 знаков добавить не получится.
Сделайте упор на первые 150 знаков, самые «нужные» и эффективные фразы поставьте в начало.
В итоге поле с ключевыми словами может выглядеть так: «купить шкаф в Москве, шкаф из сосны, московская фабрика мебели» и т.п.
❗Важно. Оба данных файла заполняются только для главных страниц сайта. Настройки будут распространяться на все страницы в подпапках, которые будут указаны в списке страниц Sitemap. Остальные страницы (которые не попали в список) могут быть индексированы как часть вашего основного сайта, как совершенно отдельный сайт или не быть проиндексированы совсем.
Поддомен и страницы на нём распознаются системой как отдельный сайт. Поэтому для каждого поддомена необходимо составлять свой Sitemap.xml и Robots.txt.
Для одностраничных сайтов заполнять Sitemap.xml и Robots.txt не обязательно, т.к. данные файлы созданы в первую очередь для работы с многостраничными сайтами.
Sitemap помогает поисковикам определить список страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковики смогли более разумно провести индексацию.
Подробную схему описания sitemap.xml можно найти на этой странице – https://www.sitemaps.org/ru/protocol.html
Если у вас нет опыта в создании sitemap, или специалиста, который может это сделать - рекомендуем воспользоваться одним из бесплатных генераторов
sitemap, который сделает это за вас.
❗Обратите внимание, что карта генератором создаётся из ссылок, которые есть на главной странице. Если на основной странице нет ссылки на какую-то страницу в подпапке, то она может быть не включена в sitemap.
Примеры генераторов:
https://gensitemap.ru/
https://www.mysitemapgenerator.com/
Инструкция по генератору mysitemapgenerator.com:
Введите полный адрес сайта, например, https://domen.ru/ и нажмите "Старт!"
Нажмите на кнопку "Скачать" и далее снова "Скачать"
Откройте скачанный файл через блокнот (обязательно данным способом, чтобы не появились сторонние символы)
Проверьте, что в файле есть все необходимые страницы. Адреса расположены между тегами <loc> ссылка </loc>
Скопируйте содержимое файла. Важно скопировать текст полностью, не пропустив ни символа. Пример:
При добавлении новой страницы к сайту необходимо ее прописывать в sitemap.xml вручную или создать файл заново через генератор, чтобы поисковые системы быстрее проиндексировали страницу и распознали её как часть сайта.
После этого добавляем нашу созданную карту сайта и сохраняем изменения:
Robots.txt —текстовый файл, ограничивающий поисковым роботам доступ к содержимому сайта.
Файл состоит из набора инструкций, при помощи которых можно указать страницы для запрета индексации, указать главное зеркало и sitemap.xml.
Для правильной настройки рекомендуем использовать рекомендации от Яндекс (https://yandex.ru/support/webmaster) и Google (https://support.google.com/webmasters)
Если не существует файла robots.txt, то поисковые роботы будут индексировать ваш сайт полностью. Если же такой файл существует, то роботы будут руководствоваться правилами, которые в этом файле прописываются.
💡Некоторые сервисы для веб-мастеров, например, Яндекс, могут требовать наличие данного файла в обязательном порядке. Если вы планируете работать с поисковой выдачей, то желательно robots.txt заполнить.
Пример стандартного содержимого файла при условии, что все страницы сайта открыты для индексации:
User-Agent: *
Disallow:
Прописать sitemap.xml и robots.txt можно в настройках страницы, на вкладке «Поисковая оптимизация»:
Исключить из индексации можно все страницы, или одну/несколько конкретных в подпапках. Обратите внимание, что поддомены распознаются системами как отдельные домены и для каждого из них нужен свой sitemap и robots. Рассмотрим все варианты ниже.
Чтобы закрыть от индексации все страницы на домене, заходим в настройки главной страницы (которая размещается на самом домене, без подпапок)
и добавляем в Robots.txt следующий код:
User-agent: *
Disallow: /
Сохраняем изменения ✔
Если нужно запретить некоторые страницы, которые размещены в определенной подпапке для показа в поиске, то они указываются в правиле "Disallow", например:
User-agent: *
Disallow: /page1
Disallow: /page2
В данном примере разрешены для индексации все страницы сайта, кроме https://site.ru/page1 и https://site.ru/page2.
Для закрытия подпапок от индексации, значение robots.txt прописываем в настройках главной страницы и сохраняем изменения.
Помимо robots.txt, для исключения страницы из индексации, также можно использовать метатег. Для этого:
Зайдите в настройки страницы, которую хотите исключить из индексации
Зайдите в раздел «Метрика и скрипты»
Нажмите на кнопку «Добавить плагин»
Выберите плагин «Произвольный код HEAD или BODY»
Добавьте следующий метатег в поле HEAD:
<meta name="robots" content="noindex, nofollow">
Сохраняем изменения ✔
Если мы хотим, чтобы определённая секция не индексировалась поисковыми системами, то её можно исключить из индексации.
Для этого перейдём в “Стили секции” во вкладку “Параметры” и установим галочку “Исключить из индексации”
Повторно опубликуем страницу для применения изменений ✔
Для этого зайдите в Вебмастер и следуйте пошаговой инструкции:
Выберите нужный домен в списке подключенных
Перейдите в раздел «Инструменты» и в подраздел robots.txt
Нажмите на кнопку «Проверить»
Яндекс проверит наличие robots.txt на вашей странице, и отобразит его в текстовом поле, если robots подключен.
Выберите нужный домен в списке подключенных
Перейдите в раздел «Инструменты» и в подраздел Sitemap
Выберите способ проверки «URL»
Укажите адрес на ваш sitemap, в таком формате: mysite.ru/sitemap.xml
Где mysite.ru - имя вашего домена. И нажмите на кнопку «Проверить»
Если появится надпись «Ошибок не найдено» значит все в порядке.
Пример результата успешной проверки:
❗ После проверки наличия sitemap, нужно также подтвердить его для индексации.
Зайдите в раздел «Индексирование»
Перейдите в подраздел «Файлы Sitemap»
Укажите ссылку на ваш sitemap. Если вы уже прошли проверку по инструкции выше - нажав на поле ввода, Вебмастер предложит вам ту же ссылку, которую вы проверяли. Добавьте ее, или укажите вручную, в том же формате: mysite.ru/sitemap.xml
Где mysite.ru - имя вашего домена.После ввода ссылки - нажмите на кнопку «Добавить»
Указанная ссылка на sitemap встанет в очередь на индексацию. Если индексация пройдет успешно - это отобразится в статусе:
Зайдите в Google Search и выберите ресурс (ваш домен) на котором хотите проверить sitemap.
Перейдите в раздел «Файлы Sitemap»
В поле «URL файла Sitemap» укажите значение sitemap.xml без адреса страницы, т.к. он подставляется автоматически
Нажмите на кнопку «Отправить»
Если sitemap на странице присутствует - в панели проверки будет статус «Успешно»
Готово, поисковая оптимизация завершена 😊🎉