Как добавить сайт в Google

В настоящее время Интернет является самым большим источником знаний, доступным для обычных людей. Достаточно включить компьютер, подключиться к сети, запустить браузер, и перед нами открыт весь мир. Вводя любой запрос в поисковую систему, человек получает несколько, десяток или даже несколько сотен результатов, которые, согласно алгоритмам, наилучшим образом отвечают на введенный запрос. Неудивительно, что число пользователей Интернета постоянно растет.

Это заставляет предпринимателей, издателей и рекламодателей бороться за внимание интернет-пользователей, особенно на сайте, который посещают 97% из них. Это, конечно же, google.com, а точнее, страница результатов поиска. Присутствие в TOP-3 по популярному поисковому запросу – это гарантия высокого интереса к сайту, что приведет к увеличению продаж или прибыли от рекламы.

Но прежде чем бороться за высокие позиции, необходимо сначала добавить свой сайт или страницу в поисковую систему Google. В Крыму, несмотря на санкции, это так же возможно как и в других регионах России.

Почему нужно добавить свой сайт в поисковую систему Google

Добавление сайта в индекс Google является обязательным условием для его появления в результатах поиска. Без этого – даже набрав точное название статьи в поисковой системе – невозможно будет ее найти. Конечно, само индексирование страниц (процесс оценки и ранжирования страниц) является сложным, и страницы оцениваются на многих уровнях, что позволяет правильно их ранжировать. Тем не менее без добавления страницы в индекс, поисковая система не сможет вернуть ее в качестве ответа на запрос пользователя.

К счастью, во многих случаях не придется делать это вручную. Индексирующие роботы (в случае Google это Googlebots) перемещаются по интернету с помощью ссылок – как внешних, ведущих из других доменов, так и внутренних ссылок внутри одного сайта. Вновь найденный контент оценивается и затем, если он отвечает соответствующим требованиям, помещается в индекс Google.

Весь процесс – от поиска до индексации – может занять от нескольких минут до нескольких недель. Если индексация нового сайта затягивается до бесконечности, можно попробовать воспользоваться одним из методов, описанных далее в этой статье.

Как проверить, находится ли страница в индексе поисковой системы Google

Существует несколько способов проверить статус индексации. Можно использовать оператор поиска, отчет о статусе либо инструмент проверки URL в Google Search Console (GSC).

Оператор поиска

Это наименее точный из перечисленных выше методов, но он дает быстрое и приблизительное представление о том, сколько страниц находится в поиске Google. Его также можно использовать для проверки отдельных адресов. Просто введите

site:https://адрес страницы

в строке поиска, например site:mysite.ru/novost-1

Отчет о статусе в Google Search Console

В Google Search Console можно найти множество интересных отчетов, которые помогут, в частности, узнать, как сайт воспринимается роботами. Одним из них является отчет “Статус”. В нем содержится информация о том, какая часть сайта проиндексирована, сколько адресов ожидает сканирования или индексации и возникли ли какие-либо проблемы в ходе этого процесса.

Проверка URL-адреса

Этот инструмент используется – как следует из названия – для проверки данных, касающихся конкретной подстраницы на сайте. Все, что необходимо сделать, это ввести URL интересующей страницы в панели Google Search Console в верхнее поле и нажать клавишу Enter. Также можно щелкнуть элемент в боковом меню: “Проверка URL“.

После получения данных из индекса поисковой системы, будет видно, добавил ли Google его в свой индекс или нет.

Как добавить сайт в индекс поисковой системы Google

Самый естественный способ узнать о новых страницах сайта – это внутренние и внешние ссылки, ведущие на него. Роботы Google, обнаружив их, заносят их в список страниц, которые нужно просмотреть и проиндексировать. Если сайт пользуется авторитетом и популярностью, не придется долго ждать, пока он будет добавлен в Google. В противном случае процесс может затянуться. Тогда лучше всего попробовать следующие методы. О продвижении сайтов в Яндекс читайте в другой статье.

Индексирование сайта с помощью Google Search Console

Еще совсем недавно добавление страницы через Google Search Console было одним из самых эффективных методов. URL-адрес появлялся в результатах поиска в течение получаса после подачи заявки. Теперь процесс индексации после отправки может занять очень много времени. Несмотря на это, рекомендуется сначала отправить свой сайт через следующий инструмент.

Для этого в верхней строке в окне поиска введите адрес сайта и нажмите Enter. После получения данных о сайте нажмите кнопку “Запрос индекса”. Через несколько минут запрос будет обработан, и останется только дождаться, когда веб-роботы посетят и проиндексируют сайт.

Создание карт сайта и карт изображений

Карта сайта в формате xml является отличным источником URL-адресов для поисковых роботов. Если он не расположен по стандартному адресу sitemap.xml, роботу будет трудно его найти. Поэтому можно проверить его в Google Search Console (вкладка Sitemap) и добавить соответствующую директиву в конец файла robots.txt:
Sitemap: http://www.example.com/sitemap.xml

Добавление ссылок на популярные страницы

Также стоит позаботиться о том, чтобы ссылки на новую подстраницу были размещены на самых популярных страницах сайта. В этом отношении полезны модули с недавно добавленными статьями, рекомендованными или связанными записями, которые можно разместить, например, на главной странице или под старыми статьями.

Размещение ссылки на другом портале также является сигналом для поисковой системы.

Отправка нескольких адресов в Google

Наконец, метод для опытных пользователей, знакомых с программированием и использованием API. Используя один из них – Google Indexing API – можно отправить запрос на добавление или удаление до 200 URL в день. Хотя этот метод в основном предназначен для индексирования новых страниц, содержащих структурированные данные JobPosting или BroadcastEvent, помещенные в VideoObject.

Почему сайта нет в результатах поиска – наиболее распространенные причины

Существует несколько причин, по которым сайт еще не добавлен в индекс Google. Чаще всего это происходит из-за человеческой ошибки – сайт блокируется в процессе его создания, а после его публикации разработчик просто забывает сделать его доступным для роботов.

Блокировка в файле robots.txt

Следует проверить файл robots.txt на наличие директивы, блокирующей сканирование подстраниц.

Это будет выглядеть следующим образом:
User-agent: *
Disallow: /
Dislallow: /blog/

Не помешает убедиться, что Google не блокирует сайт. Для этого используется инструмент robots.txt Validator and Testing Tool или инструмент, предоставленный Google (Robots Testing Tool). Последний позволяет проверить, какую версию файла использует Googlebot при определении того, можно ли сканировать данный адрес или нет.

Иногда, несмотря на блокировку в robots.txt, URL может быть проиндексирован, но не будет содержать информации о странице, не говоря уже об отображении по нужным ключевым словам. Google будет брать информацию, которую он помещает в Title ссылки.

Блокировка метатегом robots

Размещение метатега robots в разделе <head> с атрибутом content=”noindex”, content=”none” lub content=”unavailable_after: [miniona data]” информирует роботов о том, что содержимое страницы не должно индексироваться.

Можно проверить, содержит ли страница такой метатег, вручную (Инструменты разработчика, Источник страницы), с помощью плагинов для браузера, например, META SEO Inspector, или с помощью популярных роботов (например, Screaming Frog).

Блокировка HTTP-заголовка

Заголовок, возвращаемый сервером в ответ на запрос робота Google, HTTP: X-Robots-Tag: noindex, X-Robots-Tag: none, X-Robots-Tag: unavailable_after: [miniona data], будет иметь тот же эффект, что и размещение на странице метатега robots с теми же атрибутами.

Можете проверить HTTP-заголовки вручную (Dev Tools), с помощью сканеров или онлайн-инструментов (например, redirect-checker.org).

Канонический адрес указывает на другой URL-адрес

Если указать другой канонический адрес в теге <link>, заголовке HTTP или карте сайта, Google может не проиндексировать этот адрес. Это не обязательная директива, и страница может быть проиндексирована без проблем.

Чтобы проверить, правильно ли установлены канонические адреса, можно использовать поисковые роботы, плагины (например, упомянутый ранее META SEO Inspector) или сделать это вручную.

Google выбрал канонический адрес, отличный от пользовательского

Даже если владелец сайта не задаст канонический адрес для страницы, Google может сделать это самостоятельно. В случае если поисковая система посчитает, что эта страница очень похожа на другую страницу, она не добавит ее в индекс.

Чтобы это проверить, необходимо зайти в Google Search Console и загрузить информацию об адресе страницы.

Заключение

Добавление сайта в поисковую систему необходимо для того, чтобы конкурировать в результатах поиска. Без этого любое действие – техническая оптимизация, оптимизация контента или получение ссылок – не имеет смысла.

Возникли сложности? Обращайтесь в нашу студию Exsited для решения проблем с индексацией сайта.