Здесь я не буду описывать банальные методы, доступные в справке Google Вебмастер, а также, шаманские методы, типа “добавить твит со ссылкой” и прочей мишурой. Я хочу поделиться с вами тем, как быстро проиндексировать страницу именно на “чужом” сайте и очень быстро.
Сразу же, давайте рассмотрим вопрос, зачем это может быть нужно.
Например, вы купили для своего сайта внешних ссылок на SAPE или где-то еще. Дальше, вам нужно ждать, когда эти страницы будут проиндексированы, чтобы начали работать ссылки. В зависимости от сайта, это ожидание может затянуться на недели.
Или же, например, существуют такие движки сайтов, где можно создать профайл со своим текстом и ссылкой на ваш сайт. Но, эти профайлы либо “висячие” (не имеющие ссылок с сайта на них), либо очень долго не индексируются, так как спрятаны в sitemap очень глубоко. Либо же вам нужно ускорить индексацию вашего объявления на досках объявлений, типа OLX.
Как-то в один прекрасный день я понял, как это можно сделать с помощью Google Webmasters Tools. Все мы знаем, что самым быстрым способом добавить страницу своего сайта в индекс – это добавить ее через “Fetch as Google” в Вебмастер Тулс. В этом случае страница попадает в индекс в течение минуты.
Принцип
В утилите “Fetch as Google” вы запросто можете добавить страницу, которая редиректит на другую страницу. И что прикольно – на внешний сайт тоже. Тоесть, вы на своем сайте создаете файлик redirect.php?url=xxxx, которому на вход подается какой-то url, и он редиректит с помощью 301 на тот сайт. Далее, добавляете эту страницу в “Fetch as Google” и гугл думает, что вы владелец этой страницы, и ее надо внезапно проиндексировать 
. Естественно, ваш сайт должен быть добавлен в Google Вебмастер.
Далее, я сделал пошаговое руководство для начинающих.
Как это сделать?
ШАГ 1
Предварительно, добавьте любой из ваших сайтов в Google Webmasters. Я покажу пример, для которого нужен работающий php на вашем сервере.
ШАГ 2
Создайте php-файл (например, redirect.php) со следующими строчками и закачайте его в корень вашего сайта:
<?php
preg_match("/\.php\?u=(.*)$/", $_SERVER['REQUEST_URI'], $matches);
header("HTTP/1.1 301 Moved Permanently");
header("Location: http://".$matches[1]."");
exit;
?>
Внимание! Для безопасности, конечно же, назовите этот файл как-то иначе, чтобы никто не знал, как его вызвать. И удаляйте его каждый раз после того, как воспользовались.
ШАГ 3
В Вебмастер Tools зайдите в раздел Crawl -> Fetch as Google. В поле ввода отправьте URL вида:
redirect.php?u=www.website.com/page.html – без http:// в адресе сайта.
ШАГ 4
Далее, нажмите кнопку “Submit to index”:
И выберите 1-й метод “Crawl only this URL”:
ШАГ 5
Готово. Скоро эта страница будет в индексе Google.
Новые страницы, ранее не существовавшие в индексе, появятся в течение минуты. Морды сайтов и старые страницы обновят кеш через некоторое время, бывает сразу, бывает – нет. Но, будьте уверены, бот гугла их уже скушал. В принципе, если каждые 5 минут теребить эту добавлялку для какой-то морды сайта, то она тоже обновится в кеше очень быстро. Даже, если этого не делать, следующая дата в кэше будет та, что вы добавляли сайт.
Из этого метода, также, выплывают некоторые неприятные нюансы. А именно, любой человек может на чужом сайте насоздавать дубликатов страниц. Например, просто посылая запросы:
redirect.php?u=www.website.com/index.php?var1=123
Чтобы защититься от этого, делайте для всех страниц rel=”canonical” со ссылкой на основную страницу, закрывайте в robots.txt страницы с параметрами и прочее.
Также, неприятно и то, что эта страница redirect.php?u=www.website.com/index.php?var1=123 будет добавлена к индексу вашего домена . Тоесть, по команде site:ваш-сайт.com этот редирект будет приклеен к вашему домену. Это может негативно сказаться на позициях вашего сайта. Кстати, в определенных случаях, когда ваш сайт сильнее того второго, чужая страница может вылететь из поиска, а на ее место встанет ваша .
Вывод из всего этого – использовать для ускорения индексации ненужный домен, добавленный в Вебмастерс.
Некоторые из вас после прочтения данной статьи подумают, что похожим способом можно и удалить чужой сайт из индекса. Вопрос конечно же интересный, но, я пока не могу порадовать вас положительными результатами в этом направлении. Возможно, нужно как-то хитро приклеить свой домен к чужому. Так, чтобы robots.txt оставался на вашем домене, а остальное было приклеено. Но, это уже совсем другая история.
Комментарии