Google не индексирует мой сайт или вообще его не видит. Решаем проблему с индексацией.

Много было разговоров о том что новый сайт Валлон Google не индексирует (тут и там). Вообще проблемы быть не должно. Все было сделано на отлично, но проблема все таки осталась. Сначала я подумал, возможны задержки с индексацией – подожду. После я уже серьезно обеспокоился почему с Google нет посетителей, вообще нет, хотя страницы в индексе были. Это далеко не первый мой сайт поэтому я уже знаю кто быстрее начинает индексировать, кто медленнее (это и от нас зависит, но все же). С какого поисковика пойдут первые посетители, всегда первые шли с Google, после подтягивался Яндекс и обгонял Гугл. Сейчас ситуация противоположная, Сначала Яндекс начал пригонять посетителей (сейчас уже больше 1000 в сутки). А с Гугла все нет. Хотел обратиться в саппорт, но нашел куда отправлять письмо. Нашел способ оставить сообщение на пересмотр сайта (в случае бана) и открыть топик на форуме Google.

Вот что вышло:

Nometa: Здравствуйте, товарищи. У меня есть сайт www.wallon.ru, сайт качественный у каждой обоины уникальное название. Все сделано правильно. Есть карта сайта, есть sitemap. Другие поисковые системы индексируют на ура. Уже сайт растет по ключевым запросам в Яше. Но вот Гугл ни как не хочет делиться трафиком. Видит только 350 страниц (с ужасно заниженными страницами), по сравнению с 8500 в Яндексе и 7000в Раме. Понять почему такое происходит понять не могу. Первый раз столкнулся с такой проблемой, которую понять не могу. Может кто что подскажет?
Van'Denis: Здравствуйте RANDRS, Я заглянул на ваш сайт... Сразу подумал что порнуха, но потом потом понял, что не прав. Попробую подсказать, что у вас не правильно. 1. Не совсем правильные <title> + <meta name="description"> + <meta name="keywords"> (как их сделать правильными я говорить не буду :))
2. Sitemap - почитайте ссылку http://www.google.com/support/webmasters/bin/answer.py?answer=34654&hl=ru Думаю найдёте что - то полезное для себя.
3. Очень большое количество ссылок на другие сайты. В том числе и на порно сайты.
Остальное дополнят мои коллеги или меня поправят (если захотят). :)
Nometa: 1.) Про названия обоев хочу сказать. По такому алгоритму в принципе организованы все сайты, не только про обои. Люди используют одинаковые тексты в TITLE, DESCRIPTION, KEYWORDS и все у них индексируется. А алгоритм: > <title> + <meta name="description"> + <meta name="keywords"> Я вообще так даже не рассчитывал. Название формируется за счет названия обоев + его описание и ключевые слова. Все тут нормально. Даже больше скажу, что на сайте вообще нет одинаковых тайтлов.
2.) Сайтмап создается автоматически от Укоза, не думаю что эти ребята не знаю как сделать сайтмап.
3.) Ссылок вообще мало. Их всего на сайте 50 штук, с сапы (только не надо говорить что банят за это и пр.), у меня на сайтах по 10000 внешних ссылок и ни каких сбоев и банов нет. Это тоже отпадает.


Я думаю что проблема лежит в другом. В тегах. Хотя в роботс.тхт прописан запрет на индексацию тегов:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search (вот он)

Google как-то заиндексировал их. Не пойму почему. Если развернуть проиндексированные страницы (http://www.google.com/search?&q=allinurl:www.wallon.ru/+site:www.wallon.ru), выдает 37,700 страниц. На самом деле страниц на сайте около 7000 штук. А вот остальные 30,700 это и есть теги.

По-моему я нашел решение проблемы. Но точно сказать не могу, проблем я больше никаких не вижу. Буду добавлять в шаблоне для поиска параметр в хиде запрещающий индексацию страницы.

Что вы скажите, товарищи?