Поисковая оптимизация для фреймов, хостящихся на разных доменах

Есть сервисы, которые позволяют вам купить сайт для компании с уже готовым контентом. Вы часто можете наблюдать подобное в среде страховых посредников, и во многих других отраслях. Зачастую эти сервисы предоставляются через фреймовую технологию HTML. Тут необходимо пояснение. У вас есть домен на www.domain.com, сверху страницы располагается ваш заголовок, который гласит «Моя компания Лимитед». Под заголовком идет фреймовое окно с контентом, предоставленным сторонней компанией, хранящемся не на вашем домене. Это кошмар для поискового оптимизатора, а также тема для обсуждения в топике под названием «Главная головная боль оптимизатора». Donna описывает проблему:

Они полностью изменили сайт, поэтому более 30000 страниц, которые были проиндексированы, теперь выдаются с 404 ошибкой

Их новый сайт сделан на фреймах

Фрейм с контентом находится на другом домене

Фрейм с контентом расположен на защищенном сервере (https://), но, насколько мне известно, защиты по кукам, сессиям или паролям не предусмотрено.

И что можно сделать? Я сталкивался с этим вопросом в прошлом. Тогда мы использовали спайдеринг и качалку для того, чтобы достать со стороннего домена контент, за который клиент заплатил. Затем этот контент был размещен на статически выглядящей HTML-странице, на собственном домене клиента. У вас могут быть проблемы со скоростью выкачивания, или с самой качалкой, но в целом это решение сработало. Вы можете выкачать контент вручную, если страниц немного, однако если речь идет о крупной базе данных с широкой номенклатурой, придется использовать как-то автоматизировать процесс.

Обсуждение на Search Engine Roundtable Forums

---

GoogleBot становится беспроводным

Похоже, у нас появился новый Googlebot, о котором нужно знать. Спайдер Google ходит под User Agent “Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)” и приходит с IP-адреса Google. Бот не является чем-то чрезвычайно новым, но он набирает скорость. Многие вебмастера отмечают, что новое создание посещает их сайты. Мобильный контент важен для Google, они даже добавили недавно возможность мобильных запросов в Google Sitemaps.

Обсуждение на SERoundtable Forums , Webmaster World и Digital Point Forums

---

Вопросы клоакинга с использованием технологии IP-выдачи страниц

Рэнд Фишкин (Rand Fishkin) начал прекрасную ветку на Cre8asite Forums, озаглавив ее «Клоакинг при IP-выдаче, а также другие способы ограничения доступа». Он поинтересовался, знает ли кто альтернативы клоакингу с использованием методов IP-выдачи. Он утверждает, что некоторые из «серых» SEO назвали клоакинг через IP-выдачу «вчерашним днем». Рэнд спрашивает про другие способы. Но вместо того, чтобы рассматривать альтернативы, которые могут привести к полному удалению сайта из индекса (если их применять неправильно), давайте сосредоточимся на истории IP-выдачи, для достижения эффекта, известного под названием клоакинг.

Для начала полезно прочитать постинг Аммона Джонса (Ammon Johns), в котором он рассматривает историю возникновения IP-выдачи и почему она заслужила дурную репутацию. Если вы пропустите IP-адрес спайдера, то ему скормится ваша стандартная страница, а не та, которую вы хотели показать пауку. Затем Аммон переходит к рассмотрению того, что он называет «опасностью деклоакинга». Приводится список проблем, с которыми Аммон сталкивался в течение нескольких лет.