Индексация кастомных галер сиджа гуглей

Заметил что много урлов кастомных галер сиджа в инструментах гугл для вебмастеров имеют статус "заблокирован файлом роботс тхт" при том что в самом файле роботс все разрешено к индексации.

Кто может подскажет, что сделать чтоб гугл проиндексировал эти гали?

Ведь иначе весь смысл кастомных галь для СЕ теряется

Если в роботс ты 100% уверен, то иди в настройку параметров GWT
URL Parametrs - Там есть правила для &s=.., &u=.., и т.д. Правила поведения индексации выставлены по дефолту.
Тут уж сам решай, что гуглу разрешать, а что нет.

в урлах нет параметров, используется мод рерайт и ЧПУ, но за информацию спасибо

А в сайтмапе эти гали присутствуют?

запихнуть эти гали в блог самый быстрый способ

обычная практика такова, кастомные гали пихают по сиджам и так же по блогам

Странно. Гугл хавает страницы, на которые нихуя не ссылается. Мэд рекомендует их закрывать htaccess. При этом люди рекомендуют для индексации вставлять страницы с галереями в сайтмап и блог! Это старницы, на которых тысячи браузеров и тулбаров в день бывают..
Вы о чём?! Тут нужно искать уже проблему, а не заниматься косметикой.

Vyacheslav писал:

тысячи браузеров и тулбаров в день бывают

наивный, все зависит от тумбы, если она повисев на морде ушла в аналы, то хуй ее от туда чем достать, а если в это время небыло бота на морде он ее и хуй увидит
или ты думаешь гугль бот сидит на сидже или приходит вакурат по графику ротации тумб?

кроме того, существует мнение, что чем больше папок от корня, тем труднее индексация

Vyacheslav писал:

а не заниматься косметикой.

для начала я бы все же попробовал ручками скормить гуглу гали, через блог как писал, проанализировать состояние дел и потом уже принимать меры

Не надо рассказывать про военные гарнизоны.
admin.cgi вылазят в выдачу.

Sergeyka писал:

наивный, все зависит от тумбы, если она повисев на морде ушла в аналы, то хуй ее от туда чем достать, а если в это время небыло бота на морде он ее и хуй увидит или ты думаешь гугль бот сидит на сидже или приходит вакурат по графику ротации тумб? smail101.gif кроме того, существует мнение, что чем больше папок от корня, тем труднее индексация

Ахуенное заблуждение в обоих высказываниях!
Расскажу специально для тебя (считаю, что для других это уже давно очевидно), чтоб ты больше не вводил людей в заблуждения.
Гуглу достаточно один раз побывать на странице, чтоб её добавить в выдачу. Причём имеется ввиду не обязательно бот! Достаточно открыть страницу с "правильно" настроеным гугл тулбаром или google хромом, а затем уже туда пойдёт бот.
А там уж похуй на аналы или куда ещё там тумба уйдёт ибо не надо на неё слить килотонны трафа и нассылать кучу ссылок. Не зря недавно был кипишь по подобной теме, когда поисковые системы регистрировали промежуточные страницы с персональными данными, которые формировались на лету. Разбор был по поводу яндекса, но не менее громко подобное бывало и на гугле. По этому поводу специально выложено видео на гугл блоге, где рассказывается, что страницу надёжнее закрыто только htaccess Похуй как её спрятать, гугл найдёт её при первом попадании информирующего браузера на данную страницу. (Это не касается топика, не буду искать)

Топикстартер сказал, что страницы видны гуглу, но получили сстатус restricted by robots.txt Как теперь может блог или ещё какой-то маразм помочь этим страницам выйти в индекс? Это только чтоб понаделать абы чего!

А про папки,.. уж сам понимаешь, что это только мнение. Причём подозреваю откуда такое мнение может идти. Такой бред только на сёрче могут придумать.

я не читаю серч, я по опыту все

Vyacheslav писал:

Достаточно открыть страницу с "правильно" настроеным гугл тулбаром или google хромом

ну да, а если нет тулбара и хрома как тогда?

расскажу, столкнулся тут с проблемой, гали были проиндексины с датой 2007 года, я несколько раз менял на них контент, в кэше стояли даты 2007 года, т.е. раз проиндексив гугл забил болт на дальнейший чекинг

и никакие нахуй тулбары и хромы не помогли переиндексить контент

пока все ручками не сделал

это к чему, а да, так вот, если какая то трабла была во время посещения бота то больше гугл не наведывался, это факт! Который я подтвердил неоднократно на своих ресах, если страница статична, как гали, то он ее индексит только раз и все

По этому, для начала и предложил попробовать, дабы понять какого рода проблема, пропихнуть гали ручками.

И послендне

Vyacheslav писал:

чтоб ты больше не вводил людей в заблуждения.

ты у нас истина в последней инстанции

Я не претендую на инстанцию! + я не про разгадки секретных алгоритмов рассказываю, не личное мнение, а про те факты, что документированы и выложены для вебмастеров.

Sergeyka писал:

ну да, а если нет тулбара и хрома как тогда?

Ага и ещё и сама пага лежит на локальной машине и зашифрована трукриптом!!..
Понятно, что пагу должно пару сотен людей посмотреть или уж сам вебмастер на худой конец хотябы один раз!

Vyacheslav: но факт остается фактом, раз проиндексиная пага остается в кэше и пока не пихнешь он ее не переиндексит

в индексе гугля сейчас около 2000 страниц сиджа,еще недавно было 3000, сайтмап токо недавно запостил, с него проиндексирована токо 1 страничка.

гугль активно хавает сидж, до 1500 кликов в сутки

заблокировано гуглей уже больше 1600 урлов - гали и хтмл странички с пикчами

есть некоторые подозрения, проверю - озвучу

скинь пример гали в личку ?

Да в принципе урл сиджа не секретный, youngteenporngalleries.com, а вот галя для примера http://youngteenporngalleries.com/scj/tube/?content_id=5ab938fd6ea7…ip_cache=1

гы, ну и че ты хотел?

это же твой роботс

User-agent: *
Disallow: /scj/

ты запретил индексацию папки /scj/

естественно гали такого вида
http://youngteenporngalleries.com/scj/tube/

будут заблочены

открывай индексацию этой папки, а если хочешь в ней конкретно что то забанить для гугла, то так конкретно и пропиши

типа
User-agent: *
Disallow: /scj/huy.html

у меня вообще не открылась ни галера , ни сидж - макс кол-во коннектов к мускулу было

на морде ссылки не идут через /scj/, я скопировал урл гали из админки просто чтоб галю показать без скима, а насчет того, что недоступен - бывает, хостинг дешёвый

ну вот и причина .
сделай так чтоб гуглботу всегда галеры открывались - не будут из индекса вываливаться , и ошибок в gwt не станет

"заблокирован файлом роботс тхт"

Alexaus: все равно открой, по факту они идут через эту папку все

вообще странно, я делаю ручками хтмл странички - то бишь гали, а то что потом появляется через скрипт, я это закрываю, грубо говоря у меня
domain.com/porn/fuck-porn/

урлы живут на домене, а урлы такого плана, который генерит скрипт

domain.com/gallery/fuck-porn.html&id1234&www.domain.com/porn/fuck-porn/

я заблочил, по сути второе есть точная копия первого, зачем плодить дубли?

Sergeyka писал:

Alexaus: все равно открой, по факту они идут через эту папку все

Ни в коем случае. Даблы должны быть закрыты.

В GWT показывает, что заблочены
domain.com/gallery/fuck-porn.html&id1234&www.domain.com/porn/fuck-porn/
или
domain.com/porn/fuck-porn/
?
Если только domain.com/gallery/fuck-porn.html&id1234&www.domain.com/porn/fuck-porn/ , то всё верно, ничего менять не надо. Если и те и те, то где-то снова ошибка.

/scj/ я закрыл уже позже, после того как выявил заблокированные гали, так что это думаю не при чем, вот пример одной из заблокированных страничек http://youngteenporngalleries.com/gallery/naughty-teen-has-a-cock-i…99e/3.html

У трейдера твоего в robots.txt что-то закрыто. В этом отношении статика, приятней, конечно.