Blogs Automater, Морфинг RSS и доубле пост

вообщем давно еще столкнулся с данной проблемой

При добавлении морфинговых RSS (сгенеренных скрпитом, который используют некоторые партнерки, написанный местным прогером) в Blogs Automater, и последующем их распарсивании, скрипт забирает все возможные варианты, тоесть если RSS с помощью морфинга генерит 10-20-30-40-100 или более постов, которые должны раздаться разным мастерам, скрипт каким то чудестным способом забирает их все, ну и соответственно постит потом одно и тоже ...

стучался к разработчику как самого Blogs Automater так и разработчику данного RSS морфинга скрипта, овнерам партнерок - какдый валит на другого, как обычно в принципе я самый крутой это у тебя глючный софт и т.д.

Кто сталкивался как возможно это исправить, какие есть варианты решениря данной проблемы

Аналогичная проблема существует.
тоже ищу ответ...
Но сдаётся мне, что это проблему может исправить только Кактус.
Хотя я тоже вдолбить ему этого не смог, всё валит на саму RSS

uncle Misha писал:

Но сдаётся мне, что это проблему может исправить только Кактус

а вот у меня другое мнение что это проблема именно нашего прогера ... остальные морфинг фиды не его производства, работают нормально же ?

А что, в этом фиде для каждого заморфленного поста свой персональный guid выставляется? Тогда BA все правильно делает.

shahfil: я не прогер к сожелению ... поэтому ответить на твой впросне могу ... вставляется там что то или нет ...

ну надо сам фид смотреть короче. Там для каждой записи кроме заголовка и собственно текста должно передаваться поле guid по которому и проверяется уникальность. Чаще всего в нем просто URL ставят, но не обязательно. Если его нет, либо оно разное каждой из заморфленных записей одного и того же поста - то тогда BA все делает правильно, и пинать надо прогера который такой фид сделал.

ну например
фиды
кешманьяков и реалбаксов, гонит даблы

Да, хорошо бы было докопаться до истины, может наш прогер отпишется здесь...

Но вот andreich, какую ситуацию я наблюдаю
натсовый фид от nichecastle
http://morphingrss.nichecastle.com/feed/f/2/33/?nats=MzI1NjoyOjEx
запускается крон и BA выдёргивает свежий пост, а вместе с ним и пачку морфленных дабл постов, которые были ранее, при чём каждый раз их разное количество. Но здесь, например, все повторяющиеся посты имеют одинаковую дату, легко их выкинуть.
И что интересно, для всех остальных фидов от этой партнёрки, тащится нормально.

И вот такой фид
http://stats.earncoin.com/rss/5049/1/0/0/39/0/100/1/0/1/8044/
в фиде 40 постов, и каждый раз ВА, запускаясь выдёргивает эти 40 но уже морфленных постов
Я так понимаю, разработчики этих фидов разные (хотя могу и ошибаться).
Но в любом случае, где-то в этих фидах есть фишка, которая вводит в заблуждение БА. Может быть даже ошибка, и в скрипте БА ДОЛЖНА БЫТЬ зашита от таких ошибок.

Хотелось бы ещё услышать людей, которые пользуют другие РСС тащилки, встречается ли такая проблема, и с какими фидами?

uncle Misha: я считаю что BA самый сильный скрипт на сегодня в этой нише ... но опятьже я я не утверждал то что вовсем виноваты те кто писал скрипты для RSS морфинга, а типа BA крут ...

мне тоже хотелосьбы чтобы все это было в шеколаде и мы бы незнали никаких проблем ...

andreich писал:

я считаю что BA самый сильный скрипт на сегодня в этой нише ...

Полностью с тобой согласен.

И похоже ты прав, я сейчас стал смотреть более внимательно.
Второй фид от earncoin, если даже в броузере открыть и рефрешить, каждый раз посты все посты морфятся, хотя я так понимаю, для моего рефа, они должны оставаться неизменными. В этом случае проблема явно с фидом. Так быть не должно.

так что господа всего у двух человек имеется данный скрипт? или ни укого нет таких проблем ?

Как то давно, еще в прошлом году я немного пообщался с нашим хорошим грекоболгарским другом Атанасисом на эту тему. С его слов BA определяет оригинальность постов по их тайтлам. А так как морфинг фиды эти тайтлы постоянно меняют, отсюда и BA ставит их как разные посты. И ничего тут как бы не сделаешь.
А вот и ответ с его саппорт-форума:

Цитата:

posted by Atanasis: if the sponsor's feeds are morphing and they morph and the titles, then thats the problem. probably thats the case..

ХМ

andreich писал:

а вот у меня другое мнение что это проблема именно нашего прогера ... остальные морфинг фиды не его производства, работают нормально же?

У тебя опять очень неправильное мнение. Прежде чем что-то писать на форуме, надо разобраться в ситуации. Во-первых, почитай спецификацию RSS (есть даже в википедии). Тогда ты узнаешь что именно означает каждый конкретный тэг в RSS фиде. Во-вторых, возьми фид любого спонсора, который пользует мой плагин и проверь его на соответствие стандартам - для этого не надо быть программером. XML формат прост как 3 копейки.

Если бы ты проделал все эти нехитрые процедуры, то уже точно знал бы, что:
1) уникальность каждого поста в фиде определяется его идентификатором (тэг <guid>)
2) посты всех фидов, использующих мой плагин, имеют уникальные guid-ы, которые всегда постоянны и не подвержены морфингу, как например, содержимое самих постов (тэг <content>).

В качестве пояснения (если надо, то и в качестве доказательства), посмотрим на фид от партнерки Real-Bucks.com. Например, так: http://www.rbblog.com/feed/?wm=654321 и http://www.rbblog.com/feed/?wm=123456 - смотрим исходники и видим, что содержимое постов и заголовков(!) в них чуть меняется. Но вот только тэги <guid> содержат одни и те же значения невзирая ни на какой морфинг.

После этого, тебе нужно было бы произвести простейшую операцию и сложить 1 и 2, дабы понять, что ошибка с дапами (double post) может быть вызвана только плагином, который импортирует фиды, но никак не самими фидами по очень простой и очевидной причине, описанной выше.

Как именно устроен скрипт Blogs Automater, я не знаю, но подозреваю, что он может содержать одну из следующих ошибок (или обе сразу):
1) уникальность поста определяется по тайтлу (тэг <title>), а не по guid-у, как это положено стандартом;
2) возможно, база постов wp не блокируется во время парсинга фидов. Такая ошибка, кстати, была и у меня в CyberSEO. Суть ее в том, что если на твой блог зайдет какой-то человек в тот момент, когда для скрипта как раз подошло время парсить фиды по расписанию, скрипт начнет парсить вид и добавлять новые посты. Но если в это же время (пока скрипт не прекратил парсить фиды и не обновил время последней обработки) на сайт зайдет еще один человек, то скрипт запустится повторно и добавит в блог те же самые посты. Произойдет как бы наложение.

Этой фигней грешат многие плагины, включая, например, FeedWordPress. Моей ошибки в этом нет. Более того, повторы генеряться не только с моих фидов, но и с любых других. Лично меня это очень сильно напрягало года 4 назад, когда я пользовался FeedWordPress-ом, а термин "Morphing Feeds" еще не существовал в природе, т.к. я его еще не придумал

З.Ы. То что данная проблема решается именно на стороне импортирующего плагина, а не на стороне генератора фидов, я могу продемонстрировать любому желающему на примере одного из своих сплогов, где установлен плагин CyberSEO Suite, в котором я и постарался максимально защититься от появления двойных постов. Теоретически, даже в нем есть какой-то микро-квант времени в который возможно двойное срабатывание скрипта, но этот промежуток так мал, что никаких дапов на своих сплогах я не не наблюдаю.

Последний раз редактировалось: cyberxxx (22/06/09 в 18:56), всего редактировалось 1 раз

Venril писал:

Как то давно, еще в прошлом году я немного пообщался с нашим хорошим грекоболгарским другом Атанасисом на эту тему. С его слов BA определяет оригинальность постов по их тайтлам. А так как морфинг фиды эти тайтлы постоянно меняют, отсюда и BA ставит их как разные посты. И ничего тут как бы не сделаешь.

О, ну так с этого и надо было начинать! Для чего же тогда тэг <guid> существует? Если авторы BA положили хуй на стандарты, то конечно же во всем я виноват

Андреич, мне кажется, или ты уже второй раз пытаешься обвинить меня в том, что чей-то чужой скрипт написан кривыми руками? Опять же, не стукнулся в аську, не написал на мыло, а сразу так на форум запостил. Молодец.

З.Ы. Не зашел бы я случайно в этот раздел, так и не увидел бы топик.

cyberxxx писал:

О, ну так с этого и надо было начинать! Для чего же тогда тэг <guid> существует? Если авторы BA положили хуй на стандарты, то конечно же во всем я виноват

А при чём тут ты? Про тебя речь не шла. Обсуждалась проблема с BA, и если его автор проглядел этот момент, то можно обратиться к нему. Спасибо за то, что дал наводку на проблему, но мне совершенно непонятно что ты тут доказываешь с пеной у рта. Расслабься, выпей чайку наконец, зелёный очень помогает в жару

cyberxxx: не кипятись ! вот теперь мне почти все понятно,
и я приношу Тебе свои извинения ! Извини !

но остается все равно вопрос, хорошо с тегом <guid> все понятно, не понятно другое, почему когда скрипт распарсивает RSS то ему Срипту какимто образом удается вытянуть все варанты (морфинные) одного поста, чета я этого не могу понять, точнее как я понял RSS постоянно отдает разный контент ? тоесть нет жесткой привязки к ID вебмастера ? так ?
тоесть если взять один фид и запихать его в 5 разных грабберов, они загряблят пять разных вариантов ?

Venril писал:

А при чём тут ты? Про тебя речь не шла.

Ну это для тебя она не шла, а ТС как раз именно про меня и писал. Если ты немного не в теме, то просто не комментируй. ок?

andreich писал:

cyberxxx: не кипятись ! вот теперь мне почти все понятно, и я приношу Тебе свои извинения!

Принято. Ты просто в следующий раз в аську мне стукни и мы с тобой разберемся в проблеме без лишнего шума и пыли.

andreich писал:

но остается все равно вопрос, хорошо с тегом <guid> все понятно, не понятно другое, почему когда скрипт распарсивает RSS то ему Срипту какимто образом удается вытянуть все варанты (морфинные) одного поста, чета я этого не могу понять, точнее как я понял RSS постоянно отдает разный контент?

Тут немного другая проблема. Старые версии скриптов поддерживали морфинг не для всех форматов фидов. Например, RSS2 поддерживался, а Atom-нет. В принципе, это никого особо не волновало, т.к. 99% блоггеров тянули именно RSS2. Проблема возникла с теми, чьи скрипты тянули фиды только в старых форматах. Тут и возникала проблема. Вот только я пофиксал эту ошибку больше года назад, и это значит, что спонсоры, с фидами которых до сих пор возникает подобная проблема, должны обновить мой плагин до последней версии. Собственно, это все что от них требуется.

З.Ы. Если хочешь чтобы на нескольких различных сплогах были разные версии одного и того же сморфленнгого фида, сгенерированных для одного и того же id, то добавляй к url-у фида параметр cxxx_seed с рандомным значением, например:

http://www.rbblog.com/feed/?wm=123456&cxxx_seed=splogblog1.com
http://www.rbblog.com/feed/?wm=123456&cxxx_seed=mybsuperpupersplog.com
http://www.rbblog.com/feed/?wm=123456&cxxx_seed=bla-bla-bla
http://www.rbblog.com/feed/?wm=123456&cxxx_seed=123456789
и т.д.

Все эти фиды будут сгенерированы для адверта 123456, но содержать они будут разный контент.