Принцип простейшего линк-чекера

Лезет на урл (из базы, текстовика или массива)
проверяет наличие кода (регэксп)
в случае неудачи - мыло, еще что то
вешается на крон
где подводные камни
+

в тему не вдовался , исходя из личных соображений , могут быть варианты что это все дело, чем-то "прикроют" , там ифрейм или что еще , или как комент сделают.
Хотя имхо из чисто экономических соображений , смысла нет.

ну мы подразумеваем чистоту проверяемых страниц.
могут быть какие нить нештатные ситуации - страница сервером криво отдается, еще что то?

Редирект, закоментированный кусок кода и т.п.

Сам когда-то думал писать такую хрень, соображения:
Необходимо обрабатывать редиректы, к примеру на аут - т.к. это прямой чит, для неплатежеспособных стран тоже могут быть свои страницы.
Проверка под соксами разных стран, и соотв статистика результатов, обязательная проверка из дайлерных стран .
Рандомное смещение по времени проверок, т.к. если Ваш сервис станет общепользовательским, время его проходов естественно выкупят
Ну и как ни странно лучше такую штуку писать как виндовое приложение на базе ие компонентов, т.к. более-менее опытные мастера подставляют эксповые страницы только винде.

Если писать "подобное приложение" на базе IE, можно получить троян в процессе проверок быстрее, чем произнести слово "чекер". Не надо путать необходимость Custom User Agents и необходимость в IE.

речь шла о проверке валидности взаимных ссылок на ресурсах - не ресипах ЛЛ, а просто линк-бек

Цитата:

Если писать "подобное приложение" на базе IE, можно получить троян в процессе проверок быстрее, чем произнести слово "чекер". Не надо путать необходимость Custom User Agents и необходимость в IE.

При написании обычно используется голова, поэтому о троянах не будем. Доверять только юзерагенту по меньшей мере наивно..

2Sterx: надо было просто сразу объяснить, что ты имеешь ввиду, т.к. кажется не только я посчитал, что имееются ввиду сиджи

в свете вышеприведенных уточнений, что можно подитожить?

По сабжу: не надо делать мыло или прочие регулярные мессаги, если ты уйдешь на неделю-месяц в офлайн и у более менее крупного хостера ляжет сервак можна слегка офигеть от чтения почты. Сделать лучше в виде базы со статусами валид/невалид и обрабатывать только смену статуса и причину.
+естественно обработка даунов(таймауты) и серверных ошибок.

как ни странно, ВСЕ при написании используют голову, только по разному. У не всегда одна голова вмещает в себя то, что другая. Всегда есть код который убивает движок ослика сразу на моменте чтения страницы.

для задачи - имхо для начала рекомендую посмотреть на возможности Curl

угу, спасибо, почитаю про это

stillen писал:

Редирект, закоментированный кусок кода и т.п.

lynx -dump спасет отцов русской демократии?

ku писал:

для задачи - имхо для начала рекомендую посмотреть на возможности Curl

Ещё wget можно для этого юзать, но cURL я люблю больше