Сканирование html-кода в пхп - хелп

Народ подскажите есть ли в пхп какой нить удобный (специально преднозначенный) способ работы с html-документами? Все что мне удалось найти это - Hyperwave функции, но их еще и устанавливать надо и хелпа нормального нет. Мне это надо, что бы с галь линки на контент и урлы к тумбочкам вытягивать. Хочу небольшой грабер сделать.

а чем регулярки плохи?

лучше всего использовать регулярные выражения - это встроенное в php и perl средство для обработки текстовых документов. Но можно еще вот эту вещь: http://sourceforge.net/projects/phphtmlparser Но у нее возможности просто на порядок меньше, т. ч. лучше сразу учи регэкспы, кучу времени сэкономишь.

Sterx писал:

а чем регулярки плохи?

Можно то можно, но как описать регулярным выражениями поиск ссылки на img в универсальном виде, так сказать, ума не приложу, ведь сколько вариантов может быть!

Эт типа - вначале найти все ссылки в документе потом выбрать из них те, что ссылаються на жпг-файли и если сылка содержит - хттп то проверить соответствует домен этой ссылки домену самой гали, и т.д. и тп Да как то громозко получаеться! Неужели нет готовых библиотек классов, с функциями обработки хтмл документов???! Вот сколько скриптов пишеться под ТГП, ротаторы - наверняка используються какието готовые решения....

Цитата:

preg_match_all("'<img[^>]*src\s*=\s*([\"\'])?(?(1)(.*?)\\1|([^\s\>]+))'isx",$contentstring,$imatches);

выдирает имиджи

Цитата:

ereg("^http://w*\.*(.+)\\\?",$the_url,$regs);

регулярка для урлов

Neuromancer спасибо за ссылочку сейчас изучаю. Может это то что мне надо. Мне то и надо именно по тегам бпродить

Но если, кто еще, что подсказать может, буду признателен и естественно +3 Ж)

Sterx - биг СЕНКС! +3

Я вот такую вещь использую в парсере фришников:
if (preg_match_all ("/<a.+href *= *([\"'`])([^>]+(\.jpg|\.gif\|\.png|\.avi|\.wmv|\.mpg|\.mov))\\1[^>]*> *<img.+src *= *([\"'`])([^>]+)\\4[^>]*> *<\/a>/Ui", $response, $matches)) {
$pics = array_unique($matches[2]);
$thumbs = array_unique($matches[5]);
И дальше классом clsUrl проверяю, принадлежит ли тумба и пикса хосту.
Но эта штука не работает, если пикса или тумба не заключены в кавычки.

[del]

Последний раз редактировалось: KVS Support (03/07/17 в 23:30), всего редактировалось 1 раз

Тэг base я никогда не встречал в галерах, а вот относительная адресация применяется в большинстве случаев, поэтому дальше адрес преобразовыватся в абсолютный. Но это фигня, тот же класс clsUrl содержит функцию которая это делает. Единственный случай, когда регэксп не срабатывает - это если урл не заключен в кавычки.

У Пентарха кажется на сайте есть готовый скрипт для этого.
Я для выдирания тумб вообще потеговый перебор использую, глупо - но работает.

[del]

Последний раз редактировалось: KVS Support (03/07/17 в 23:29), всего редактировалось 1 раз

топистартер, если хошь написать нормальный грабер, не пользуйся регэкспами, они всего не учтут... везде свтречается очень много плохого форматирования, и отсутствие кавычек еще не самое страшное. я пользуюсь quiotix java парсером, но все равно приходится учитывать такие моменты как base тег и урл вида "/thumbs/1.jpg".

Парсить HTML регекспами, как заметил Simplex, неээфективно.
Есть фришный класс для этого у Jazarsoft - HTML Parser/PHP. На выходе получаете массив.

Код:

include("parser.php"); $parser = new classParser; $parser->InsertHTML($thebuffer); $parser->Parse(); $result=$parser->GetElements(&$htmlcode); if ($result) {   for ($i=0;$i<count($htmlcode);$i++) {     echo $htmlcode[$i];   } }

Естественно все ситуации с <BASE> и относительными/абсолютными ссылками надо обрабатывать самому.
Если не подходит можно поискать альтернативу на phpclasses.org

Да проще всего регулярными выражениями. Тем более если все равно BASE самому учитывать
А все скобки/кавычки там очень легко и просто вычисялются и упускаются. Уже больше года как сам сделал и пользую - пока прострелов небыло.

все к чему я пока пришел, так это исплользовать parser.php класс, а потом перебирая массив, выбирать заключенные в ссылки имиджи, используя регулярки. Получаеться вроде двойная работа, но с другой стороны регулка меннее сложная и как мне кажеться больше нажности. Я даже пробовал в хтмл-код вставлять не закончинные теги, типа - < a href=#'>, </a> - без первого тега и т.д. и вроде все определяет точно. Сейчас хочу добавить проверку на яву, мета т.д. и все это описать красиво, а потом останеться только вывод тумб, для выбора нужной и сохранение ее на сервер + генерация файла с описанием гали по шаблону, типа url||number||desc||file_thmbs. Вот и весь скрипт

P.S. Все-же, если кто, что может подсказать, каким кодом поделиться буду очень благодарен и естественно оценю по полной!

Ну и по ходу еще вопросик:
я хочу сдделать отдельный скрипт, что б выводить с помощу его сграбленные тумбы, т.е. типа - скрипт.пхп?урл_к_тумбе - возврашает .jpg файл.( так что б можно было этот скрипт включать в <img>). Хоть намекните - +3 гарантирую

Я думаю эта статья прояснит все до мелочей
http://www.devarticles.com/c/a/PHP/Generating-Images-on-the-Fly-With-PHP

Remy писал:

Ну и по ходу еще вопросик: я хочу сдделать отдельный скрипт, что б выводить с помощу его сграбленные тумбы, т.е. типа - скрипт.пхп?урл_к_тумбе - возврашает .jpg файл.( так что б можно было этот скрипт включать в <img>). Хоть намекните - +3 гарантирую

http://php.net/image

TAiNT писал:

Я думаю эта статья прояснит все до мелочей http://www.devarticles.com/c/a/PHP/Generating-Images-on-the-Fly-With-PHP

вот-вот - генерация имимджов на лету, сенкс TAiNT