A-Parser - продвинутый парсер ПС, PR, WS, более 35 парсеров!

Сборник рецептов #65: проверка DMCA в Google выдаче, парсинг Wayback Machine и Steam Market

65-й сборник рецептов, в котором представлены парсер для проверки запросов DMCA в Google выдаче, парсер сохранённых страниц Wayback Machine и парсер Steam Market.

Проверка запросов DMCA в Google выдаче

Парсер проверяет наличие DMCA-уведомлений внизу выдачи Google. В качестве запросов можно указывать любые поисковые запросы, которые возможны в браузере: домены, операторы Google, обычные ключевые слова и другие варианты. Подходит для быстрой проверки, есть ли по запросу ограничения или жалобы DMCA в поисковой выдаче.




Парсинг Wayback Machine

Парсер веб-архива собирает данные о сохранённых страницах из WebArchive / Wayback Machine. Можно задать начальный и конечный год парсинга, а в результате получить список архивных копий страниц с датой сохранения, ссылкой на архивную версию, исходным URL и заголовком страницы.




Парсер Steam Market

Парсер Steam Market собирает данные из поиска торговой площадки Steam. В качестве запросов принимает ключевые слова, например case или ak 47. В результатах доступны название товара, название игры, изображение, количество и цена.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в X.

Все сборники рецептов

Последний раз редактировалось: A-Parser Support (18/06/26 в 06:07), всего редактировалось 2 раз(а)

1.2.3390 - полное восстановление работы SE::Google, новый docker образ aparser/runtime:headful




Улучшения

• Полностью восстановлена работа парсера SE::Google под Linux и Windows
  
• В SE::Google добавлена опция Write Google timeout HTML (по умолчанию отключена)
  
• В SE::Bing::Translator актуализирован список языков
  
  
• В Net::Whois добавлена поддержка домена .us.com
  
  
• В Util::Turnstile добавлена поддержка сервиса разгадывания BotLab
  
• Добавлен docker образ aparser/runtime:headful - помогает увеличить скорость парсинга в SE::Google
  

Исправления в связи с изменениями в выдаче

• В SE::Google исправлены некоторые ошибки парсинга (включая timeout ошибки), возникающие из-за изменений в верстке
  
• В Reddit:: PostInfo исправлен сбор комментариев к публикациям
  
• В SE::Yandex:: Direct исправлен сбор $domain, $title, $text
  
  
• В SE::Yandex::WordStat исправлен сбор частотности, а так же разгадывание смарт-каптчи
  

Исправления

• В SE::Google исправлено закрытие браузера
  
• В SE::Bing::Translator исправлено отсутствие списка поддерживаемых языков для параметров From language и To language
  
• В FreeAI:: Perplexity исправлена работа функции New attempt when match для языков, отличных от английского
  

Дайджест A-Parser: обновление дополнительных парсеров


Дайджест A-Parser: обновление дополнительных парсеров

Внешние сервисы регулярно изменяют структуру страниц, форматы выдачи, механизмы авторизации и способы загрузки данных. Мы отслеживаем такие изменения и вносим необходимые доработки, чтобы вы могли продолжать использовать парсеры в своих рабочих процессах.


Парсер SimilarWeb

Обновление парсера для сбора данных SimilarWeb

• Восстановлена корректная работа парсера
  
• Модуль обхода защиты переработан с Puppeteer на Playwright
  
• Улучшена совместимость с текущими механизмами защиты SimilarWeb
  

Парсер JS::MailValidator

Обновление парсера для проверки email-адресов

• Исправлена проверка почты в Outlook/Hotmail, Mail.ru, Яндексе, Рамблере
  
• Добавлена поддержка Yahoo через Puppeteer
  
• Добавлена поддержка AOL через Puppeteer
  
• Добавлен домен hotamil.com
  

Парсер expireddomains.net

Обновление парсера для сбора данных об удаленных доменах

• Пресет полностью переписан на JS-парсер
  
• Учтена новая обязательная авторизация с MFA
  
• Реализована загрузка данных таблицы через XHR-запросы
  
• Обновлен набор колонок: убрана ALEXA, добавлены WBY, MMGR и List
  

Парсер постов из X (Twitter)

Обновление парсера для сбора постов из X

• Исправлена совместимость с новой структурой X API
  
• Исправлена обработка аккаунтов с promoted content
  
• Исправлена работа с курсорами пагинации
  
• Улучшен экспорт Post ID в Excel для корректного отображения длинных идентификаторов
  

Парсер всех видео с YouTube-канала

Обновление парсера для сбора видео с YouTube-каналов

• Добавлена совместимость с новым форматом YouTube lockupViewModel
  
• Исправлена обработка ytcfg для каналов с нестандартной структурой
  
• Исправлено получение длительности видео
  
• Добавлен сбор описаний видео
  
• Переработана архитектура для параллельной обработки роликов
  

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser — отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в X.