Datacol: универсальное средство сбора данных

Datacol – это универсальное средство для "добычи" любых данных, доступных в интернете. Datacol является десктопным решением, написанным на C#. Программа может экспортировать полученные данные в Excel, CSV, WordPress и DLE (+готовится экспорт в Joomla) (а также фришные блоги на wordpress.com). С автором можно обсудить доработку экспорта в другие форматы и CMS. Datacol также умеет многократно пропускать напарсенный контент через сервис Google Translate.

Создавая новые профили настроек и комбинируя различные опции Datacol, вы можете легко реализовать:

• Парсер контента по ключевикам;
• Парсер контента по списку URL;
• Парсер выдачи поисковиков;
• Парсер SEO параметров сайтов с различных сервисов для их проверки;
• Парсер Яндекс Маркета;
• Парсер email;
• Чекер индексации сайтов;
• Парсер объявлений;
• Парсер интернет магазинов;
• Парсер внешних и/или внутренних ссылок с сайта;
• Парсер прокси адресов;
• Парсер картинок.
• Парсер, позволяющий проверять позицию сайта по определенным запросам в поисковике;
• Парсер музыки, парсер картинок и других всевозможных файлов;
• Парсер форумов на любых движках;
• Парсер результатов работы Javascript.
• И МНОГОЕ ДРУГОЕ!!!




Функциональность Datacol также увеличивается тем, что программа может работать через список проксисерверов, авторизоваться на сайтах перед получением данных, а также подключать внешний браузер для обработки Javascript!!!.

Программа снабжена отличной иллюстрированной справкой. В ней также имеется удобный встроенный браузер, который можно использовать для:
- подбора регулярных выражений;
- подбора XPATH выражений;
- перехвата Cookie;
- перехвата POST данных, передаваемых при запросах к веб страницами;
- тестирования загрузки страниц с передачей различных Cookie, POST данных, useragent, рефереров и HTTP заголовков.

Обратите внимание, что встроенный браузер можно использовать без ограничений даже в бесплатной демо версии Datacol!

На сайте автора можно скачать демо версию программы (она отличается от полной только отсутствием возможности экспорта результатов). Там же можно найти ссылки на отзывы).

С условиями приобретения Datacol можно ознакомиться здесь. Я являюсь официальным дилером программы, поэтому если вы при запросе на активацию укажете имя дилера lofti, то сможете получить скидку в 10$.

АСЯ автора: 6ДВА41НОЛЬ419СЕМЬ
Моя ася: 43526882ШЕСТЬ
Официальный сайт Datacol

Цитата:

"добычи" любых данных, доступных в интернете

По-умному это называется data mining.

точнее говоря не "по умному", а на английском))) Я же здесь вроде как на русскоязычную аудиторию рассчитываю.

Программа дополняется новыми возможностями. Появилась функция вставки ключевиков, перевода результатов парсинга через Google Translate (с поддержкой прокси). Также добавлены новые возможности загрузки изображений и файлов.

В качестве дополнительных примеров решаемых задач, на базе Datacol собран массовый чекер возраста доменов и универсальный парсер контента по ключевикам.

На днях вышла вторая версия Datacol 2.0 AutoTune.

Главным отличием от первой версии является возможность визуальной настройки сбора данных. Теперь сбор данных можно настраивать буквально в несколько кликов мыши даже без знания регулярных выражений. Пользователю нужно просто кликнуть по нужному ему блоку информации на сайте и Datacol автоматически сгенерирует формулу для сбора.



Также добавилась возможность прямого экспорта результатов парсинга в базу данных Mysql и возможность многостороннего автоперевода спарсенных данных через сервис Google Translate.

Кроме того, была добавлена возможность расширения функциональности с помощью плагинов. Например недавно для одного покупателя был сделан плагин для получения данных из закрытых обсуждений Vkontakte.