Реклама на сайте Advertise with us

Заблокировали IP при парсинге

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:

Люблю то, что делаю!

С нами с 22.10.06
Сообщения: 5053
Рейтинг: 4418


Передовик Master-X (16.12.2014) Передовик Master-X (16.02.2017) Передовик Master-X (01.03.2017) Передовик Master-X (16.03.2017) Передовик Master-X (01.09.2017) Ветеран трепа Master-X (16.09.2017)
Ссылка на сообщениеДобавлено: 12/08/14 в 21:02       Ответить с цитатойцитата 

скрипт был у меня написан на PHP без подключения CURLб как мне сказали
Цитата:
Когда php скрипт конектится к другому серверу, то по умолчанию используется основной ip сервера

и чтоб выйти из положения, нужно в скрипте указывать исходящий IP для соединения.
Но я чет нифига не пойму как это делается icon_confused.gif

Подскажите пожалуйста, о чем речь.
Спасибо!

1
 



С нами с 17.03.12
Сообщения: 335
Рейтинг: 790

Ссылка на сообщениеДобавлено: 12/08/14 в 21:20       Ответить с цитатойцитата 

http://php.net/manual/ru/function.curl-setopt.php
использовать CURLOPT_INTERFACE


Пример типа такой
Код:

$html = curl_get("http://САЙТ");

echo $html;

// Функция cURL
function curl_get($host, $file = null){
    //инициализация curl и задание основных параметров
    $ch = curl_init($host);
    curl_setopt($ch, CURLOPT_USERAGENT, '');
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_REFERER, '');
    curl_setopt($ch, CURLOPT_INTERFACE, "192.168.1.1");
   
    //если дали ссылку на файл
    if (!is_null($file)){
        //то устанавливаем опцию записи в файл,
        curl_setopt($ch, CURLOPT_FILE, $file);
        //и выполняем
        curl_exec($ch);
        //не забываем закрыть соединение
        curl_close($ch);
    }else{
        //если же ссылку на файл не дали, то возвращаем страничку
        ob_start();
        curl_exec($ch);
//      print(curl_error($ch));
        curl_close($ch);
        return ob_get_clean();
    }
}



Вся магия в curl_setopt($ch, CURLOPT_INTERFACE, "любой_ip_сервера");

9
 

Люблю то, что делаю!

С нами с 22.10.06
Сообщения: 5053
Рейтинг: 4418


Передовик Master-X (16.12.2014) Передовик Master-X (16.02.2017) Передовик Master-X (01.03.2017) Передовик Master-X (16.03.2017) Передовик Master-X (01.09.2017) Ветеран трепа Master-X (16.09.2017)
Ссылка на сообщениеДобавлено: 12/08/14 в 21:25       Ответить с цитатойцитата 

отлично, большое СПАСИБО!!! smail54.gif

1
 



С нами с 17.03.12
Сообщения: 335
Рейтинг: 790

Ссылка на сообщениеДобавлено: 12/08/14 в 21:29       Ответить с цитатойцитата 

пожалуйста)
но ты лучше договорись, а то все ипы побанят icon_neutral.gif

8
 

Люблю то, что делаю!

С нами с 22.10.06
Сообщения: 5053
Рейтинг: 4418


Передовик Master-X (16.12.2014) Передовик Master-X (16.02.2017) Передовик Master-X (01.03.2017) Передовик Master-X (16.03.2017) Передовик Master-X (01.09.2017) Ветеран трепа Master-X (16.09.2017)
Ссылка на сообщениеДобавлено: 12/08/14 в 21:55       Ответить с цитатойцитата 

отписал, жду ответа.
пока сделаю запрос с одного домена, а с него уже будут тянуть остальные. Надеюсь ситуация по открытию им разрешиться положительно. Но один хрен думал сделать так как сейчас, давно. Т.к. самому удобней регулировать всё это.
Еще раз спасибо!

0
 



С нами с 27.09.03
Сообщения: 5454
Рейтинг: 2506

Ссылка на сообщениеДобавлено: 12/08/14 в 22:07       Ответить с цитатойцитата 

паузы вставляй типа sleep(2)

7
 

Люблю то, что делаю!

С нами с 22.10.06
Сообщения: 5053
Рейтинг: 4418


Передовик Master-X (16.12.2014) Передовик Master-X (16.02.2017) Передовик Master-X (01.03.2017) Передовик Master-X (16.03.2017) Передовик Master-X (01.09.2017) Ветеран трепа Master-X (16.09.2017)
Ссылка на сообщениеДобавлено: 12/08/14 в 22:17       Ответить с цитатойцитата 

у меня по кронам, каждые 5 мин скрипт дергался, увеличивать диапазон до 10 и тем более больше ну как бы теряется часть инфы. Раньше одно и тоже дергалось с трех сайтов, теперь будет одним, а те другие будут уже брать инфу с него, думаю это даже снимет какую то нагрузку с сервера и уменьшит потери бендвича. Тем более если кол-во ресов разрастется.

0
 



С нами с 17.03.12
Сообщения: 335
Рейтинг: 790

Ссылка на сообщениеДобавлено: 12/08/14 в 23:11       Ответить с цитатойцитата 

Спасибо за обращение в нашу тех. поддержку trollface.png

9
 

Люблю то, что делаю!

С нами с 22.10.06
Сообщения: 5053
Рейтинг: 4418


Передовик Master-X (16.12.2014) Передовик Master-X (16.02.2017) Передовик Master-X (01.03.2017) Передовик Master-X (16.03.2017) Передовик Master-X (01.09.2017) Ветеран трепа Master-X (16.09.2017)
Ссылка на сообщениеДобавлено: 13/08/14 в 01:16       Ответить с цитатойцитата 

переписал код, парсинг пошел, сайты с основной базы тоже дергать стали, надеюсь та поддержка быстро ответит, ну или хотя бы чтоб это не банили.

1
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »