(PERL) Как загрузить из HTTPS:// в переменную

iMagvay
Дата: 08.09.2006 02:11:17
(Perl) Уважаемые господа, подскажите: Как загрузить из HTTPS в переменную???
g613
Дата: 08.09.2006 09:44:01
perldoc LWP
Black
Дата: 08.09.2006 09:47:12
$ua->protocols_allowed( [ 'http', 'https'] ); 
iMagvay
Дата: 08.09.2006 14:43:43
Протокол HTTPS требует Crypt::SSLeay, как его поставить?
Black
Дата: 08.09.2006 15:34:38
iMagvay
Протокол HTTPS требует Crypt::SSLeay, как его поставить?

OS какая?
iMagvay
Дата: 09.09.2006 02:10:17
-----WinXP

Crypt::SSLeay я поставил, однако ничего не получается с загрузкой.
Пробуем:
use LWP::UserAgent;
use Crypt::SSLeay;
my $ua = LWP::UserAgent->new;
my $response = $ua->get('https://online.epocrates.com/classListAction.do?Id=12');
if ($response->is_success) {
print $response->content;
}
else {
die $response->status_line;
}


Проблема в том, что при на сайте постоянно получаю Redirecting, и не могу добраться до содержания страничек.

В Explorere ручками по одной ссылкея могу достать все, что мне надо, например, по https://online.epocrates.com/classListAction.do?Id=12 получаем:
.........<table border="0" cellpadding=2 cellspacing=0 width="100%" class="border">
<!-- 1 -->
<tr><td class="odd"><a href="/classListAction.do?Id=12" target="topLeft" class="list">Allergy/Cold/ENT</a></td></tr>
<tr><td class="even"><a href="/classListAction.do?Id=32" target="topLeft" class="list">Analgesics</a></td></tr>

<tr><td class="odd"><a href="/classListAction.do?Id=125" target="topLeft" class="list">Anesthesia</a></td></tr>...................

Мне необходимо слить всю (или почти всю информацию) с сайта и на основе её собрать свою базу.
Однако там несколько тысяч ссылок и около 200Mb текстов так, что ручками сделать это почти нвозможно.

Попытки использовать всякие там WebCoper'ы тоже не приносят успеха, они не видят ссылки, а если видят то качают хрень какую-то.


Может кто-нибудь подскажет выход ?!?!?!?
Black
Дата: 11.09.2006 12:27:47
iMagvay
Проблема в том, что при на сайте постоянно получаю Redirecting, и не могу добраться до содержания страничек.

А что мешает выдрать адрес редиректа и перейти?

p.s. если мне не изменяет память IO::Socket делает это автоматом ...
Anjey aka PM
Дата: 11.09.2006 12:58:07
Если не ошибаюсь LWP модули тоже (если настроить)
g613
Дата: 11.09.2006 14:50:53
Николай aka Motodor
iMagvay
Проблема в том, что при на сайте постоянно получаю Redirecting, и не могу добраться до содержания страничек.

А что мешает выдрать адрес редиректа и перейти?

p.s. если мне не изменяет память IO::Socket делает это автоматом ...

...таки немного изменяет... IO::Socket редиректом не занимается впримнципе, не для того он писан... :)