Парсинг сайтов на дельфи

Была у меня программа, которая парсила определенный сайт. Она сохраняла на локальный диск код страницы и парсила с него таблицу в текстовый файл. Работало через IHTMLDocument2 и IHTMLElementCollection.
Таблица определялась по тегам.
Так вот, с недавних пор сайт не сохраняется, при попытке доступа появляется окно - сайт не поддерживает ваш браузер. Потому что IHTMLDocument2 открывает сайт через IE.
Как побороть проблему?
Может есть другой способ сохранить ?

RichardIV
Может есть другой способ сохранить ?

Есть. Indy, CURL, любая другая библиотека, способная работать c HTTP.

Posted via ActualForum NNTP Server 1.5

RichardIV

↑

Была у меня программа, которая парсила определенный сайт. Она сохраняла на локальный диск код страницы и парсила с него таблицу в текстовый файл. Работало через IHTMLDocument2 и IHTMLElementCollection. Таблица определялась по тегам. Так вот, с недавних пор сайт не сохраняется, при попытке доступа появляется окно - сайт не поддерживает ваш браузер. Потому что IHTMLDocument2 открывает сайт через IE. Как побороть проблему? Может есть другой способ сохранить ?

Changing the UA (User Agent) of a TWebBrowser component спасет ОРД?

RichardIV,

Еще можно почитать про FEATURE_BROWSER_EMULATION, а вдруг...

RichardIV,
А еще Chromium и MiniBlink

ziv-2014	↑
RichardIV, А еще Chromium и MiniBlink

это уже тяжёлая артиллерия

RichardIV,

Делать реверс. Сайтостроители последнее время стараются активно защищаться от таких умников.

defecator	↑
ziv-2014 ↑ RichardIV, А еще Chromium и MiniBlink это уже тяжёлая артиллерия

Нет, тяжелая артиллерия это полноценный браузер через WebDriver ))

В общем нашел, от чего сайт не хочет парсится - там в коде есть блок на проверку версии браузера.
Скажите, а есть способ (чтобы без перебора каждой строки в файле) удалить из html файла все ссылки и скрипты?

RichardIV
а есть способ (чтобы без перебора каждой строки в файле)

Удалить кусок содержимого файла не читая содержимое файла? Нет, обломись.

Posted via ActualForum NNTP Server 1.5