Parsing сайта

Вот как раз на днях опять делал небольшую программу, которая существовала у меня недолго, потому что быстро сделала то, что предназначалось, но без неё я затратил бы раз в десять больше времени.

Есть такой сайт - knigka.info, на котором можно скачать книги. Я решил глянуть там литературу по компьютерам, ну и по другим разделам пройтись. Но дело в том, что на каждой странице там выводится только по 10 книг, а ещё надоедливая реклама постоянно мелькает. Это существенно замедляет работу. И я решил скачать все описания к книгам раздела, собрать их в одном файле, а потом уже сидеть и изучать его. Конечно, всё в автоматическом режиме. Без HiAsm - никуда!

Адреса всех разделов сайта имеют примерно одинаковую структуру. В разделе может быть много страниц, и адрес каждой указывается номером в конце типа http://www.knigka.info/category/pc/page/40/. Передо мной стояла задача пройтись через все страницы и собрать описания книг. Именно описания книг, а не весь HTML-код страницы: зачем он мне с рекламой и прочими ненужными вещами?

Прежде всего, нужно скачать HTML-код страницы.



В HTTP_Get должно быть установлено Wait=False, чтобы программа не зависала на время загрузки. Закачивать данные мы будем не в файл, а в программу, потому указывать имя файла не нужно.



HTTP_Get выдаёт на onDownload данные типа файловый поток, и их нужно преобразовать в текстовые данные, что и делает конвертор. А затем уже разбирать HTML-код.


Но сильный разбор здесь не нужен. Я стремился к тому, чтобы было как можно меньше действий. Пусть оформление описания остаётся таким же, как на сайте, главное - чтобы на одной странице были собраны сразу все книги.

Если открыть HTML-код любой страницы разбираемого сайта, то можно увидеть, что каждое описание - это отдельная таблица, которая заключена в такие теги:

< table class="cblock">
< /table>

Вот мы и вытаскиваем данные из таблиц компонентом BlockFind. Но проблема в том, что в такие теги заключены не только описания книг - в такие теги заключена одна из реклам, самая первая в HTML-коде. И её нужно отсеять. Для этого и нужен счётчик. У него всего 11 возможных значений: от 0 до 10. При нахождении каждой таблицы значение счётчика увеличивается. Первым будет 0; программа проверяет его на равенство нулю и при равенстве - не пропускает такую таблицу. А остальные 10 таблиц (они содержат описания книг) - пропускает.

После этого указанные таблицы на странице кончаются, загружается новая страница, и всё повторяется. А счётчик со значения 10 переходит на 0, и рекламная таблица опять не попадает в файл. Файл же сохраняется после разбора каждой страницы.

Но так мы загружаем только одну страницу, а нужно - все из данного раздела.



В данном случае мы просто меняем адрес страницы в поле ввода, но разбор этого адреса - не такое просто дело, как может показаться. Для начала мы отделяем число. Оно идёт после 6-го слеша, поэтому это легко делается одним компонентом. Затем отнимаем единицу и проверяем, не равно ли оно нулю. Если равно - ничего не происходит, потому что нулевых страниц на сайте нет.

Если число не равно нулю, то предыдущее нужно заменить новым, которое меньше на 1. Просто Replace здесь может не помочь, потому что если такое же число будет в названии какого-то раздела сайта, то заменится и оно, а нам нужно только изменить страницу. Удалить N-ное количество последних символов тоже не получится, потому что страница может иметь и номер 1, и номер 144, и количество цифр будет разным.

Возможно, можно было как-то по-другому решить эту проблему, более красиво, но я думать над этим не стал, потому что программа эта одноразовая, и чем скорее я её сделаю, тем лучше. В данном случае я просто сравниваю символы с конца на равенство «/» и при неравенстве - удаляю символ. Когда дело дойдёт до «/», это будет значить, что номер страницы полностью стёрт. Конечно, в этом случае самый последний слеш (который после номера страницы) нужно убирать ещё в поле ввода вручную, иначе алгоритм удаления на нём и остановится, не добравшись до номера страницы.

А потом оставалось только найти файл CSS в Temporary Internet Files и поместить его рядом с файлом HTML, прописав в последнем положение файла CSS, чтобы форматирование было одинаковым.

Конструирование этой программы заняло у меня минут 15 (это ещё с небольшим перерывом, чтобы ответить по телефону), а сэкономило мне пару часов как минимум....
Вот так.

---

Хотите что-нибудь интересного и новенького, а ещё и полезного? Рекомендую посмотреть компьютерные самоделки. Там реально прикольные вещи, которые можно сделать самостоятельно!