Неплохие обертки для работы с WEB

Вся работа в сети строится по принципу вопрос/ответ. Что-то принимает, а что-то отвечает.

Так и пошло разделение на клиент/сервер. Клиент посылает свои данные и запрос, сервер в свою очередь обрабатывает все это и отдает что может. Это само собой реализуется через протоколы.

Python и сообщество предлагает отличные решения для работы с серверами, а именно: pycurl, urllib и httplib.

Pycurl и httplib - низкоуровневые библиотеки, в которых можно более тонко задавать маршруты и сообщения, при взаимодействии.

Urllib - предоставляет высокоуровневый доступ. Имея массу обработчиков, мы можем "как два пальца ..." обходить редиректы, обрабатывать куки, составлять понятные заголовки и ... При этом все делается почти без нашего участия и в 10 строк кода.

Ubuntu, PIP: Проблема с установкой lxml

При потребности установить пакет lxml, через pip, вы можете столкнутся с ошибкой:

command 'gcc' failed with exit status 1

Связано это с тем, что в стандартные пакеты Ubuntu входит Python, но отсутствуют некоторые development библиотеки.

Устраняем проблему с помощью терминала и:

sudo apt-get install python2.7-dev
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev

И после этого спокойно устанавливаем lxml.