Scraping

¿Cómo podemos obtener la información de un sitio web? Usando Scraping, es la técnica de leer un sitio web y almacenar la información. Cuidado, esta técnica está sujeta a restricciones legales

Usaremos la biblioteca Beautiful Soup para estos ejemplos.

Instalando Beautiful Soup

pip install beautifulsoup4

Script de ejemplo

from bs4 import BeautifulSoup
from urllib.request import urlopen

sitio = urlopen('http://www.python.org/')
contenido = BeautifulSoup(sitio.read(), 'html.parser')

titles = []
widgets = contenido.find_all('div', class_='medium-widget')
for widget in widgets:
	title_elem = widget.find('h2', class_='widget-title')
	titles.append(title_elem.text)

news = contenido.find('div', class_='blog-widget').ul

for li in news.findAll('li'):
	ancla = li.find('a')
	print(f'Noticia: {ancla["href"]}\n')
	print(ancla.text.strip())

HTML Basic beautifulsoup4 · PyPI

¡Eso es todo!

Happy Coding! ❤