Introdução ao Python com Requests e BeautifulSoup para Web Scraping

Python é uma linguagem versátil, muito utilizada em ciência de dados, automação e, claro, web scraping. Bibliotecas como requests e BeautifulSoup tornam o processo de coleta e processamento de informações de páginas web extremamente fácil.

1. O que é Web Scraping?

Web scraping é o processo de extração de dados de sites, transformando informações não estruturadas em dados organizados, prontos para análise. Com ele, você pode capturar desde pequenos trechos de texto até grandes volumes de dados, como listas de produtos, preços, ou artigos inteiros.

2. Introdução à Biblioteca Requests

requests é uma das bibliotecas mais populares em Python para enviar solicitações HTTP. Ela simplifica a comunicação com servidores web, facilitando o download de conteúdo HTML.

Instalação do Requests

Você pode instalar a biblioteca usando pip:

pip install requests

Exemplo de uso do Requests

Aqui está um exemplo simples de como usar o requests para fazer o download do conteúdo de uma página:

import requests

# URL da página
url = 'https://example.com'

# Fazendo uma requisição GET para o servidor
response = requests.get(url)

# Exibindo o conteúdo HTML da página
print(response.text)

3. Introdução ao BeautifulSoup

BeautifulSoup é uma biblioteca usada para extrair dados de arquivos HTML e XML. Ela analisa o conteúdo HTML, permitindo localizar e extrair informações específicas de forma muito mais fácil.

Instalação do BeautifulSoup

Para usá-la, você precisa instalar o beautifulsoup4 e lxml (ou html.parser):

pip install beautifulsoup4 lxml

Exemplo de uso do BeautifulSoup

Aqui está um exemplo básico de como usar o BeautifulSoup para analisar uma página e encontrar dados:

from bs4 import BeautifulSoup
import requests

# Fazendo o download da página
url = 'https://example.com'
response = requests.get(url)

# Criando o objeto BeautifulSoup
soup = BeautifulSoup(response.text, 'lxml')

# Encontrando e extraindo todas as tags <a> (links) da página
for link in soup.find_all('a'):
    print(link.get('href'))

4. Extraindo Dados Estruturados

Um dos principais usos do BeautifulSoup é a extração de dados estruturados. Por exemplo, você pode buscar tabelas ou seções específicas de uma página para processá-las.

# Buscando uma tabela específica
table = soup.find('table', {'id': 'dados-climaticos'})

# Extraindo o conteúdo da tabela
for row in table.find_all('tr'):
    cells = row.find_all('td')
    print([cell.text for cell in cells])

5. Unindo Requests e BeautifulSoup

Uma das principais vantagens dessas duas bibliotecas é a facilidade com que elas se complementam. requests faz a requisição do HTML, e BeautifulSoup permite que você navegue na estrutura da página para extrair informações.

Exemplo completo de scraping com ambas as bibliotecas:

import requests
from bs4 import BeautifulSoup

# Fazendo a requisição da página
url = 'https://portal.inmet.gov.br/dadoshistoricos'
response = requests.get(url)

# Criando o objeto BeautifulSoup
soup = BeautifulSoup(response.text, 'lxml')

# Extraindo links para arquivos ZIP
zip_links = [link.get('href') for link in soup.find_all('a') if link.get('href').endswith('.zip')]

# Exibindo os links
for link in zip_links:
    print(link)

6. Conclusão

Com requests e BeautifulSoup, você pode facilmente coletar dados de sites, transformando informações desestruturadas em dados organizados. Essas bibliotecas são indispensáveis para quem precisa automatizar a coleta de informações ou realizar análise de dados a partir da web.