📘 Python Master
Engenharia de Sistemas com Internet, APIs e
Automação Web
Este livro é voltado para desenvolvedores avançados que constroem sistemas
conectados à internet, plataformas web e automações de grande escala.
Tecnologias usadas:
• FastAPI
• Selenium
• Scrapy
• Redis
• Docker
Capítulo 1 — Arquitetura de Sistemas
Web
Sistemas modernos conectados à internet geralmente usam:
Client (Browser / Mobile)
↓
API Gateway
↓
Backend Services
↓
Database / Cache
↓
External APIs
Stack comum em Python:
Frontend → React / Vue
Backend → FastAPI
Cache → Redis
Database → PostgreSQL
Queue → RabbitMQ
Capítulo 2 — Consumindo APIs da
Internet
Sistemas modernos integram serviços online.
Biblioteca comum:
requests
Exemplo: Consumindo API pública
import requests
url = "[Link]
response = [Link](url)
data = [Link]()
print("Usuário:", data["login"])
print("Seguidores:", data["followers"])
Esse código consome dados diretamente da internet.
Aplicações:
• dashboards
• monitoramento
• integração de serviços
Capítulo 3 — Scraping de Websites
Muitos dados da internet estão em páginas HTML.
Ferramentas usadas:
• BeautifulSoup
• Scrapy
Exemplo básico
import requests
from bs4 import BeautifulSoup
url = "[Link]
html = [Link](url).text
soup = BeautifulSoup(html, "[Link]")
titles = [Link](".titleline")
for t in titles:
print([Link])
Isso extrai títulos de uma página web.
Capítulo 4 — Automação de Navegador
Alguns sites usam JavaScript pesado.
Para isso usamos Selenium.
Exemplo
from selenium import webdriver
from [Link] import By
driver = [Link]()
[Link]("[Link]
search = driver.find_element([Link],"q")
search.send_keys("Python automation")
[Link]()
Isso automatiza uma pesquisa no navegador.
Aplicações:
• testes automatizados
• bots
• scraping avançado
Capítulo 5 — Construindo APIs
Escaláveis
APIs modernas são construídas com FastAPI.
Exemplo de API
from fastapi import FastAPI
app = FastAPI()
@[Link]("/weather")
async def weather():
return {"city":"Porto Alegre","temp":25}
Executar:
uvicorn main:app --reload
Agora temos uma API online.
Capítulo 6 — WebSockets (tempo real)
Aplicações modernas usam comunicação em tempo real.
Exemplo:
from fastapi import FastAPI, WebSocket
app = FastAPI()
@[Link]("/ws")
async def websocket_endpoint(websocket: WebSocket):
await [Link]()
while True:
data = await websocket.receive_text()
await websocket.send_text(f"Mensagem: {data}")
Uso:
• chats
• jogos online
• trading
• monitoramento
Capítulo 7 — Sistemas Distribuídos
Aplicações de grande escala usam:
• microservices
• filas
• workers
Ferramentas comuns:
Celery
Redis
RabbitMQ
Exemplo worker:
from celery import Celery
app = Celery("tasks", broker="redis://localhost:6379")
@[Link]
def process_data(x, y):
return x + y
Capítulo 8 — Web Crawlers
Profissionais
Para grandes volumes de dados usamos Scrapy.
Exemplo crawler:
import scrapy
class NewsSpider([Link]):
name = "news"
start_urls = ["[Link]
def parse(self, response):
for title in [Link]("h2::text").getall():
yield {"title": title}
Isso coleta dados automaticamente da internet.
Capítulo 9 — Deploy na Internet
Para colocar sistemas online usamos:
• Docker
• Kubernetes
• Nginx
• Cloud
Exemplo Dockerfile:
FROM python:3.11
WORKDIR /app
COPY . .
RUN pip install fastapi uvicorn
CMD ["uvicorn","main:app","--host","[Link]","--port","8000"]
Rodar:
docker build -t api .
docker run -p 8000:8000 api
Capítulo 10 — Projeto Master
Plataforma de coleta de dados da internet
Arquitetura:
Crawler (Scrapy)
↓
Queue (Redis)
↓
Workers (Celery)
↓
Database
↓
API (FastAPI)
↓
Dashboard
Esse tipo de sistema é usado por:
• análise de mercado
• inteligência competitiva
• monitoramento de notícias
• coleta de dados web
Conclusão
Um desenvolvedor Python Master domina:
✔ integração com internet
✔ APIs escaláveis
✔ scraping e crawling
✔ automação de navegador
✔ sistemas distribuídos
✔ deploy em cloud