U2 · Principais

Cape Cod Permits

Alvarás de obra de Massachusetts ficam espalhados em seis sistemas municipais sem API comum. O projeto coleta tudo numa base PostgreSQL que pessoas e agentes de IA consultam por um painel web e por um servidor MCP.

privado

Decisões técnicas

  • Um coletor por plataforma (OpenGov, PermitEyes, Patriot PermitPro, PermitLink, MapsOnline e os relatórios XLSX de Harwich) atrás de uma tabela única. Incluir um município numa plataforma já suportada é só configuração.
  • Resposta bruta de cada portal gravada comprimida, com hash SHA-256 e a versão do parser. Se o parser muda, a base é refeita a partir do bruto, sem baixar tudo de novo.
  • Falha isolada por plataforma e progresso salvo por município. Quando um portal recusa a credencial, só os municípios dele pausam, e um redeploy não recomeça a varredura do zero.
  • Health check mede progresso, não ciclo concluído: um backfill de horas não gera alarme falso, e um travamento real aparece em 20 minutos.
  • MCP somente leitura pensado para o agente errar menos: as descrições mandam checar a cobertura de cada município antes de comparar e usar agregados em vez de paginar.
  • Cada chave MCP tem nome próprio no log de auditoria e limite próprio de requisições; toda leitura de contato é registrada.

Resultados

  • 147.639 registros na base, de 74 municípios (15 de Cape Cod e 59 do resto de Massachusetts). Inclui registros administrativos, então não é contagem de obras.
  • 6 plataformas municipais diferentes com coletor próprio.
  • 1.262 municípios num raio de 200 milhas mapeados com o sistema que cada um usa, para guiar a expansão.
  • 7 ferramentas MCP somente leitura, mais um guia do dataset para o agente ler antes de analisar.

Stack

Node.js 22PostgreSQLMCP SDKZodCheerioPlaywrightPythonDockerDokploy

O que mostra

Mostra que sei montar um pipeline de dados que continua de pé quando as fontes falham, e entregar esses dados a agentes de IA de um jeito que evita conclusões erradas.