[okfn-br] Dados da execução orçamentária por subprefeitura de São Paulo

[Andres MRM]

Acho que eu usaria algumas expressões regulares (RE).

O script primeiro baixaria esse HTML (com a lista de todas as Subs):
http://www.prefeitura.sp.gov.br/cidade/secretarias/subprefeituras/subprefeituras/index.php
Aplicaria então uma RE para extrair os nomes delas. Algo assim:
"http://www.prefeitura.sp.gov.br/cidade/secretarias/subprefeituras/(NOME)/historico/*"

Tendo a lista de subdomínios de cada Subprefeitura, baixaria a página de
execução de cada uma:
http://www.prefeitura.sp.gov.br/cidade/secretarias/subprefeituras/(NOME)/execucao_orcamentaria/index.php

Dai é só vasculhar cada página baixada por um link que contenha "PDF" ou "pdf"
e baixar. Algo assim:
"http://www.prefeitura.sp.gov.br/cidade/secretarias/subprefeituras/upload/(NOME)/arquivos/execucao_orcamentaria/*.(pdf|PDF)"

Alguém vê um caminho mais fácil?

Existem uns copiadores de sites. Há muito tempo que não uso um. Não sei se
seria uma boa opção, mas talvez algum deles tenha uma opção de baixar todos os
PDFs de um site.

On 10-09-14 14:47, Everton Zanella Alvarenga wrote:
>Pessoal,
>
>durante a última audiência pública do planejamento do orçamento de São
>Paulo São Paulo para 2015 (notas <
>https://pad.okfn.org/p/gastosabertos-ploa2015> do encontro na sub da Sé),
>comecei a vasculhar os dados da execução orçamentária para cada
>subprefeitura. Está tudo sem muito padrão nos PDFs de cada mês, quando
>estão completo.
>
>Vou tentar começar um script que extraia os PDFs das páginas de cada sub e
>depois começar a tentar transformar esses dados num CSV. Exemplo da sub da
>Sé
>
>http://www.prefeitura.sp.gov.br/cidade/secretarias/subprefeituras/se/execucao_orcamentaria/index.php?p=27287
>
>Alguém que programa de verdade vê algo melhor que usar Beautiful Soup em
>Python para extrair os PDFs da página de cada sub? Quando eu começar o
>script (provavelmente começarei a ver isso sexta pela manhã), compartilho o
>link quando estiver minimamente funcional. Se alguém já tiver um script
>nessa linha, por favor, compartilhe o link do repositório. :)
>
>Temos um Tabula rodando em algum servidor? Caso não, acho que vai ser útil
>para começarmos a abrir esses dados. Podemos ver algum VPS da OKBR para por
>um, se não tiver nenhum estável rodando.
>
>E podemos pedir para o pessoal da Sempla para publicarem esses dados num
>formato aberto, eles motraram interesse em colaborar no último encontro de
>segunda. ;)
>
>Valeu!
>
>Tom
>
>-- 
>Everton Zanella Alvarenga (also Tom)
>Open Knowledge Brasil - Rede pelo Conhecimento Livre
>http://br.okfn.org

>_______________________________________________
>okfn-br mailing list
>okfn-br em lists.okfn.org
>https://lists.okfn.org/mailman/listinfo/okfn-br
>Unsubscribe: https://lists.okfn.org/mailman/options/okfn-br