[Gastosabertos-dev] Contratos com a Prefeitura de São Paulo em 2014

Quarta Maio 13 03:52:10 UTC 2015

Vou baixar os documentos e dar uma espiada. Tem alguma coisa importante que
só conseguimos fazendo parser dos arquivos e que não venha no CSV exportado?

[off-topc técnico]

Já tropecei também nessas variáveis '__VIEWSTATE' e '__EVENTVALIDATION'.
Elas me atrapalharam para baixar imagens do site da Sabesp[1].

Toda página em asp é a mesma coisa, lá estão elas para importunar.

[1] https://gist.github.com/LuizArmesto/7c699b9ebaa59e5e4c13

2015-05-10 13:24 GMT-03:00 Edgar Zanella Alvarenga <e em vaz.io>:

> Desde 2014 a Prefeitura disponibiliza os contratos integrais realizados
> por ela no endereço:
>
> http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx
>
> O problema é que navegar por esta página é inviável, extremamente lenta e
> com poucas
> informações sobre os contratos (tipo de objeto ou convênio que o contrato
> se refere,
> quantidades, endereços, etc). Resolvi baixar os contratos pois vejo vários
> potenciais
> de análise e jornalismo de dados sobre esses dados.
>
> Neste sábado finalizei um programa que baixou os 10.710 contratos, num
> total de mais
> de 4.4Gb de dados.
>
> Podemos agora:
>
>  * Extrair de forma automática informações dos contratos como endereços e
> quantidades de objetos.
>
>  * Tentar cruzar com nossas bases de dados de planejamento e execução
> orçamentária.
>
>  * Talvez ao invés de só utilizarmos extrações automáticas, pensar num
> projeto de crowsourcing usando
>    ferramentas abertas como o PyBossa para conseguir voluntários para
> extrair dados dos contratos.
>
>  * Disponibilizar os contratos para baixar numa interface mais fácil de
> navegar.
>
>  * Criar um torrent dos dados?
>
> Alguém tem outra idéia?
>
> Quem quiser saber mais sobre como foi feito o processo de download dos
> contratos veja o resumo aqui:
>
>
> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Contratos%20Prefeitura%202014.ipynb
>
> Edgar
>
> _______________________________________________
> Gastosabertos-dev mailing list
> Gastosabertos-dev em lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
>

-- 
Luiz Armesto
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://lists.okfn.org/pipermail/gastosabertos-dev/attachments/20150513/b1489632/attachment-0003.html>