[Gastosabertos-dev] Contratos com a Prefeitura de São Paulo em 2014

Quarta Maio 13 04:04:32 UTC 2015

Estou subindo os arquivos pro servidor vaimudar.org, se esperar até 
amanhã já disponibilizo
eles para serem baixados por lá, acho que será mais rápido do que baixar 
do site da prefeitura.

Abs
Edgar

On 13/05/2015 00:52, Luiz Armesto wrote:
> Vou baixar os documentos e dar uma espiada. Tem alguma coisa
> importante que só conseguimos fazendo parser dos arquivos e que não
> venha no CSV exportado?
> 
> [off-topc técnico]
> 
> Já tropecei também nessas variáveis '__VIEWSTATE' e
> '__EVENTVALIDATION'. Elas me atrapalharam para baixar imagens do site
> da Sabesp[1].
> 
> Toda página em asp é a mesma coisa, lá estão elas para importunar.
> 
> [1] https://gist.github.com/LuizArmesto/7c699b9ebaa59e5e4c13 [4]
> 
> 2015-05-10 13:24 GMT-03:00 Edgar Zanella Alvarenga <e em vaz.io>:
> 
>> Desde 2014 a Prefeitura disponibiliza os contratos integrais
>> realizados por ela no endereço:
>> 
>> 
> http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx
>> [1]
>> 
>> O problema é que navegar por esta página é inviável,
>> extremamente lenta e com poucas
>> informações sobre os contratos (tipo de objeto ou convênio que o
>> contrato se refere,
>> quantidades, endereços, etc). Resolvi baixar os contratos pois
>> vejo vários potenciais
>> de análise e jornalismo de dados sobre esses dados.
>> 
>> Neste sábado finalizei um programa que baixou os 10.710 contratos,
>> num total de mais
>> de 4.4Gb de dados.
>> 
>> Podemos agora:
>> 
>>  * Extrair de forma automática informações dos contratos como
>> endereços e quantidades de objetos.
>> 
>>  * Tentar cruzar com nossas bases de dados de planejamento e
>> execução orçamentária.
>> 
>>  * Talvez ao invés de só utilizarmos extrações automáticas,
>> pensar num projeto de crowsourcing usando
>>    ferramentas abertas como o PyBossa para conseguir voluntários
>> para extrair dados dos contratos.
>> 
>>  * Disponibilizar os contratos para baixar numa interface mais
>> fácil de navegar.
>> 
>>  * Criar um torrent dos dados?
>> 
>> Alguém tem outra idéia?
>> 
>> Quem quiser saber mais sobre como foi feito o processo de download
>> dos contratos veja o resumo aqui:
>> 
>> 
> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Contratos%20Prefeitura%202014.ipynb
>> [2]
>> 
>> Edgar
>> 
>> _______________________________________________
>> Gastosabertos-dev mailing list
>> Gastosabertos-dev em lists.okfn.org
>> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev [3]
> 
> --
> 
> Luiz Armesto
> 
> 
> Links:
> ------
> [1] 
> http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx
> [2]
> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Contratos%20Prefeitura%202014.ipynb
> [3] https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> [4] https://gist.github.com/LuizArmesto/7c699b9ebaa59e5e4c13
> 
> _______________________________________________
> Gastosabertos-dev mailing list
> Gastosabertos-dev em lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev