[Gastosabertos-dev] Contratos com a Prefeitura de São Paulo em 2014

Quarta Maio 13 04:05:27 UTC 2015

Dá uma olhada no tópico que vou criar daqui alguns minutos na lista 
gastosabertos.

On 13/05/2015 00:52, Luiz Armesto wrote:
> Vou baixar os documentos e dar uma espiada. Tem alguma coisa
> importante que só conseguimos fazendo parser dos arquivos e que não
> venha no CSV exportado?
> 
> [off-topc técnico]
> 
> Já tropecei também nessas variáveis '__VIEWSTATE' e
> '__EVENTVALIDATION'. Elas me atrapalharam para baixar imagens do site
> da Sabesp[1].
> 
> Toda página em asp é a mesma coisa, lá estão elas para importunar.
> 
> [1] https://gist.github.com/LuizArmesto/7c699b9ebaa59e5e4c13 [4]
> 
> 2015-05-10 13:24 GMT-03:00 Edgar Zanella Alvarenga <e em vaz.io>:
> 
>> Desde 2014 a Prefeitura disponibiliza os contratos integrais
>> realizados por ela no endereço:
>> 
>> 
> http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx
>> [1]
>> 
>> O problema é que navegar por esta página é inviável,
>> extremamente lenta e com poucas
>> informações sobre os contratos (tipo de objeto ou convênio que o
>> contrato se refere,
>> quantidades, endereços, etc). Resolvi baixar os contratos pois
>> vejo vários potenciais
>> de análise e jornalismo de dados sobre esses dados.
>> 
>> Neste sábado finalizei um programa que baixou os 10.710 contratos,
>> num total de mais
>> de 4.4Gb de dados.
>> 
>> Podemos agora:
>> 
>>  * Extrair de forma automática informações dos contratos como
>> endereços e quantidades de objetos.
>> 
>>  * Tentar cruzar com nossas bases de dados de planejamento e
>> execução orçamentária.
>> 
>>  * Talvez ao invés de só utilizarmos extrações automáticas,
>> pensar num projeto de crowsourcing usando
>>    ferramentas abertas como o PyBossa para conseguir voluntários
>> para extrair dados dos contratos.
>> 
>>  * Disponibilizar os contratos para baixar numa interface mais
>> fácil de navegar.
>> 
>>  * Criar um torrent dos dados?
>> 
>> Alguém tem outra idéia?
>> 
>> Quem quiser saber mais sobre como foi feito o processo de download
>> dos contratos veja o resumo aqui:
>> 
>> 
> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Contratos%20Prefeitura%202014.ipynb
>> [2]
>> 
>> Edgar
>> 
>> _______________________________________________
>> Gastosabertos-dev mailing list
>> Gastosabertos-dev em lists.okfn.org
>> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev [3]
> 
> --
> 
> Luiz Armesto
> 
> 
> Links:
> ------
> [1] 
> http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx
> [2]
> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Contratos%20Prefeitura%202014.ipynb
> [3] https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> [4] https://gist.github.com/LuizArmesto/7c699b9ebaa59e5e4c13
> 
> _______________________________________________
> Gastosabertos-dev mailing list
> Gastosabertos-dev em lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev