[Gastosabertos-dev] Contratos com a Prefeitura de São Paulo em 2014

[Edgar Zanella Alvarenga]

Qualquer idéia de ferramenta para construirmos o que propus no email
da outra lista é bem vinda. Eu quero minimizar trabalho. Se formos 
colocar
a discussão usando Disqus, que seja. Se formos usar um CMS como Drupal
desde que isso implique termos algo, maravilha. Só estou fugindo de uma
solução como MediaWiki, pois pra mim tem que ser algo com uma interface
bem amigável.

E.

On 13/05/2015 01:05, Edgar Zanella Alvarenga wrote:
> Dá uma olhada no tópico que vou criar daqui alguns minutos na lista
> gastosabertos.
> 
> On 13/05/2015 00:52, Luiz Armesto wrote:
>> Vou baixar os documentos e dar uma espiada. Tem alguma coisa
>> importante que só conseguimos fazendo parser dos arquivos e que não
>> venha no CSV exportado?
>> 
>> [off-topc técnico]
>> 
>> Já tropecei também nessas variáveis '__VIEWSTATE' e
>> '__EVENTVALIDATION'. Elas me atrapalharam para baixar imagens do site
>> da Sabesp[1].
>> 
>> Toda página em asp é a mesma coisa, lá estão elas para importunar.
>> 
>> [1] https://gist.github.com/LuizArmesto/7c699b9ebaa59e5e4c13 [4]
>> 
>> 2015-05-10 13:24 GMT-03:00 Edgar Zanella Alvarenga <e em vaz.io>:
>> 
>>> Desde 2014 a Prefeitura disponibiliza os contratos integrais
>>> realizados por ela no endereço:
>>> 
>>> 
>> http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx
>>> [1]
>>> 
>>> O problema é que navegar por esta página é inviável,
>>> extremamente lenta e com poucas
>>> informações sobre os contratos (tipo de objeto ou convênio que o
>>> contrato se refere,
>>> quantidades, endereços, etc). Resolvi baixar os contratos pois
>>> vejo vários potenciais
>>> de análise e jornalismo de dados sobre esses dados.
>>> 
>>> Neste sábado finalizei um programa que baixou os 10.710 contratos,
>>> num total de mais
>>> de 4.4Gb de dados.
>>> 
>>> Podemos agora:
>>> 
>>>  * Extrair de forma automática informações dos contratos como
>>> endereços e quantidades de objetos.
>>> 
>>>  * Tentar cruzar com nossas bases de dados de planejamento e
>>> execução orçamentária.
>>> 
>>>  * Talvez ao invés de só utilizarmos extrações automáticas,
>>> pensar num projeto de crowsourcing usando
>>>    ferramentas abertas como o PyBossa para conseguir voluntários
>>> para extrair dados dos contratos.
>>> 
>>>  * Disponibilizar os contratos para baixar numa interface mais
>>> fácil de navegar.
>>> 
>>>  * Criar um torrent dos dados?
>>> 
>>> Alguém tem outra idéia?
>>> 
>>> Quem quiser saber mais sobre como foi feito o processo de download
>>> dos contratos veja o resumo aqui:
>>> 
>>> 
>> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Contratos%20Prefeitura%202014.ipynb
>>> [2]
>>> 
>>> Edgar
>>> 
>>> _______________________________________________
>>> Gastosabertos-dev mailing list
>>> Gastosabertos-dev em lists.okfn.org
>>> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev [3]
>> 
>> --
>> 
>> Luiz Armesto
>> 
>> 
>> Links:
>> ------
>> [1] 
>> http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx
>> [2]
>> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Contratos%20Prefeitura%202014.ipynb
>> [3] https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
>> [4] https://gist.github.com/LuizArmesto/7c699b9ebaa59e5e4c13
>> 
>> _______________________________________________
>> Gastosabertos-dev mailing list
>> Gastosabertos-dev em lists.okfn.org
>> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> _______________________________________________
> Gastosabertos-dev mailing list
> Gastosabertos-dev em lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev