[Gastosabertos] Contratos com a Prefeitura de São Paulo em 2014

[Edgar Zanella Alvarenga]

Oi Gisele,

On 11/05/2015 15:17, Gisele S. Craveiro wrote:

> - tem documentado as dificuldades em obter os dados e problemas
> de qualidade de dados

Sim, estou anotando nos notebooks que utilizo para explorar os dados,
mas acho que seria melhor fazer isso de forma mais sistemática pra
elaborar um documento.

> - estão pensando em escrever blogposts ou enviar diretamente para
> adm publica municipal

Eu penso nos dois, um blogpost explicando os problemas encontrados
em todo processo, desde usar a interface da própria prefeitura,
ter que fazer um programa pra baixar os dados e problemas nos
arquivos e nas planilhas de dados.

Para ter uma idéia, dá uma olhada no contrato anexado que envio neste 
email,
mas coloco aqui de antemão o conteúdo dele:

  ((NG)) PUBLICAÇÃO POR OMISSÃO ((CL))
  ((NG)) EXTRATO ((CL)) QUINTO TERMO DE ADITAMENTO AO CONTRATO Nº 
005/2011/SEHAB, CELEBRADO EM 14/03/2011 ENTRE A PMSP /SEHAB/ HABI E A 
EMPRESA  SANED ENGENHARIA E EMPREENDIMENTOS LTDA - P. A. Nº 
2010-0.185.195-8 - OBJETO: a) Adoção do cronograma financeiro; b) Adoção 
da planilha orçamentária; c) Alteração do valor contratual.

Sim, esse é todo conteúdo do contrato "integral". Um arquivo txt simples 
com
quase nada de informação.

E não é só esse problema, os conteúdos dos arquivos variam demais. Tem 
desde
modelo de contrato com informações como cnpj, cpf e assinatura 
removidas,
arquivos doc contendo uma página com pouquíssima informação até
digitalizações contendo assinaturas, nomes completos, rg, cpf, etc

> -caso já tenham feito isso, alguém respondeu ?

Por enquanto só pensei em conversar com a Fernanda da CGU que lutou para
conseguir a publicação desses contratos na íntegra, mas não sei bem com
quem falar da administração, alguma idéia? Pensei em falar com ela pra
ver se  me explica o porque da qualidade desses dados ser tão abismal
e com quem podemos conversar pra pedir explicações melhores.

Abs,
Edgar

> Creio que um dos objetivos do próximo encontro da Google é chamar
> algumas representantes do poder público. Acho que seria legal
> conversar sobre isso com eles.
> 
> ABs
> 
> Gisele
> 
> Em 11 de maio de 2015 00:33, Edgar Zanella Alvarenga <e em vaz.io>
> escreveu:
> 
>> Mais uma razão para termos os contratos: existem valores absurdos
>> no site da prefeitura
>> com os contratos (valores maiores que 100 bilhões por exemplo),
>> incluindo na planilha que
>> disponibilizam. Os valores corretos estão apenas nos arquivos.
>> 
>> Ah sim, fiz um tagcloud com os termos mais comuns nas descrições
>> dos contratos (o ideal
>> é fazer depois com os textos inteiros dos contratos):
>> 
>> http://i.imgur.com/3Z4A0wo.png [4]
>> 
>> E.
>> 
>> On 10/05/2015 19:18, Edgar Zanella Alvarenga wrote:
>> 
>>> Desde 2014 a Prefeitura disponibiliza os contratos integrais
>>> realizados por ela no endereço:
>>> 
>>> 
>> 
> http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx
>>> [1]
>>> 
>>> O problema é que navegar por esta página é inviável,
>>> extremamente
>>> lenta e com poucas
>>> informações sobre os contratos (tipo de objeto ou convênio que
>>> o
>>> contrato se refere,
>>> quantidades, endereços, etc). Resolvi baixar os contratos pois
>>> vejo
>>> vários potenciais
>>> de análise e jornalismo de dados sobre esses dados.
>>> 
>>> Neste sábado finalizei um programa que baixou os 10.710
>>> contratos, num
>>> total de mais
>>> de 4.4Gb de dados.
>>> 
>>> Podemos agora:
>>> 
>>>  * Extrair de forma automática informações dos contratos como
>>> endereços e quantidades de objetos.
>>> 
>>>  * Tentar cruzar com nossas bases de dados de planejamento e
>>> execução
>>> orçamentária.
>>> 
>>>  * Talvez ao invés de só utilizarmos extrações automáticas,
>>> pensar num
>>> projeto de crowsourcing usando
>>>    ferramentas abertas como o PyBossa para conseguir
>>> voluntários para
>>> extrair dados dos contratos.
>>> 
>>>  * Disponibilizar os contratos para baixar numa interface mais
>>> fácil de navegar.
>>> 
>>>  * Criar um torrent dos dados?
>>> 
>>> Alguém tem outra idéia?
>>> 
>>> Quem quiser saber mais sobre como foi feito o processo de
>>> download dos
>>> contratos veja o resumo aqui:
>>> 
>>> 
>> 
> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Contratos%20Prefeitura%202014.ipynb
>>> [2]
>>> 
>>> Edgar
>>> 
>>> _______________________________________________
>>> Gastosabertos mailing list
>>> Gastosabertos em lists.okfn.org
>>> https://lists.okfn.org/mailman/listinfo/gastosabertos [3]
>> _______________________________________________
>> Gastosabertos mailing list
>> Gastosabertos em lists.okfn.org
>> https://lists.okfn.org/mailman/listinfo/gastosabertos [3]
> 
> 
> 
> Links:
> ------
> [1] 
> http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx
> [2]
> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Contratos%20Prefeitura%202014.ipynb
> [3] https://lists.okfn.org/mailman/listinfo/gastosabertos
> [4] http://i.imgur.com/3Z4A0wo.png
> 
> _______________________________________________
> Gastosabertos mailing list
> Gastosabertos em lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/gastosabertos
-------------- Próxima Parte ----------
Um texto embutido e sem conjunto de caracteres especificado foi limpo...
Nome: contrato.txt
Url: <http://lists.okfn.org/pipermail/gastosabertos/attachments/20150512/485bbf2b/attachment-0003.txt>