[Gastosabertos-dev] Comparando informações das planilhas de planejamento 2015

Andres MRM andres em inventati.org
Domingo Janeiro 25 19:07:40 UTC 2015 

Quoting Edgar Zanella Alvarenga (2015-01-25 17:02:41)
> On 25/01/2015 16:47, Andres MRM wrote:
> > Quoting Edgar Zanella Alvarenga (2015-01-25 16:33:01)
> >> On 25/01/2015 16:19, Andres MRM wrote:
> >> > Ou seja, só teremos dados de um ano, certo?
> >>
> >> Não Andres, como assim? Quadro detalhado possuímos de 2015,
> >> mas não detalhado possuímos 2013, 2014 e 2015, pelo menos pelo
> >> site:
> >>
> >> http://sempla.prefeitura.sp.gov.br/orcamento/proposta.html
> >
> > Foi exatamente isso que escrevi no meu primeiro e-mail, não?
> >
> >       "Tem outro problema com esses dados, cobrem poucas datas.  O LOA é 
> > só de
> >       2014, e o Quadro Detalhado só de 2015.  O Projeto de Lei tem de 
> > 2013-2015,
> >       mas a regionalização é quase inexistente nessa base."
> 
> Exatamente por isso que não entendi quando disse: "Ou seja, só teremos 
> dados de um ano, certo?".
> Quadro detalhado sim, mas possuímos dados de diversos anos. Se 
> possuímos
> apenas 2015 detalhado, fica como uma ótima oportunidade de perguntar ao
> pessoal do Sempla se é possível extrair os quadros detalhados de todos 
> anos.

Podemos tentar... Mas acho que eles só começaram a se organizar
"geograficamente" agora. Depois de bastante gente pedir, inclusive a Gisele.
Apesar de que acho que vi algo do tipo nos PDFs antigos... O problema é
extrair, se é que não estou me confundindo.

> 
> E mesmo os dados sem detalhamento regional, os dados estão agrupados 
> por funções
> e subfunções, então a idéia de analisarmos as diferenças por função ao 
> longo dos
> anos continua. Apenas não conseguiremos fazer os gráficos comparativos 
> entre
> subprefeituras/distritos com o grau de granularidade de 2015.

É... tem razão.
> 
> >> E pelo link que você passou:
> >>
> >> http://www.camara.sp.gov.br/transparencia/dados-abertos/1071-2/
> >>
> >> Temos as propostas até 2010. Aliás, é fantástico que aí possui
> >> as emendas do orçamento junto com os autores responsáveis por elas.
> >> Fiz um conversor pra esses xmls pra criar csv e dataframes do 
> >> pandas:
> >>
> >> 
> >> https://github.com/okfn-brasil/gastos_abertos_dados/blob/master/utils/convert_xml.py
> >
> > Eu tinha feito algo próximo a isso quando extraindo os dados da 
> > receita via
> > Câmara:
> > https://github.com/okfn-brasil/gastos_abertos/tree/master/src/tool
> 
> Pô, Pandas é seu amigo, vai salvá-lo do perigo! ;^)

Haha, ok. =P

> 
> >> E testando com o xml de emendas de 2014 mais o xml do autores delas,
> >> pareceu funcionar. Só preciso entender a interpretar algumas linhas
> >> das emendas que possuem quase todos os campos vazios, e com id da
> >> emenda
> >> igual a da linha anterior.
> >>
> >> Precisamos verificar se os xml dos dados do orçamento convertidos
> >> possuem
> >> os mesmos dados do quadro detalhado.
> >>
> >> E.
> >>
> >> > Quoting Edgar Zanella Alvarenga (2015-01-25 16:08:27)
> >> >> On 25/01/2015 08:23, Andres MRM wrote:
> >> >>
> >> >> > Tem outro problema com esses dados, cobrem poucas datas.
> >> >> > O LOA é só de 2014, e o Quadro Detalhado só de 2015.
> >> >>
> >> >> O LOA de 2014 refere-se ao Quadro Detalhado de 2015.
> >> >>
> >> >> > O Projeto de Lei tem de 2013-2015, mas a regionalização é quase
> >> >> > inexistente
> >> >> > nessa base.
> >> >>
> >> >> Sim, mas como comentei, a regionalização vamos tirar do Quadro
> >> >> Detalhado
> >> >> que é onde existe tais informações.
> >> >>
> >> >> > Quoting Edgar Zanella Alvarenga (2015-01-24 23:16:34)
> >> >> >> Fiz algumas comparações das duas planilhas de planejamento que
> >> >> >> iremos utilizar antes de iniciar o processo de criar os 
> >> modelos
> >> >> >> de dados.
> >> >> >>
> >> >> >>
> >> >> >>
> >> >> 
> >> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Comparando%20dados%20de%20planejamento.ipynb
> >> >> >>
> >> >> >> Descobri algumas coisas boas:
> >> >> >>
> >> >> >>   * O valor total em projetos é consistente nas duas planilhas
> >> >> >>
> >> >> >>   * Descobri que coisas que pensávamos não estarem 
> >> regionalizadas
> >> >> >>     por subprefeitura, como por exemplo "Construção de CEI",
> >> >> estão
> >> >> >>     na planilha com quadro detalhado. Sempre achávamos que 
> >> nessas
> >> >> >>     planilhas existiam muitas informações que possuiam apenas 
> >> um
> >> >> >>     total sem a discriminação de quanto deste total iria pra 
> >> cada
> >> >> >>     subprefeitura. Pelo que observei, pelo menos alguns 
> >> projetos
> >> >> >>     isso não é verdade. Vejam o notebook acima no exemplo do 
> >> CEI.
> >> >> >>
> >> >> >> E algumas coisas ruins:
> >> >> >>
> >> >> >>   * O número de colunas difere entre as duas planilhas.
> >> >> >>
> >> >> >>   * Algumas colunas possuem nomes distintos, por exemplo,
> >> >> >> 'ProjetoAtividade'
> >> >> >>     na planilha PLOA467BaseDados.xls é equivalente a coluna 
> >> 'PA'
> >> >> na
> >> >> >>     planilha PLOA467BaseDadosQuadroDetalhadoDaAcao.xls.
> >> >> >>
> >> >> >>   * A quantidade de detalhamento difere em cada planilha. 
> >> Algums
> >> >> >> Projeto/Atividade's
> >> >> >>     hora estão mais detalhados em uma planilha, hora estão em
> >> >> outra.
> >> >> >> Isso
> >> >> >>     implica que teremos que pensar melhor em como iremos 
> >> realizar
> >> >> >>     a importação dos dados para nossos modelos de dados. 
> >> Quando
> >> >> >> pegar as
> >> >> >>     informações de uma planilha e quando pegar da outra? Sim, 
> >> eu
> >> >> >> sei,
> >> >> >> pegar
> >> >> >>     sempre da planilha com mais informações, mas isso deverá 
> >> ser
> >> >> >> definido
> >> >> >>     de forma algorítmica por projeto/atividade.
> >> >> >>
> >> >> >> Sugiro fortemente que dêem uma boa lida no notebook que passei
> >> >> >> acima.
> >> >> >>
> >> >> >> E.
> >> >> >>
> >> >> >>
> >> >> >> _______________________________________________
> >> >> >> Gastosabertos-dev mailing list
> >> >> >> Gastosabertos-dev em lists.okfn.org
> >> >> >> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> >> >> > _______________________________________________
> >> >> > Gastosabertos-dev mailing list
> >> >> > Gastosabertos-dev em lists.okfn.org
> >> >> > https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> >> >>
> >> >> _______________________________________________
> >> >> Gastosabertos-dev mailing list
> >> >> Gastosabertos-dev em lists.okfn.org
> >> >> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> >> > _______________________________________________
> >> > Gastosabertos-dev mailing list
> >> > Gastosabertos-dev em lists.okfn.org
> >> > https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> >>
> >> _______________________________________________
> >> Gastosabertos-dev mailing list
> >> Gastosabertos-dev em lists.okfn.org
> >> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> > _______________________________________________
> > Gastosabertos-dev mailing list
> > Gastosabertos-dev em lists.okfn.org
> > https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> 
> _______________________________________________
> Gastosabertos-dev mailing list
> Gastosabertos-dev em lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev

Mais detalhes sobre a lista de discussão Gastosabertos-dev