[Gastosabertos-dev] Comparando informações das planilhas de planejamento 2015

[Andres MRM]

Quoting Edgar Zanella Alvarenga (2015-01-25 16:33:01)
> On 25/01/2015 16:19, Andres MRM wrote:
> > Ou seja, só teremos dados de um ano, certo?
> 
> Não Andres, como assim? Quadro detalhado possuímos de 2015,
> mas não detalhado possuímos 2013, 2014 e 2015, pelo menos pelo
> site:
> 
> http://sempla.prefeitura.sp.gov.br/orcamento/proposta.html

Foi exatamente isso que escrevi no meu primeiro e-mail, não?

	"Tem outro problema com esses dados, cobrem poucas datas.  O LOA é só de
	2014, e o Quadro Detalhado só de 2015.  O Projeto de Lei tem de 2013-2015,
	mas a regionalização é quase inexistente nessa base."

> 
> E pelo link que você passou:
> 
> http://www.camara.sp.gov.br/transparencia/dados-abertos/1071-2/
> 
> Temos as propostas até 2010. Aliás, é fantástico que aí possui
> as emendas do orçamento junto com os autores responsáveis por elas.
> Fiz um conversor pra esses xmls pra criar csv e dataframes do pandas:
> 
> https://github.com/okfn-brasil/gastos_abertos_dados/blob/master/utils/convert_xml.py

Eu tinha feito algo próximo a isso quando extraindo os dados da receita via
Câmara:
https://github.com/okfn-brasil/gastos_abertos/tree/master/src/tool

> 
> E testando com o xml de emendas de 2014 mais o xml do autores delas,
> pareceu funcionar. Só preciso entender a interpretar algumas linhas
> das emendas que possuem quase todos os campos vazios, e com id da 
> emenda
> igual a da linha anterior.
> 
> Precisamos verificar se os xml dos dados do orçamento convertidos 
> possuem
> os mesmos dados do quadro detalhado.
> 
> E.
> 
> > Quoting Edgar Zanella Alvarenga (2015-01-25 16:08:27)
> >> On 25/01/2015 08:23, Andres MRM wrote:
> >>
> >> > Tem outro problema com esses dados, cobrem poucas datas.
> >> > O LOA é só de 2014, e o Quadro Detalhado só de 2015.
> >>
> >> O LOA de 2014 refere-se ao Quadro Detalhado de 2015.
> >>
> >> > O Projeto de Lei tem de 2013-2015, mas a regionalização é quase
> >> > inexistente
> >> > nessa base.
> >>
> >> Sim, mas como comentei, a regionalização vamos tirar do Quadro
> >> Detalhado
> >> que é onde existe tais informações.
> >>
> >> > Quoting Edgar Zanella Alvarenga (2015-01-24 23:16:34)
> >> >> Fiz algumas comparações das duas planilhas de planejamento que
> >> >> iremos utilizar antes de iniciar o processo de criar os modelos
> >> >> de dados.
> >> >>
> >> >>
> >> >> 
> >> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Comparando%20dados%20de%20planejamento.ipynb
> >> >>
> >> >> Descobri algumas coisas boas:
> >> >>
> >> >>   * O valor total em projetos é consistente nas duas planilhas
> >> >>
> >> >>   * Descobri que coisas que pensávamos não estarem regionalizadas
> >> >>     por subprefeitura, como por exemplo "Construção de CEI", 
> >> estão
> >> >>     na planilha com quadro detalhado. Sempre achávamos que nessas
> >> >>     planilhas existiam muitas informações que possuiam apenas um
> >> >>     total sem a discriminação de quanto deste total iria pra cada
> >> >>     subprefeitura. Pelo que observei, pelo menos alguns projetos
> >> >>     isso não é verdade. Vejam o notebook acima no exemplo do CEI.
> >> >>
> >> >> E algumas coisas ruins:
> >> >>
> >> >>   * O número de colunas difere entre as duas planilhas.
> >> >>
> >> >>   * Algumas colunas possuem nomes distintos, por exemplo,
> >> >> 'ProjetoAtividade'
> >> >>     na planilha PLOA467BaseDados.xls é equivalente a coluna 'PA' 
> >> na
> >> >>     planilha PLOA467BaseDadosQuadroDetalhadoDaAcao.xls.
> >> >>
> >> >>   * A quantidade de detalhamento difere em cada planilha. Algums
> >> >> Projeto/Atividade's
> >> >>     hora estão mais detalhados em uma planilha, hora estão em 
> >> outra.
> >> >> Isso
> >> >>     implica que teremos que pensar melhor em como iremos realizar
> >> >>     a importação dos dados para nossos modelos de dados. Quando
> >> >> pegar as
> >> >>     informações de uma planilha e quando pegar da outra? Sim, eu
> >> >> sei,
> >> >> pegar
> >> >>     sempre da planilha com mais informações, mas isso deverá ser
> >> >> definido
> >> >>     de forma algorítmica por projeto/atividade.
> >> >>
> >> >> Sugiro fortemente que dêem uma boa lida no notebook que passei
> >> >> acima.
> >> >>
> >> >> E.
> >> >>
> >> >>
> >> >> _______________________________________________
> >> >> Gastosabertos-dev mailing list
> >> >> Gastosabertos-dev em lists.okfn.org
> >> >> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> >> > _______________________________________________
> >> > Gastosabertos-dev mailing list
> >> > Gastosabertos-dev em lists.okfn.org
> >> > https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> >>
> >> _______________________________________________
> >> Gastosabertos-dev mailing list
> >> Gastosabertos-dev em lists.okfn.org
> >> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> > _______________________________________________
> > Gastosabertos-dev mailing list
> > Gastosabertos-dev em lists.okfn.org
> > https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> 
> _______________________________________________
> Gastosabertos-dev mailing list
> Gastosabertos-dev em lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev