[Gastosabertos-dev] Comparando informações das planilhas de planejamento 2015

[Edgar Zanella Alvarenga]

On 25/01/2015 16:19, Andres MRM wrote:
> Ou seja, só teremos dados de um ano, certo?

Não Andres, como assim? Quadro detalhado possuímos de 2015,
mas não detalhado possuímos 2013, 2014 e 2015, pelo menos pelo
site:

http://sempla.prefeitura.sp.gov.br/orcamento/proposta.html

E pelo link que você passou:

http://www.camara.sp.gov.br/transparencia/dados-abertos/1071-2/

Temos as propostas até 2010. Aliás, é fantástico que aí possui
as emendas do orçamento junto com os autores responsáveis por elas.
Fiz um conversor pra esses xmls pra criar csv e dataframes do pandas:

https://github.com/okfn-brasil/gastos_abertos_dados/blob/master/utils/convert_xml.py

E testando com o xml de emendas de 2014 mais o xml do autores delas,
pareceu funcionar. Só preciso entender a interpretar algumas linhas
das emendas que possuem quase todos os campos vazios, e com id da 
emenda
igual a da linha anterior.

Precisamos verificar se os xml dos dados do orçamento convertidos 
possuem
os mesmos dados do quadro detalhado.

E.

> Quoting Edgar Zanella Alvarenga (2015-01-25 16:08:27)
>> On 25/01/2015 08:23, Andres MRM wrote:
>>
>> > Tem outro problema com esses dados, cobrem poucas datas.
>> > O LOA é só de 2014, e o Quadro Detalhado só de 2015.
>>
>> O LOA de 2014 refere-se ao Quadro Detalhado de 2015.
>>
>> > O Projeto de Lei tem de 2013-2015, mas a regionalização é quase
>> > inexistente
>> > nessa base.
>>
>> Sim, mas como comentei, a regionalização vamos tirar do Quadro
>> Detalhado
>> que é onde existe tais informações.
>>
>> > Quoting Edgar Zanella Alvarenga (2015-01-24 23:16:34)
>> >> Fiz algumas comparações das duas planilhas de planejamento que
>> >> iremos utilizar antes de iniciar o processo de criar os modelos
>> >> de dados.
>> >>
>> >>
>> >> 
>> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Comparando%20dados%20de%20planejamento.ipynb
>> >>
>> >> Descobri algumas coisas boas:
>> >>
>> >>   * O valor total em projetos é consistente nas duas planilhas
>> >>
>> >>   * Descobri que coisas que pensávamos não estarem regionalizadas
>> >>     por subprefeitura, como por exemplo "Construção de CEI", 
>> estão
>> >>     na planilha com quadro detalhado. Sempre achávamos que nessas
>> >>     planilhas existiam muitas informações que possuiam apenas um
>> >>     total sem a discriminação de quanto deste total iria pra cada
>> >>     subprefeitura. Pelo que observei, pelo menos alguns projetos
>> >>     isso não é verdade. Vejam o notebook acima no exemplo do CEI.
>> >>
>> >> E algumas coisas ruins:
>> >>
>> >>   * O número de colunas difere entre as duas planilhas.
>> >>
>> >>   * Algumas colunas possuem nomes distintos, por exemplo,
>> >> 'ProjetoAtividade'
>> >>     na planilha PLOA467BaseDados.xls é equivalente a coluna 'PA' 
>> na
>> >>     planilha PLOA467BaseDadosQuadroDetalhadoDaAcao.xls.
>> >>
>> >>   * A quantidade de detalhamento difere em cada planilha. Algums
>> >> Projeto/Atividade's
>> >>     hora estão mais detalhados em uma planilha, hora estão em 
>> outra.
>> >> Isso
>> >>     implica que teremos que pensar melhor em como iremos realizar
>> >>     a importação dos dados para nossos modelos de dados. Quando
>> >> pegar as
>> >>     informações de uma planilha e quando pegar da outra? Sim, eu
>> >> sei,
>> >> pegar
>> >>     sempre da planilha com mais informações, mas isso deverá ser
>> >> definido
>> >>     de forma algorítmica por projeto/atividade.
>> >>
>> >> Sugiro fortemente que dêem uma boa lida no notebook que passei
>> >> acima.
>> >>
>> >> E.
>> >>
>> >>
>> >> _______________________________________________
>> >> Gastosabertos-dev mailing list
>> >> Gastosabertos-dev em lists.okfn.org
>> >> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
>> > _______________________________________________
>> > Gastosabertos-dev mailing list
>> > Gastosabertos-dev em lists.okfn.org
>> > https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
>>
>> _______________________________________________
>> Gastosabertos-dev mailing list
>> Gastosabertos-dev em lists.okfn.org
>> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> _______________________________________________
> Gastosabertos-dev mailing list
> Gastosabertos-dev em lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev