[Gastosabertos-dev] Comparando informações das planilhas de planejamento 2015

[Edgar Zanella Alvarenga]

On 25/01/2015 16:47, Andres MRM wrote:
> Quoting Edgar Zanella Alvarenga (2015-01-25 16:33:01)
>> On 25/01/2015 16:19, Andres MRM wrote:
>> > Ou seja, só teremos dados de um ano, certo?
>>
>> Não Andres, como assim? Quadro detalhado possuímos de 2015,
>> mas não detalhado possuímos 2013, 2014 e 2015, pelo menos pelo
>> site:
>>
>> http://sempla.prefeitura.sp.gov.br/orcamento/proposta.html
>
> Foi exatamente isso que escrevi no meu primeiro e-mail, não?
>
> 	"Tem outro problema com esses dados, cobrem poucas datas.  O LOA é 
> só de
> 	2014, e o Quadro Detalhado só de 2015.  O Projeto de Lei tem de 
> 2013-2015,
> 	mas a regionalização é quase inexistente nessa base."

Exatamente por isso que não entendi quando disse: "Ou seja, só teremos 
dados de um ano, certo?".
Quadro detalhado sim, mas possuímos dados de diversos anos. Se 
possuímos
apenas 2015 detalhado, fica como uma ótima oportunidade de perguntar ao
pessoal do Sempla se é possível extrair os quadros detalhados de todos 
anos.

E mesmo os dados sem detalhamento regional, os dados estão agrupados 
por funções
e subfunções, então a idéia de analisarmos as diferenças por função ao 
longo dos
anos continua. Apenas não conseguiremos fazer os gráficos comparativos 
entre
subprefeituras/distritos com o grau de granularidade de 2015.

>> E pelo link que você passou:
>>
>> http://www.camara.sp.gov.br/transparencia/dados-abertos/1071-2/
>>
>> Temos as propostas até 2010. Aliás, é fantástico que aí possui
>> as emendas do orçamento junto com os autores responsáveis por elas.
>> Fiz um conversor pra esses xmls pra criar csv e dataframes do 
>> pandas:
>>
>> 
>> https://github.com/okfn-brasil/gastos_abertos_dados/blob/master/utils/convert_xml.py
>
> Eu tinha feito algo próximo a isso quando extraindo os dados da 
> receita via
> Câmara:
> https://github.com/okfn-brasil/gastos_abertos/tree/master/src/tool

Pô, Pandas é seu amigo, vai salvá-lo do perigo! ;^)

>> E testando com o xml de emendas de 2014 mais o xml do autores delas,
>> pareceu funcionar. Só preciso entender a interpretar algumas linhas
>> das emendas que possuem quase todos os campos vazios, e com id da
>> emenda
>> igual a da linha anterior.
>>
>> Precisamos verificar se os xml dos dados do orçamento convertidos
>> possuem
>> os mesmos dados do quadro detalhado.
>>
>> E.
>>
>> > Quoting Edgar Zanella Alvarenga (2015-01-25 16:08:27)
>> >> On 25/01/2015 08:23, Andres MRM wrote:
>> >>
>> >> > Tem outro problema com esses dados, cobrem poucas datas.
>> >> > O LOA é só de 2014, e o Quadro Detalhado só de 2015.
>> >>
>> >> O LOA de 2014 refere-se ao Quadro Detalhado de 2015.
>> >>
>> >> > O Projeto de Lei tem de 2013-2015, mas a regionalização é quase
>> >> > inexistente
>> >> > nessa base.
>> >>
>> >> Sim, mas como comentei, a regionalização vamos tirar do Quadro
>> >> Detalhado
>> >> que é onde existe tais informações.
>> >>
>> >> > Quoting Edgar Zanella Alvarenga (2015-01-24 23:16:34)
>> >> >> Fiz algumas comparações das duas planilhas de planejamento que
>> >> >> iremos utilizar antes de iniciar o processo de criar os 
>> modelos
>> >> >> de dados.
>> >> >>
>> >> >>
>> >> >>
>> >> 
>> http://nbviewer.ipython.org/github/okfn-brasil/gastos_abertos_dados/blob/master/notebooks/Comparando%20dados%20de%20planejamento.ipynb
>> >> >>
>> >> >> Descobri algumas coisas boas:
>> >> >>
>> >> >>   * O valor total em projetos é consistente nas duas planilhas
>> >> >>
>> >> >>   * Descobri que coisas que pensávamos não estarem 
>> regionalizadas
>> >> >>     por subprefeitura, como por exemplo "Construção de CEI",
>> >> estão
>> >> >>     na planilha com quadro detalhado. Sempre achávamos que 
>> nessas
>> >> >>     planilhas existiam muitas informações que possuiam apenas 
>> um
>> >> >>     total sem a discriminação de quanto deste total iria pra 
>> cada
>> >> >>     subprefeitura. Pelo que observei, pelo menos alguns 
>> projetos
>> >> >>     isso não é verdade. Vejam o notebook acima no exemplo do 
>> CEI.
>> >> >>
>> >> >> E algumas coisas ruins:
>> >> >>
>> >> >>   * O número de colunas difere entre as duas planilhas.
>> >> >>
>> >> >>   * Algumas colunas possuem nomes distintos, por exemplo,
>> >> >> 'ProjetoAtividade'
>> >> >>     na planilha PLOA467BaseDados.xls é equivalente a coluna 
>> 'PA'
>> >> na
>> >> >>     planilha PLOA467BaseDadosQuadroDetalhadoDaAcao.xls.
>> >> >>
>> >> >>   * A quantidade de detalhamento difere em cada planilha. 
>> Algums
>> >> >> Projeto/Atividade's
>> >> >>     hora estão mais detalhados em uma planilha, hora estão em
>> >> outra.
>> >> >> Isso
>> >> >>     implica que teremos que pensar melhor em como iremos 
>> realizar
>> >> >>     a importação dos dados para nossos modelos de dados. 
>> Quando
>> >> >> pegar as
>> >> >>     informações de uma planilha e quando pegar da outra? Sim, 
>> eu
>> >> >> sei,
>> >> >> pegar
>> >> >>     sempre da planilha com mais informações, mas isso deverá 
>> ser
>> >> >> definido
>> >> >>     de forma algorítmica por projeto/atividade.
>> >> >>
>> >> >> Sugiro fortemente que dêem uma boa lida no notebook que passei
>> >> >> acima.
>> >> >>
>> >> >> E.
>> >> >>
>> >> >>
>> >> >> _______________________________________________
>> >> >> Gastosabertos-dev mailing list
>> >> >> Gastosabertos-dev em lists.okfn.org
>> >> >> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
>> >> > _______________________________________________
>> >> > Gastosabertos-dev mailing list
>> >> > Gastosabertos-dev em lists.okfn.org
>> >> > https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
>> >>
>> >> _______________________________________________
>> >> Gastosabertos-dev mailing list
>> >> Gastosabertos-dev em lists.okfn.org
>> >> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
>> > _______________________________________________
>> > Gastosabertos-dev mailing list
>> > Gastosabertos-dev em lists.okfn.org
>> > https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
>>
>> _______________________________________________
>> Gastosabertos-dev mailing list
>> Gastosabertos-dev em lists.okfn.org
>> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev
> _______________________________________________
> Gastosabertos-dev mailing list
> Gastosabertos-dev em lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/gastosabertos-dev