[okfn-br] CSV com os salários da USP

Segunda Novembro 17 00:35:43 UTC 2014

On 16/11/2014 21:53, Everton Zanella Alvarenga wrote:
> Estou tentando colocar no CSV e, ao trabalhar um pouco nos dados,
> notei que há muitos salários com valor nulo ou com valores indicando
> apenas na notação decimal.

Na verdade são 27 valores 0, mas está assim na página do infográfico da
Folha também e no CSV. Não dá pra saber o motivo.

> Exemplo, para o Renan Braz aparece 5.8 ao
> invés de 5800. O Tableau parece conseguir identificar isso.

Não consegue, ele confunde o separador de milhares ',' com '.'. Exibe
5,800 que é equivalente a 5,8. Pra ver como ele se confunde basta 
buscar
pelo primeiro nome "Renan" e vai notar que ele arredonda 5,8 pra 6.

> É preciso limpar esses dados. Coloque a coluna dos salários em ordem
> decrescente e veja as últimas 150 linhas. Dá para ver que tem coisa
> estranha aí que precisa ser ajustada, como os salários nulos ou até
> abaixo do salário mínimo, alguns casos provavelmente múltiplos de
> 1000, como o que citei acima.

Difícil saber se é só multiplicar por 10, ou 100, ou 1000. O melhor é 
não
fazer nada ou simplesmente excluir. Mas dado que são poucos dados isso
afeta minimamente os resultados. (53 apenas recebem menos que R$100 e 
99
recebem menos que um salário mínimo).

Edgar

> Em 16 de novembro de 2014 21:18, Edgar Zanella Alvarenga <e em vaz.io
> [23]> escreveu:
>
>>> Legal! =)
>>> Só acho que há um erro na última linha do código, pq 28272 de
>>> 29225 é 96,73%.
>>> 90,66% receber 90.66% do dinheiro seria perfeito demais. =P
>>
>> Valeu, tinha um erro mesmo, tinha feito a porcentam com o valor ao
>> invés do número
>> de pessoas. Vai demorar alguns minutos pra atualizar o cache do
>> link que passei, mas
>> os valores corrigidos são:
>>
>> 96.74% (28272 de 29225) recebem menos de R$24000.00, sendo que eles
>> representam 90.66% do custo da USP em salários.
>>
>> 3.26% (953 de 29225) recebem mais de R$24000.00, sendo que eles
>> representam 9.34% do custo da USP em salários.
>>
>> Edgar
>>
>>>> Edgar
>>>>
>>>> On 16/11/2014 19:07, Andres MRM wrote:
>>>>
>>>>> Boa!
>>>>>
>>>>> A USP prometeu abrir esses dados amanhã, não?
>>>>> www.usp.br/imprensa/?p=44644K [10]
>>>>> Me pergunto como a Folha pode ter aberto hoje...
>>>>>
>>>>> "Os dados foram antecipados para o jornal Folha de S. Paulo
>>>>> como cumprimento
>>>>> de determinação judicial, decorrente de processo impetrado
>>>>> pela empresa
>>>>> jornalística."
>>>>>
>>>>> Ah, agora vi.
>>>>>
>>>>> On 16-11-14 18:49, Luiz Augusto wrote:
>>>>>
>>>>>> Massa!
>>>>>>
>>>>>> Após os cliques, ele também oferece para download uma
>>>>>> "tabela de referência
>>>>>> cruzada", de nome de arquivo "tabela-nomes_crosstab.csv",
>>>>>> pesando 7Mb.
>>>>>>
>>>>>> Há algum dado "novo" nessa ou ela foi gerada
>>>>>> automaticamente pelo sistema
>>>>>> através da "tabela-nomes_data.csv" (de 4mb, espelhada no
>>>>>> seu repositório)?
>>>>>>
>>>>>> PS.: Fuçando, achei também um "salarios-usp.twbx", que é
>>>>>> basicamente um
>>>>>> .ZIP. Dei umas risadas ao dar de cara com uma subpasta
>>>>>> "Data/medalhas".
>>>>>> Medalhinha pra quem estoura o teto constitucional? rs (ok,
>>>>>> deve ser do
>>>>>> modelo que a Folha usou, mas não dava pra perder a
>>>>>> piadinha). Os arquivos
>>>>>> de dentro desse twbx/ZIP parecem ser XMLs, caso alguém
>>>>>> prefira.
>>>>>>
>>>>>> Luiz
>>>>>>
>>>>>> 2014-11-16 18:31 GMT-02:00 Edgar Zanella Alvarenga
>>>>>> <e em vaz.io [6]>:
>>>>>>
>>>>>>> Hoje a Folha liberou um infográfico contendo os salários
>>>>>>> de todos
>>>>>>> professores e
>>>>>>> funcionários da USP:
>>>>>>>
>>>>>>> http://www1.folha.uol.com.br/infograficos/2014/11/117724-
>>>>>>> [1]
>>>>>>> ranking-de-salarios-da-usp.shtml
>>>>>>>
>>>>>>> Para quem quiser os dados em csv que foram utilizados pra
>>>>>>> gerar esse
>>>>>>> infográfico,
>>>>>>> deixei disponível aqui (basta clicar em "Raw" pra
>>>>>>> baixar):
>>>>>>>
>>>>>>> https://github.com/aivuk/var/blob/master/usp-salarios/
>>>>>>> [2]
>>>>>>> tabela-nomes_data.csv
>>>>>>>
>>>>>>> A Folha utilizou o software Tableau pros infográficos, e
>>>>>>> deixaram como
>>>>>>> opção de download
>>>>>>> apenas como imagem ou pdf apenas do conteúdo que estiver
>>>>>>> visualizando na
>>>>>>> página.
>>>>>>> Após baixar todas as imagens (2239) e gastar um tempinho
>>>>>>> tentando fazer
>>>>>>> ocr descobri
>>>>>>> que se clicasse em algum local do infográfico e depois
>>>>>>> tentasse baixar os
>>>>>>> dados novamente,
>>>>>>> surgia a opção de baixar tudo em um csv. Não sei se é
>>>>>>> um bug ou feature,
>>>>>>> mas vou considerar
>>>>>>> um feature.
>>>>>>>
>>>>>>> Edgar
>>>>>>>
>>>>>>> _______________________________________________
>>>>>>> okfn-br mailing list
>>>>>>> okfn-br em lists.okfn.org [3]
>>>>>>> https://lists.okfn.org/mailman/listinfo/okfn-br [4]
>>>>>>> Unsubscribe:
>>>>>>> https://lists.okfn.org/mailman/options/okfn-br [5]
>>>>>
>>>>>> _______________________________________________
>>>>>> okfn-br mailing list
>>>>>> okfn-br em lists.okfn.org [7]
>>>>>> https://lists.okfn.org/mailman/listinfo/okfn-br [8]
>>>>>> Unsubscribe: https://lists.okfn.org/mailman/options/okfn-br
>>>>>> [9]
>>>>>
>>>>> _______________________________________________
>>>>> okfn-br mailing list
>>>>> okfn-br em lists.okfn.org [11]
>>>>> https://lists.okfn.org/mailman/listinfo/okfn-br [12]
>>>>> Unsubscribe: https://lists.okfn.org/mailman/options/okfn-br
>>>>> [13]
>>>>
>>>> _______________________________________________
>>>> okfn-br mailing list
>>>> okfn-br em lists.okfn.org [14]
>>>> https://lists.okfn.org/mailman/listinfo/okfn-br [15]
>>>> Unsubscribe: https://lists.okfn.org/mailman/options/okfn-br
>>>> [16]
>>> _______________________________________________
>>> okfn-br mailing list
>>> okfn-br em lists.okfn.org [17]
>>> https://lists.okfn.org/mailman/listinfo/okfn-br [18]
>>> Unsubscribe: https://lists.okfn.org/mailman/options/okfn-br [19]
>>
>> _______________________________________________
>> okfn-br mailing list
>> okfn-br em lists.okfn.org [20]
>> https://lists.okfn.org/mailman/listinfo/okfn-br [21]
>> Unsubscribe: https://lists.okfn.org/mailman/options/okfn-br [22]
>
> --
>
> Everton Zanella Alvarenga (also Tom)
>
> Open Knowledge Brasil - Rede pelo Conhecimento Livre
> http://br.okfn.org [24]
>
> Links:
> ------
> [1] http://www1.folha.uol.com.br/infograficos/2014/11/117724-
> [2] https://github.com/aivuk/var/blob/master/usp-salarios/
> [3] mailto:okfn-br em lists.okfn.org
> [4] https://lists.okfn.org/mailman/listinfo/okfn-br
> [5] https://lists.okfn.org/mailman/options/okfn-br
> [6] mailto:e em vaz.io
> [7] mailto:okfn-br em lists.okfn.org
> [8] https://lists.okfn.org/mailman/listinfo/okfn-br
> [9] https://lists.okfn.org/mailman/options/okfn-br
> [10] http://www.usp.br/imprensa/?p=44644K
> [11] mailto:okfn-br em lists.okfn.org
> [12] https://lists.okfn.org/mailman/listinfo/okfn-br
> [13] https://lists.okfn.org/mailman/options/okfn-br
> [14] mailto:okfn-br em lists.okfn.org
> [15] https://lists.okfn.org/mailman/listinfo/okfn-br
> [16] https://lists.okfn.org/mailman/options/okfn-br
> [17] mailto:okfn-br em lists.okfn.org
> [18] https://lists.okfn.org/mailman/listinfo/okfn-br
> [19] https://lists.okfn.org/mailman/options/okfn-br
> [20] mailto:okfn-br em lists.okfn.org
> [21] https://lists.okfn.org/mailman/listinfo/okfn-br
> [22] https://lists.okfn.org/mailman/options/okfn-br
> [23] mailto:e em vaz.io
> [24] http://br.okfn.org