[Gastosabertos] [thackday] salários do governo

Terça Janeiro 19 18:40:34 UTC 2016

Discussão interessante.

Carlos Andrade
http://carlosandrade.co
----------------------------------
http://gastosabertos.org

2016-01-19 8:22 GMT-10:00 Chico Venancio <chicocvenancio em gmail.com>:

> O scrappy <http://doc.scrapy.org/>não pode ajudar nesse processo? Vi que
> um pessoal usou ele no peru <https://github.com/aniversarioperu/scrapy_pj>
> para um sistema semelhante
> <http://jurisprudencia.pj.gob.pe/jurisprudenciaweb/faces/page/resolucion-busqueda-general.xhtml>
> (menos o captcha).
>
> Chico Venancio
> CEO e Diretor de Criação
> VM TECH - (98) 9 8800 2743
>
> Em 19 de janeiro de 2016 15:05, Mario Mol <mariohmol em gmail.com> escreveu:
>
>> pra te ser sincero eu vejo o captcha como o menor problema..
>>
>> o lance q o jsf ele trabalha com viewstate.. entao vc nao consegue
>> simplesmente acessar uma url.. c oc pegar a url gerada pra exibir a
>> remuneracao e passar pra outra maquina.. vai dar erro..
>>
>> ou seja.. vc pode ate fazer o processo de captcha manual.. e fazer a
>> pesquisa q lista a tabela inteira.. dai em diante o robo teria q fazer o
>> clique link a link.. pagina a pagina.. como se fosse uma pessoa .. e
>> capturando os dados
>>
>>
>>
>>
>> 2016-01-19 16:02 GMT-02:00 Gustavo Villalta <gvillalta99 em gmail.com>:
>>
>>> Olá Manuela e Mário,
>>>
>>> O site http://www.consultaremuneracao.rj.gov.br/pages/welcome.jsf tem
>>> um Captcha, sabe aquela foto com letrinhas que alguns sites pedem pra você
>>> responder para confirmar que não é um robô. Então, além do problema de
>>> fazer um crawler/scrapper pra pegar as informações você teria que usar
>>> alguma ferramenta pra passar por esse verificador. É um problema bem
>>> complicado e vai dar um gasto a mais pra passar por isso.
>>>
>>> Att.
>>>
>>> Gustavo de Oliveira Villalta
>>>
>>>
>>> 2016-01-19 11:41 GMT-02:00 Mario Mol <mariohmol em gmail.com>:
>>>
>>>>
>>>> A justificativa deles nao está de acordo com a LAI. pq eles nao
>>>> disponibilizam em formato aberto (uma planilha q seja)
>>>>
>>>> Ai.. esses apps em java (jsf) sao bem malas pra fazer scrapping..
>>>> seplag sendo seplag....
>>>>
>>>> vc tem q simular um usuario indo pagina a pagina.. usando um selenium
>>>> da vida.. e mesmo assim fazer algumas magicas pra iterar nos links usando
>>>> seus geradores de id malucos para elementos..
>>>>
>>>> enfim.. c vai precisar de um dev ninja com horas vagas...
>>>>
>>>> a causa é linda..gostaria muito de poder ajudar.. mas to num momento
>>>> critico =(
>>>>
>>>> abs
>>>>
>>>>
>>>>
>>>> 2016-01-18 10:48 GMT-02:00 Manuela Andreoni <manuelaandreoni em gmail.com>
>>>> :
>>>>
>>>>> Oi, pessoal,
>>>>>
>>>>> Esta é minha estreia aqui na lista (já observo há um tempo, mas nunca
>>>>> participei de fato), então me perdoem se a pergunta for boba.
>>>>>
>>>>> Sou jornalista e estou tentando conseguir informações sobre os
>>>>> salários de todos os servidores públicos do estado do Rio de Janeiro.
>>>>> Estou, claro, pedindo a informação pela LAI, mas o caminho tem sido lento.
>>>>> Muitas secretarias justificam a negativa ao meu pedido, dizendo que os
>>>>> salários já estão disponíveis aqui:
>>>>> http://www.consultaremuneracao.rj.gov.br/pages/welcome.jsf
>>>>>
>>>>> No link, o governo disponibiliza as informações sobre os salários dos
>>>>> servidores, desde que o cidadão saiba o nome completo e o CPF de cada
>>>>> servidor. Aí, o cidadão pode consultar um por um.
>>>>>
>>>>> Queria saber se existe alguma forma de montar um software para que,
>>>>> tendo a lista de todos os nomes e CPFs, eu consiga consultar tudo
>>>>> automaticamente.
>>>>>
>>>>> É isso. Qualquer dica é válida!
>>>>>
>>>>> Abraços,
>>>>>
>>>>> --
>>>>> Manuela Andreoni
>>>>> +55 (21) 991-564-336
>>>>>
>>>>> --
>>>>> Você recebeu essa mensagem porque está inscrito no grupo
>>>>> "Transparência Hacker" dos Grupos do Google.
>>>>> Para cancelar inscrição nesse grupo e parar de receber e-mails dele,
>>>>> envie um e-mail para thackday+unsubscribe em googlegroups.com.
>>>>> Para postar nesse grupo, envie um e-mail para
>>>>> thackday em googlegroups.com.
>>>>> Acesse esse grupo em https://groups.google.com/group/thackday.
>>>>> Para ver essa discussão na Web, acesse
>>>>> https://groups.google.com/d/msgid/thackday/CAC0Y-zZkBzwg8N-FXFHBxdDMrmK%2BuSknE3XVfPuceNPoM%2BhTDA%40mail.gmail.com
>>>>> <https://groups.google.com/d/msgid/thackday/CAC0Y-zZkBzwg8N-FXFHBxdDMrmK%2BuSknE3XVfPuceNPoM%2BhTDA%40mail.gmail.com?utm_medium=email&utm_source=footer>
>>>>> .
>>>>> Para mais opções, acesse https://groups.google.com/d/optout.
>>>>>
>>>>
>>>> --
>>>> Você recebeu essa mensagem porque está inscrito no grupo "Transparência
>>>> Hacker" dos Grupos do Google.
>>>> Para cancelar inscrição nesse grupo e parar de receber e-mails dele,
>>>> envie um e-mail para thackday+unsubscribe em googlegroups.com.
>>>> Para postar nesse grupo, envie um e-mail para thackday em googlegroups.com
>>>> .
>>>> Acesse esse grupo em https://groups.google.com/group/thackday.
>>>> Para ver essa discussão na Web, acesse
>>>> https://groups.google.com/d/msgid/thackday/CAGOV_-z3okb%2BP52uw%3D55M8dL5-CaxK%3DS7GwRV_UU0hwnLVw4_A%40mail.gmail.com
>>>> <https://groups.google.com/d/msgid/thackday/CAGOV_-z3okb%2BP52uw%3D55M8dL5-CaxK%3DS7GwRV_UU0hwnLVw4_A%40mail.gmail.com?utm_medium=email&utm_source=footer>
>>>> .
>>>>
>>>> Para mais opções, acesse https://groups.google.com/d/optout.
>>>>
>>>
>>> --
>>> Você recebeu essa mensagem porque está inscrito no grupo "Transparência
>>> Hacker" dos Grupos do Google.
>>> Para cancelar inscrição nesse grupo e parar de receber e-mails dele,
>>> envie um e-mail para thackday+unsubscribe em googlegroups.com.
>>> Para postar nesse grupo, envie um e-mail para thackday em googlegroups.com.
>>> Acesse esse grupo em https://groups.google.com/group/thackday.
>>> Para ver essa discussão na Web, acesse
>>> https://groups.google.com/d/msgid/thackday/CAE_zdHX0w90uqCYcWqUDiOE1tW_TE7RmrGgGCw9gjvUr6EXpjQ%40mail.gmail.com
>>> <https://groups.google.com/d/msgid/thackday/CAE_zdHX0w90uqCYcWqUDiOE1tW_TE7RmrGgGCw9gjvUr6EXpjQ%40mail.gmail.com?utm_medium=email&utm_source=footer>
>>> .
>>> Para mais opções, acesse https://groups.google.com/d/optout.
>>>
>>
>> --
>> Você recebeu essa mensagem porque está inscrito no grupo "Transparência
>> Hacker" dos Grupos do Google.
>> Para cancelar inscrição nesse grupo e parar de receber e-mails dele,
>> envie um e-mail para thackday+unsubscribe em googlegroups.com.
>> Para postar nesse grupo, envie um e-mail para thackday em googlegroups.com.
>> Acesse esse grupo em https://groups.google.com/group/thackday.
>> Para ver essa discussão na Web, acesse
>> https://groups.google.com/d/msgid/thackday/CAGOV_-y3mwvMca9pwGCOGwyvs9XJRA-S38F_rnPDXRqD76hq-w%40mail.gmail.com
>> <https://groups.google.com/d/msgid/thackday/CAGOV_-y3mwvMca9pwGCOGwyvs9XJRA-S38F_rnPDXRqD76hq-w%40mail.gmail.com?utm_medium=email&utm_source=footer>
>> .
>>
>> Para mais opções, acesse https://groups.google.com/d/optout.
>>
>
> --
> Você recebeu essa mensagem porque está inscrito no grupo "Transparência
> Hacker" dos Grupos do Google.
> Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie
> um e-mail para thackday+unsubscribe em googlegroups.com.
> Para postar nesse grupo, envie um e-mail para thackday em googlegroups.com.
> Acesse esse grupo em https://groups.google.com/group/thackday.
> Para ver essa discussão na Web, acesse
> https://groups.google.com/d/msgid/thackday/CAEpx-0XCRSjaPOWwVFtVkfWBo81rH8hrDJbu_kTh_BqSLhHuJg%40mail.gmail.com
> <https://groups.google.com/d/msgid/thackday/CAEpx-0XCRSjaPOWwVFtVkfWBo81rH8hrDJbu_kTh_BqSLhHuJg%40mail.gmail.com?utm_medium=email&utm_source=footer>
> .
>
> Para mais opções, acesse https://groups.google.com/d/optout.
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://lists.okfn.org/pipermail/gastosabertos/attachments/20160119/0bbc5613/attachment-0002.html>