[okfn-br] Experiência na implantação do CKAN 2.0 para o portal de dados abertos do Recife

Sexta Setembro 6 02:05:28 UTC 2013

Meus parabéns Marconi, foi um belo exemplo e lição para todos nós.
Aproveitando, no portal da transparência ficou faltando dispor sob formato
'csv'

Obrigado, Rafael Cavalcanti
@faelcavalcanti

2013/9/5 Nitai B. Silva <nitaibezerra em gmail.com>

> Chegando atrasado na trédi..
>
> Parabéns, Marconi. Seu post esclarece muitas dúvidas fundamentais.
>
> Aproveito para compartilhar com o GT3 da INDA.
>
> Como comunidade vejo uma oportunidade muito grande de levar essa
> experiência para outros governos. Principalmente para governos locais, que
> apresentam características técnicas e políticas semelhantes.
>
> []s
> Nitai
>
>
> 2013/8/29 Marconi Clementino <marconix16 em gmail.com>
>
>> Jonas, a Bernadette vai escrever um post/publicação e vai utilizar parte
>> do meu texto. Estou vendo com Everton, a possibilidade de dar mais detalhes
>> técnicos no texto para ser publicado no Blog OKFN em inglês.
>>
>>
>> Em 29 de agosto de 2013 15:15, Jonas Xavier <jonas.agx em gmail.com>escreveu:
>>
>>> Ótima descrição, Marconi!
>>>
>>>
>>> Sobre os problemas de instalação no CentOS, você poderia descrever
>>> cada um e dizer como resolveu? Eu imagino que outros grupos podem
>>> passar por problemas semelhantes. Não sei qual o melhor local, o
>>> repositório https://github.com/okfn/ckan/ parece mais acolhedor.
>>>
>>> Outra dúvida: onde você publicou/publicará esse artigo?
>>>
>>> Jonas
>>>
>>> On 29/08/2013, Marconi Clementino <marconix16 em gmail.com> wrote:
>>> > *Experiência na implantação do CKAN 2.0 para o portal de dados abertos
>>> do
>>> > Recife na EMPREL – Empresa Municipal de Informática do Recife*
>>> >
>>> > Olá, como é de interesse de alguns, venho por meio deste e-mail,
>>> descrever
>>> > a experiência que tive na instalação do CKAN para o portal de dados
>>> abertos
>>> > do Recife. Segue o relato:
>>> >
>>> > *Portal:* http://dados.recife.pe.gov.br/
>>> >
>>> >
>>> > *O Teste*
>>> >
>>> >    Como era uma das metas da prefeitura, a abertura de dados do
>>> município,
>>> > o departamento de inovação da EMPREL me solicitou que instalasse a
>>> > ferramenta CKAN para testarmos. Até o momento nunca tinha ouvido falar
>>> da
>>> > mesma, e meu conhecimento sobre dados abertos também era nulo.
>>> >
>>> >    Entrei no site, e segui a documentação de instalação “latest”
>>> (versão
>>> > 2.2a). Como o guia padrão de instalação era para Ubuntu, sistema que
>>> > utilizo no ambiente de trabalho, instalei na minha própria máquina.
>>> > Começamos os testes e notei que não tinha a visualização em grid do
>>> live
>>> > demo do site do CKAN. Também percebemos que a internacionalização
>>> estava
>>> > incompleta naquela versão, pois navegando por páginas do portal
>>> > identificamos muitas falhas na tradução para o português(alguns
>>> elementos
>>> > não estavam traduzidos). Daí percebemos que teríamos muito trabalho na
>>> > correção destes detalhes. Na versão 2.0 os problemas de tradução são
>>> > mínimos.
>>> >
>>> >
>>> > *Aprovação e instalação nos servidores da EMPREL*
>>> >
>>> >    Após os testes, foi solicitado ao departamento de infraestrutura, a
>>> > instalação do CKAN em um dos servidores no ambiente operativo. Passei o
>>> > link da documentação de instalação do CKAN 2.0(que pelo meu
>>> entendimento,
>>> > era a última estável) para os responsáveis, e já surgiu o primeiro
>>> > problema: não tinham experiência no ambiente Python, e o servidor
>>> > recomendado para instalação era o Ubuntu. O departamento, em questão de
>>> > linux, só tem experiência/treinamento em servidores Red Hat e CentOS, e
>>> > preferem não comprometerem com outras distribuições. Recomendei a
>>> > documentação para instalação no CentOS.
>>> >
>>> >    Após algumas semanas e várias tentativas do departamento(neste
>>> período
>>> > estava no curso de dados abertos ministrado por Bernadette), chegaram a
>>> > conclusão de que não funcionava no CentOS, e que não era possível ter o
>>> > CKAN no ambiente da empresa. Com isto dito, pedi um dia para fazer uma
>>> > tentativa. Na dia seguinte tinha o CKAN 2.0 instalado em um CentOS em
>>> uma
>>> > máquina virtual no meu desktop.
>>> >
>>> >    Após a prova do funcionamento, me disponibilizaram uma máquina
>>> CentOS
>>> > recém instalada e autorização de root. Instalei o CKAN e copiamos para
>>> > termos dois ambientes(desenvolvimento e produção).
>>> >
>>> >
>>> > *Conexões de banco de dados*
>>> >
>>> >    Após a instalação, o departamento de banco de dados questionou o
>>> grande
>>> > número de conexões abertas pelo CKAN, percebi que a documentação de
>>> > instalação deixava duas instâncias rodando, modificando isto, o número
>>> já
>>> > caiu pela metade, mas mesmo assim, a quantidade de conexões abertas
>>> ficavam
>>> > entre 8 e 12, e isto não era o habitual entre os sistemas da Emprel.
>>> Tive
>>> > que estudar sobre o SQLAlchemy(utilizado pelo CKAN) para poder explicar
>>> > cada uma das conexões a DBA responsável pelo banco. Ela entendeu e
>>> percebeu
>>> > que este número não sobrecarregava nosso servidor PostgreSQL.
>>> >
>>> >
>>> > *Personalização*
>>> >
>>> >    Após o ambiente montado, a diretoria da EMPREL sugeriu que o portal
>>> de
>>> > dados abertos tivesse a aparência/identidade visual parecida com a do
>>> > portal da transparência(http://portaltransparencia.recife.pe.gov.br).
>>> > Identifiquei o arquivo css responsável pela aparência do CKAN e
>>> pesquisei
>>> > referências a ele dentro do projeto, com isto adicionei o tema
>>> > “recife”(cópia do padrão do CKAN) e comecei a personalização da
>>> aparência.
>>> >
>>> >    Antes de ir a produção, surgiu a necessidade de remover a
>>> funcionalidade
>>> > de registro de usuário externos. Então tive que pesquisar como remover
>>> esta
>>> > funcionalidade. Com estas pesquisas fui conhecendo a arquitetura do
>>> > sistema.
>>> >
>>> >    A primeira vez que tive que programar foi na adição da página de
>>> > contato, era uma necessidade, e o CKAN não vem com esta funcionalidade.
>>> >
>>> >    Dentro dos pacotes do CKAN criei o controlador “recife” e passei a
>>> > desenvolver as novas funcionalidades dentro dele. Sobre a questão de
>>> CMS,
>>> > não utilizamos nenhum, todas as páginas adicionadas estão dentro da
>>> > arquitetura do CKAN.
>>> >
>>> > Segue uma breve lista das modificações que fizemos:
>>> >
>>> >    -
>>> >
>>> >    Criação do tema Recife
>>> >    -
>>> >
>>> >    Modificações de páginas de layout(cabeçalho e rodapé)
>>> >    -
>>> >
>>> >    Criação e adição da página de contato com validação de formulário
>>> >    -
>>> >
>>> >    Adição e configuração de plugins e serviços para habilitação de:
>>> >       - Visualização de dados de CSV
>>> >       -  API de pesquisa(datastore)
>>> >       - Visualização de dados geográficos
>>> >       - Google Analytics
>>> >    -
>>> >
>>> >    Página de comentários por Conjunto de Dados com o uso do Disqus(ex:
>>> >    http://dados.recife.pe.gov.br/dataset/comments/area-urbana)
>>> >    -
>>> >
>>> >    Criação da página de aplicativos baseada na página de “related”, os
>>> >    aplicativos foram cadastrados apenas no ambiente de desenvolvimento
>>> por
>>> >    enquanto, em breve serão lançados e haverá um link na página
>>> principal.
>>> >    Página de aplicativos: http://dados.recife.pe.gov.br/apps (segue
>>> imagens
>>> >    em anexo)
>>> >
>>> > *
>>> > Considerações finais*
>>> >
>>> >    A pesar de nunca ter trabalhado com Python, com a minha experiência
>>> em
>>> > desenvolvimento web(dentre elas, o PHP foi o mais importante), o
>>> > entendimento necessário da arquitetura e do código fonte do CKAN foi
>>> > bastante rápido. Com a documentação disponível e as listas de
>>> discussões
>>> > OKFN todas as dúvidas foram sanadas.
>>> >
>>> >    Existe uma frente na empresa que deseja utilizar o DKAN,
>>> justificando
>>> > que já tem experiência suficiente com o Drupal, mas pessoalmente eu
>>> > discordo, gostei do que vi e aprendi neste processo de aprendizado com
>>> o
>>> > CKAN.
>>> >
>>> >    O próximo passo da EMPREL é a automação de carga dos recursos
>>> através
>>> > das APIs disponibilizadas pelo CKAN.
>>> >
>>> >
>>> > Muito obrigado pela atenção, e qualquer dúvida, estou a disposição.
>>> >
>>> > --
>>> > Atenciosamente,
>>> >
>>> > Marconi Clementino de Oliveira
>>> > Analista de Sistemas - DSI - EMPREL
>>> > Celular: +55 81 8719-1703
>>> >
>>> > --
>>> > Você está recebendo esta mensagem porque se inscreveu no grupo "Dados
>>> > Abertos PE" dos Grupos do Google.
>>> > Para cancelar a inscrição neste grupo e parar de receber seus e-mails,
>>> envie
>>> > um e-mail para lista-dadosabertospe-gt+unsubscribe em googlegroups.com.
>>> > Para obter mais opções, acesse
>>> https://groups.google.com/groups/opt_out.
>>> >
>>>
>>> _______________________________________________
>>> okfn-br mailing list
>>> okfn-br em lists.okfn.org
>>> http://lists.okfn.org/mailman/listinfo/okfn-br
>>> Unsubscribe: http://lists.okfn.org/mailman/options/okfn-br
>>>
>>
>>
>>
>> --
>> Atenciosamente,
>>
>> Marconi Clementino de Oliveira
>> Analista de Sistemas - DSI - EMPREL
>> Celular: +55 81 8719-1703
>>
>> --
>> Você está recebendo esta mensagem porque se inscreveu no grupo "Dados
>> Abertos PE" dos Grupos do Google.
>> Para cancelar a inscrição neste grupo e parar de receber seus e-mails,
>> envie um e-mail para lista-dadosabertospe-gt+unsubscribe em googlegroups.com
>> .
>> Para obter mais opções, acesse https://groups.google.com/groups/opt_out.
>>
>
>  --
> Você está recebendo esta mensagem porque se inscreveu no grupo "Dados
> Abertos PE" dos Grupos do Google.
> Para cancelar a inscrição neste grupo e parar de receber seus e-mails,
> envie um e-mail para lista-dadosabertospe-gt+unsubscribe em googlegroups.com.
> Para obter mais opções, acesse https://groups.google.com/groups/opt_out.
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://lists.okfn.org/pipermail/okfn-br/attachments/20130905/61976ecd/attachment-0003.html>