[okfn-br] [thackday] Re: API para o Dicionário Livre da Hedra

Quarta Março 13 19:22:58 UTC 2013

2013/3/13 Jorge Sallum <jorge em hedra.com.br>

> Caros, temos interesse em continuar fornecendo os dumps, mas podemos
> reestruturá-los, uma vez que atualmente trabalhamos direto nos arquivos em
> LaTeX, e não há nada que um script bem bolado não resolva nesse caso. Mas
> me preocupo mais com a inserção de outras bases. Talvez uma API clara para
> inserção de arquivos em csv (com uma checagem humana dos campos antes do
> input na base) seja algo muito simples e convidativo para acadêmicos
> (também para output!). Para um dicionário realmente ser aberto ele tem que
> aceitar colaborações e até críticas, poder ter forks etc. Daí uma discussão
> por padrão que vai muito além da Hedra.
> **
>

Se trabalharmos com Full text Search, nem precisamos importar, apenas
indexar!

> *Editora Hedra*
> Rua Fradique Coutinho, 1139 subsolo
> Vila Madalena, São Paulo-SP
> 01654-011 Brasil
> +11-3097-8304
>
>
>
>
> Em 13 de março de 2013 09:55, Duke <duke em riseup.net> escreveu:
>
> Markun esse dump da base deles vai ser atualizado? Eles vão ficar mandando
>> um arquivo ou algo assim?
>>
>> O SQLAlchemy é bom para evitar essas esses selects na mão do import.py
>> como o server usa mongo não precisa dele lá, mas penso ser importante ter o
>> cache, nem que for para fazer cache da request pra evitar chegar no banco.
>>
>> Markun por que ta usando o mongodb? (Acho que pela complexidade de salvar
>> os dados em um banco relacional)
>>
>>
>> Duke
>>
>>
>>
>>
>> Pedro Markun <pedro em esfera.mobi> wrote:
>>
>> Opa,
>>
>> eu não estava pensando muito em relacionar palavras não. Em um primeiro
>> momento eu só queria mesmo disponibilizar as entradas do dicionário em
>> formato aberto.
>>
>> Eu justamente estou querendo evitar esquemas multidimensionais :)
>>
>> abs,
>> Pedro Markun
>>
>> 2013/3/13 Thiago Rondon <thiago.rondon em gmail.com>
>>
>>>
>>> Pedro,
>>>
>>> Eu não entendi exatamente o que você quer fazer, mas se é para tornar
>>> isto uma API e manter estes dados persistentes, acredito que há algumas
>>> maneiras mais eficientes de se fazer isto, para facilitar o desenvolvimento
>>> tem um ORM excelente para Python, o SQLAlchemy. E o interessante do Python
>>> é que ele tem suporte a dicionários nativos, então o trabalho de um ORM
>>> para este caso é  "syntax sugar".
>>>
>>> Desta maneira, você pode jogar um dicionário e criar um esquema que você
>>> pode relacionar todas as "propriedades" de cada "palavra" entre eles,
>>> economizando recursos e oferecendo mais opções de consumo na API. Eu
>>> recomendaria um esquema multidimensional para o banco de dados, como
>>> snowflake (star, ..).
>>>
>>> Na minha opinião, se for para jogar isto em "cache" em alguma camada, o
>>> memcached/redis me parece uma saída melhor do que o mongodb.
>>>
>>> Meus centavos,
>>>
>>> Abs!
>>> -Thiago Rondon
>>>
>>>
>>> On Tuesday, March 12, 2013 at 8:51 PM, Pedro Markun wrote:
>>> > Duke,
>>> >
>>> > acabei de subir aqui um v0 feito nas coxas só pra inspirar:
>>> >
>>> >
>>> https://github.com/pmarkun/minidicionario-hedra-api/blob/master/server.py
>>> >
>>> > É basicamente um wrapper em Flask que acessa o MongoDB e cospe o json
>>> resultante...
>>> >
>>> > O import.py faz a transação entre o banco MySQL e os documentos do
>>> Mongo... assim que tiver tempo vou trabalhar em colocar o resto das
>>> informações disponíveis no MySQL no Banco.
>>> >
>>> > Aqui o exemplo de retorno:
>>> >
>>> > http://apps.thacker.com.br/dicionario/palavra/hacker
>>> >
>>> > Btw, o Jorge - da Hedra - me mandou uma msg agora pouco feliz com a
>>> história e dizendo que deviamos pensar em algum tipo de padrão pra retorno
>>> de dicionários... pq a Hedra tem outros além desse. Alguém sabe de algum
>>> padrão nesse sentido?
>>> >
>>> > abs,
>>> > Pedro Markun
>>> >
>>> > 2013/3/12 Duke Khaos <duke.m16 em gmail.com (mailto:duke.m16 em gmail.com)>
>>> > > Fico no aguardo do link para a documentação para colaborar e
>>> qualquer coisa ajudo subir a app no S3 ou no server THacker
>>> > > Abraços,
>>> > > Duke
>>> > > On 12 Mar 2013 18:58, "Everton Zanella Alvarenga" <
>>> everton.alvarenga em okfn.org (mailto:everton.alvarenga em okfn.org)> wrote:
>>> > > > Pedro,
>>> > > >
>>> > > > você resolveu ignorar minha proposta porque alguém não concordou
>>> com
>>> > > > você? Como falei, quero fazer uma análise de custo de um Amazon
>>> EC2,
>>> > > > até mesmo para aprender a mexer no negócio. :) E isso será muito
>>> útil
>>> > > > para várias pessoas que resolverem subir uma máquina por si mesmos.
>>> > > > Até hoje me arrependo de não ter documentado como configuramos o
>>> > > > servidor do stoa.usp.br (http://stoa.usp.br) numa super máquina
>>> usando ambientes virtuais.
>>> > > > Precisei depois de anos, mas esqueci como o time tinha feito (mas
>>> na
>>> > > > época era só subversion e não tinha coisa legal como o github). E
>>> > > > nessa sua proposta em particular poderá servir para melhorar a
>>> > > > documentação que o Rondon começou - tenho que pegar o link depois.
>>> > > >
>>> > > > Acho importante levantar a questão da licença, mas se surgiu um
>>> > > > projeto bacana com a editora, por que não? ;)
>>> > > >
>>> > > > Tom
>>> > > >
>>> > > > Em 12 de março de 2013 17:57, Pedro Markun <pedro em esfera.mobi(mailto:
>>> pedro em esfera.mobi)> escreveu:
>>> > > > > Nhé,
>>> > > > >
>>> > > > > ok. A gente hospeda na THacker mesmo então :)
>>> > > > >
>>> > > > > abs,
>>> > > > > Pedro Markun
>>> > > > >
>>> > > > >
>>> > > > > 2013/3/12 Alexandre Hannud Abdo <abdo em member.fsf.org (mailto:
>>> abdo em member.fsf.org)>
>>> > > > > >
>>> > > > > > On 12-03-2013 16:55, Pedro Markun wrote:
>>> > > > > > > * Pra hospedar isso em produção, vamos precisar de um
>>> servidorzinho
>>> > > > > > > legal... Vitor e Tom, vocês topam abrir uma conversa com a
>>> OKFN Central
>>> > > > > > > pra ver se eles podem hospedar? Eu acho que tem tudo a ver
>>> com o trampo
>>> > > > > > > da OKFN e isso pode ser um projeto OKFN Brasil também :)
>>> > > > > >
>>> > > > > >
>>> > > > > > Ni!
>>> > > > > >
>>> > > > > > Sem querer absolutamente menosprezar em nada o trabalho super
>>> legal da
>>> > > > > > editora...
>>> > > > > >
>>> > > > > > Contudo sendo a obra incompatível com a Open Definition e, eu
>>> acharia
>>> > > > > > estranho tal projeto hospedar-se pela Open Knowledge
>>> Foundation.
>>> > > > > >
>>> > > > > > Especialmente quando, novamente sem querer menosprezar o
>>> trabalho deles,
>>> > > > > > há uma alternativa compatível com a Open Definition, o
>>> Wikcionário, que
>>> > > > > > tem 187 mil verbetes em português, integrado com dicionários
>>> em 823
>>> > > > > > outros idiomas.
>>> > > > > >
>>> > > > > > Mas, dependendo do tipo e finalidade de aplicação, não
>>> descarto ser
>>> > > > > > justificado.
>>> > > > > >
>>> > > > > > Abs,
>>> > > > > > l
>>> > > > > > e
>>> > > > > >
>>> > > > > >
>>> > > > > > _______________________________________________
>>> > > > > > okfn-br mailing list
>>> > > > > > okfn-br em lists.okfn.org (mailto:okfn-br em lists.okfn.org)
>>> > > > > > http://lists.okfn.org/mailman/listinfo/okfn-br
>>> > > > > > Unsubscribe: http://lists.okfn.org/mailman/options/okfn-br
>>> > > > >
>>> > > > >
>>> > > > >
>>> > > > >
>>> > > > > _______________________________________________
>>> > > > > okfn-br mailing list
>>> > > > > okfn-br em lists.okfn.org (mailto:okfn-br em lists.okfn.org)
>>> > > > > http://lists.okfn.org/mailman/listinfo/okfn-br
>>> > > > > Unsubscribe: http://lists.okfn.org/mailman/options/okfn-br
>>> > > >
>>> > > >
>>> > > >
>>> > > >
>>> > > > --
>>> > > > Everton Zanella Alvarenga (also Tom)
>>> > > > OKFN Brasil - Rede pelo Conhecimento Livre
>>> > > > http://br.okfn.org
>>> > > >
>>> > > > _______________________________________________
>>> > > > okfn-br mailing list
>>> > > > okfn-br em lists.okfn.org (mailto:okfn-br em lists.okfn.org)
>>> > > > http://lists.okfn.org/mailman/listinfo/okfn-br
>>> > > > Unsubscribe: http://lists.okfn.org/mailman/options/okfn-br
>>> > >
>>> > >
>>> > > _______________________________________________
>>> > > okfn-br mailing list
>>> > > okfn-br em lists.okfn.org (mailto:okfn-br em lists.okfn.org)
>>> > > http://lists.okfn.org/mailman/listinfo/okfn-br
>>> > > Unsubscribe: http://lists.okfn.org/mailman/options/okfn-br
>>> >
>>> >
>>> > _______________________________________________
>>> > okfn-br mailing list
>>> > okfn-br em lists.okfn.org (mailto:okfn-br em lists.okfn.org)
>>> > http://lists.okfn.org/mailman/listinfo/okfn-br
>>> > Unsubscribe: http://lists.okfn.org/mailman/options/okfn-br
>>>
>>>
>>>
>>>
>>> _______________________________________________
>>> okfn-br mailing list
>>> okfn-br em lists.okfn.org
>>> http://lists.okfn.org/mailman/listinfo/okfn-br
>>> Unsubscribe: http://lists.okfn.org/mailman/options/okfn-br
>>>
>>
>>  --
>> --
>> Você recebeu esta mensagem porque está cadastrado no grupo "Transparência
>> Hacker"
>> Para enviar uma mensagem a todo o grupo, escreva para
>> thackday em googlegroups.com
>> Para não receber mais mensagens, envie um email para
>> thackday+unsubscribe em googlegroups.com
>> Para mais informações, ou para ler mensagens arquivadas deste grupo,
>> visite http://groups.google.com/group/thackday?hl=pt-BR
>>
>> ---
>> Você está recebendo esta mensagem porque se inscreveu no grupo
>> "Transparência Hacker" dos Grupos do Google.
>> Para cancelar a inscrição neste grupo e parar de receber seus e-mails,
>> envie um e-mail para thackday+unsubscribe em googlegroups.com.
>> Para obter mais opções, acesse https://groups.google.com/groups/opt_out.
>>
>>
>>
>
>
> _______________________________________________
> okfn-br mailing list
> okfn-br em lists.okfn.org
> http://lists.okfn.org/mailman/listinfo/okfn-br
> Unsubscribe: http://lists.okfn.org/mailman/options/okfn-br
>
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://lists.okfn.org/pipermail/okfn-br/attachments/20130313/d8a21c6c/attachment-0003.html>