[Offenes-Parlament] ETL / Testen / Verwenden für andere Parlamente

Wed Jul 25 20:26:03 UTC 2012

Hallo,

ich experimentiere gerade mit offenesparlament und habe einige
Fragen dazu:

* Der ETL-Prozess dauert sehr lange. Kann man den für Tests
  abzukürzen und z.B. nur einen Teil der Dokumente laden?

* Die Extrakt-Schritte laden die Daten von der Bundestagsseite
  herunter und werten sie direkt aus. Machte es nicht Sinn, diese
  als Rohdaten lokal zu speichern, um sich nicht bei einer
  Codeänderung neu herunterzuladen?  Ähnliches gilt für das Laden
  der Transkripte. Diese werden im transform-Schritt
  heruntergeladen und direkt mit den Personendaten verknüpft.

* Gibt es einen Dump der Daten.
  http://offenesparlament.de/pages/qualitaet verlinkt auf
  http://webstore.thedatahub.org/pudo/parlament.db. Den Host gibt
  es nicht mehr. Verwende ich dafür webstore.openspending.org
  bekomme ich eine 200 OK / Content-Type application/x-sqlite3,
  aber leider 0 Byte groß.

* Ich überlege, offenesparlament für den Hessischen Landtag zu
  verwenden. Die ETL-Schritte muss natürlich neu geschrieben
  werden. Die Modelle sehen soweit gut aus. Spricht etwas
  dagegen, offenesparlament dafür zu verwenden?

Viele Grüße,

..Carsten

-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 490 bytes
Desc: OpenPGP digital signature
URL: <http://lists.okfn.org/pipermail/offenes-parlament/attachments/20120725/28d734c9/attachment.sig>