[ckan-dev] problem migrating datasets

Thu Aug 14 13:36:21 UTC 2014

Hi,

I found out, that all datasets which are not shown in the
organizations-view don't have the fields "owner_org" and "creator_user_id"
altough they have the field organization which is filled correctly. I also
can not set the owner_org manually when editing the datasets in the form.

I tried to set owner_org and creator_user_id with a paster script, but this
seems to have no effect...

When I load a dataset with: package = model.Package.get(dataset.id)
The output seems to be ok and has owner org and creator_user_id like this:

<Package id=3fbf6477-743f-4b11-89fe-f5bb0676084f name=abaenderungsantrag-nr
title=Abänderungsanträge Nationalrat version=None url= author=None
author_email=None maintainer=Parlamentsdirektion maintainer_email=None
notes=Verhandlungsgegenstände sind nach verschiedenen Dokumenttypen (zB
Abänderungsanträge, Selbständige Anträge von Abgeordneten,) gegliedert.
Dieser Datensatz enthält Abänderungsanträge gegliedert nach Fraktionen und
Personen.
Titel: Betreff: Bezeichnet den Gegenstand der Gesetzesinitiative , zu
der ein Abänderungsantrag eingebracht wurde
Link: Führt zur Geschichtsseite, die einen Überblick über die
parlamentarische Behandlung des Abänderungsantrages und das Ergebnis der
Abstimmung darüber bietet.
Beschreibung: 
Aktualisiert: Bezeichnet das letzte Änderungsdatum / Aktion im
Parlamentarischen Verfahre; bei Abänderungsanträgen in Zweiter Lesung ist
dies das Datum der Abstimmung im Plenum des Nationalrates . 
Art: Bezeichnet den Typus der Gesetzesinitiative (Abänderungsantrag). 
Nr.: Verhandlungsgegenstände werden mit einer fortlaufenden Nummer pro
Typus identifiziert. 
Status: Beschreibt den Stand des Parlamentarischen Verfahrens (angenommen
oder abgelehnt).
Mehr Filter-Optionen: <a href="http://www.parlament.gv.at/PAKT/VHG/">Suche
nach Verhandlungsgegenständen</a> license_id=cc-by type=dataset
owner_org=c9a20a5a-b0a7-45b4-81cf-7d53df59ad07
creator_user_id=778924f2-5c4e-41b8-9783-4a4938306d46
metadata_modified=2014-08-14 13:21:03.646037 private=False state=active
revision_id=d785d9ef-4e12-4773-8328-f5e512a81903>

when I load the same dataset with "get_action('package_show')" I get the
following output:

{u'owner_org': None, u'maintainer': u'Parlamentsdirektion',
'relationships_as_object': [], u'private': False, u'maintainer_email':
None, u'revision_timestamp': '2014-07-07T10:08:04.694704', u'id':
u'3fbf6477-743f-4b11-89fe-f5bb0676084f', 'metadata_created':
'2014-06-05T05:07:06.554029', u'metadata_modified':
'2014-08-14T13:24:07.595721', u'author': None, u'author_email': None,
u'state': u'active', u'version': None, u'license_id': u'cc-by', u'type':
u'dataset', 'resources': [{u'resource_group_id':
u'56fa20a6-7c8a-4aa5-908d-542f300dd167', u'cache_last_updated': None,
u'revision_timestamp': '2014-06-12T08:53:06.479541',
u'webstore_last_updated': None, u'id':
u'e3c1eb36-93f1-486b-b165-7a6d3ebffb99', u'size': None, u'state':
u'active', u'hash': u'', u'description': u'', u'format': u'rss + xml',
'tracking_summary': {'total': 0, 'recent': 0}, u'mimetype_inner': u'',
u'url_type': None, u'mimetype': u'', u'cache_url': None, u'name':
u'Ab\xe4nderungsantr\xe4ge Nationalrat', u'language': u'', u'created':
'1996-01-15T00:00:00', u'url': u'
http://www.parlament.gv.at/PAKT/VHG/filter.psp?view=RSS&jsMode=RSS&xdocumentUri=%2FPAKT%2FVHG%2Findex.shtml&NRBR=NR&anwenden=Anwenden&GP=XXV&VHG=ANTR&VHG2=AA&FR=ALLE&AS=ALLE&SUCH=&listeId=101&FBEZ=FP_001#',
u'characterset': u'', u'webstore_url': u'', u'last_modified': None,
u'position': 0, u'revision_id': u'9f81d31e-f5c6-4122-9ba5-683430c1ef65',
u'resource_type': u'api'}], 'num_resources': 1, 'tags': [{u'vocabulary_id':
None, 'display_name': u'Ab\xe4nderungsantrag', u'name':
u'Ab\xe4nderungsantrag', u'revision_timestamp':
'2014-06-05T05:23:23.833624', u'state': u'active', u'id':
u'dc097381-b0bb-471a-85b6-9d862a20f5b7'}, {u'vocabulary_id': None,
'display_name': u'Ab\xe4nderungsantr\xe4ge', u'name':
u'Ab\xe4nderungsantr\xe4ge', u'revision_timestamp':
'2014-06-05T05:29:54.258672', u'state': u'active', u'id':
u'b01b379b-c4d0-4f2d-ba3d-bc5784d24bf1'}, {u'vocabulary_id': None,
'display_name': u'Nationalrat', u'name': u'Nationalrat',
u'revision_timestamp': '2014-06-05T05:23:23.833624', u'state': u'active',
u'id': u'06b46cf6-9d98-4821-8dac-70fa34098e25'}, {u'vocabulary_id': None,
'display_name': u'Plenum', u'name': u'Plenum', u'revision_timestamp':
'2014-06-05T05:23:23.833624', u'state': u'active', u'id':
u'4e80d42a-2458-466d-a933-960adbe19e11'}, {u'vocabulary_id': None,
'display_name': u'Zweite Lesung', u'name': u'Zweite Lesung',
u'revision_timestamp': '2014-06-05T05:23:23.833624', u'state': u'active',
u'id': u'053eff7f-3670-4d07-9aa5-ec3140cfeb0e'}], u'title':
u'Ab\xe4nderungsantr\xe4ge Nationalrat', 'tracking_summary': {'total': 0,
'recent': 0}, 'groups': [], u'creator_user_id': None,
'relationships_as_subject': [], 'num_tags': 5, u'name':
u'abaenderungsantrag-nr', 'isopen': True, u'url': u'', u'notes':
u'Verhandlungsgegenst\xe4nde sind nach verschiedenen Dokumenttypen (zB
Ab\xe4nderungsantr\xe4ge, Selbst\xe4ndige Antr\xe4ge von Abgeordneten,)
gegliedert. Dieser Datensatz enth\xe4lt Ab\xe4nderungsantr\xe4ge gegliedert
nach Fraktionen und Personen.\r\nTitel: Betreff: Bezeichnet den
Gegenstand der Gesetzesinitiative , zu der ein Ab\xe4nderungsantrag
eingebracht wurde\r\nLink: F\xfchrt zur Geschichtsseite, die
einen \xdcberblick \xfcber die parlamentarische Behandlung des
Ab\xe4nderungsantrages und das Ergebnis der Abstimmung dar\xfcber
bietet.\r\nBeschreibung: \r\nAktualisiert: Bezeichnet das letzte
\xc4nderungsdatum / Aktion im Parlamentarischen Verfahre; bei
Ab\xe4nderungsantr\xe4gen in Zweiter Lesung ist dies das Datum der
Abstimmung im Plenum des Nationalrates . \r\nArt: Bezeichnet den Typus
der Gesetzesinitiative (Ab\xe4nderungsantrag). \r\nNr.:
Verhandlungsgegenst\xe4nde werden mit einer fortlaufenden Nummer pro Typus
identifiziert. \r\nStatus: Beschreibt den Stand des Parlamentarischen
Verfahrens (angenommen oder abgelehnt).\r\nMehr Filter-Optionen: <a
href="http://www.parlament.gv.at/PAKT/VHG/">Suche nach
Verhandlungsgegenst\xe4nden</a>', 'license_title': u'Creative Commons
Namensnennung 3.0 \xd6sterreich', 'extras': [{u'value': u'
http://www.parlament.gv.at/SERV/OGD/', u'key': u'attribute_description'},
{u'value': u'1996-01-15', u'key': u'begin_datetime'}, {u'value':
u'["verwaltung-und-politik"]', u'key': u'categorization'}, {u'value': u'',
u'key': u'en_title_and_desc'}, {u'value': u'', u'key': u'end_datetime'},
{u'value': u'', u'key': u'geographic_bbox'}, {u'value': u'', u'key':
u'geographic_toponym'}, {u'value': u'', u'key': u'license_citation'},
{u'value': u'', u'key': u'lineage_quality'}, {u'value': u'
http://www.parlament.gv.at/WWER/PDION/L/L4/L4_1/index.shtml', u'key':
u'maintainer_link'}, {u'value': u'3fbf6477-743f-4b11-89fe-f5bb0676084f',
u'key': u'metadata_identifier'}, {u'value': u'', u'key':
u'metadata_linkage'}, {u'value': u'2014-07-07 10:08:04.624608', u'key':
u'metadata_modified'}, {u'value': u'Parlament', u'key': u'publisher'},
{u'value': u'', u'key': u'publishing_date'}, {u'value': u'utf8', u'key':
u'schema_characterset'}, {u'value': u'ger', u'key': u'schema_language'},
{u'value': u'OGD Austria Metadata 2.1', u'key': u'schema_name'}, {u'value':
u'', u'key': u'update_frequency'}], 'license_url': u'
https://creativecommons.org/licenses/by/3.0/at/deed.de', 'organization':
{u'description': u'', u'title': u'Parlament', u'created':
'2014-04-11T08:33:36.864108', u'approval_status': u'approved',
u'revision_timestamp': '2014-07-24T08:27:47.568943', u'is_organization':
True, u'state': u'active', u'image_url': u'
http://www.data.gv.at/wp-content/uploads/logos-organisationen/blank.png',
u'revision_id': u'c4dc3551-e3b7-4bc8-afb3-db886d4bdeea', u'type':
u'organization', u'id': u'c9a20a5a-b0a7-45b4-81cf-7d53df59ad07', u'name':
u'parlament'}, u'revision_id': u'd785d9ef-4e12-4773-8328-f5e512a81903'}

Can anybody help please?

Thanks
Michael

2014-07-31 8:24 GMT+02:00 Michael Reichart <michael.reichart at gmail.com>:

> Hi,
>
> we updated our CKAN from 1.7 to 2.2 - which was tough enough, but now we
> have a problem with our datasets.
>
> Before we used the "groups" (with the organizations - extension) with some
> customization to restrict editing of datasets and "grouping" datasets.
> When updating we wanted to use the "organizations" in 2.2 because it
> basically does all that stuff for us ...
> So we migrated the groups to organizations and updated all datasets to set
> the "owner_org", which worked perfectly fine. But unfortunately altough
> every dataset knows to which organization it belongs, the organizations do
> not know which datasets they own.
>
> We tried "force_reindex" on every group, but still the organizations show
> 0 datasets. Interestingly some organizations show 1 dataset (altough they
> should own over 100).
>
> Any hints how I could get the organizations to recognize their datasets?
> We have over 1300 datasets and 236 groups - loosing this data is clearly
> not an option, manual editing also not.
>
> Thanks!
>
> Michael
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.okfn.org/pipermail/ckan-dev/attachments/20140814/284e7572/attachment-0002.html>