OA-ANL-Harvester
OA-ANL-Harvester is de user agent die de harvester van Open Archieven gebruikt bij het downloaden van open data van archiefinstellingen die publiceren via MDWS-Internet.
Werking
De harvester van Open Archieven is een enkelvoudig proces dat via HTTPS GET en POST requests pagina's opvraagt ten einde open data bestanden van archiefinstellingen te downloaden. Na elke download is er één seconde pauze.
Er is geen methode om eenvoudig een lijst van recent toegevoegde of bijgewerkte bestanden op te vragen. Om deze reden wordt de gehele open data catalogus van een archiefinstelling gecontroleerd. Per bestand betekent dit een extra request om de wijzigingsdatum en download-link van een open data bestand te krijgen. De harvester bepaalt op basis hiervan of een bestand gedownload moet worden of dat het al eerder is gedownload en nu overgeslagen kan worden.
Startpunten van de harvester
- http://www.rijckheyt.nl/archief/resultaat?mizig=349
- https://archief.zaanstad.nl/archieven/zoek-in-de-archieven?mizig=349
- https://gemeentearchief.alphenaandenrijn.nl/collectie?mizig=349
- https://haagsgemeentearchief.nl/archieven-mais/overzicht?mizig=349
- https://hetutrechtsarchief.nl/onderzoek/resultaten/archieven?mizig=349
- https://noord-hollandsarchief.nl/bronnen/archieven?mizig=349
- https://regionaalarchiefrivierenland.nl/nl/page/400?mizig=349
- https://www.archieven.nl/mi/103/?mizig=349
- https://www.archieven.nl/mi/1648/?mizig=349
- https://www.archieven.nl/mi/184/?mizig=349
- https://www.archieven.nl/nl/search-modonly?mivast=72&miadt=72&mizig=349
- https://www.ecal.nu/?title=archiefoverzicht&mizig=349
- https://www.geldersarchief.nl/bronnen/archieven/?mizig=349
- https://www.groningerarchieven.nl/archieven/?mizig=349
- https://www.hetflevolandsarchief.nl/collectie?mizig=349
- https://www.regionaalarchiefdordrecht.nl/archief/zoeken/?mizig=349
- https://www.rhc-eindhoven.nl/collectie?mizig=349
- https://www.rhcvechtenvenen.nl/collectie?mizig=349
- https://www.streekarchiefvp.nl/open-data.html
- https://www.westfriesarchief.nl/onderzoek/zoeken?mizig=349
- https://www.zeeuwsarchief.nl/onderzoek-het-zelf/archief/?mizig=349