Weiterverwendung erwünscht: Unser Scraper für Vergabedaten
Der Scraper, den wir für OffeneVergaben.at gebaut haben, ist auf GitHub (01.03.2020)
Förderjahr 2018 / Project Call #13 / ProjektID: 4012 / Projekt: Offene Vergaben

Wir haben den Scraper, den wir für OffeneVergaben.at entwickelt haben, samt Dokumentation in seiner aktuellsten Version auf GitHub veröffentlicht:  https://github.com/Forum-Informationsfreiheit/OffeneVergaben

OffeneVergaben.at verwendet als Datengrundlage ausschließlich offene Daten. Das Bundesvergabegesetz 2018 verpflichtet staatliche Stellen – also Ministerien, Länder, Gemeinden, Verwaltungsbehörden und ausgelagerte Stellen und staatliche Unternehmen – seit März 2019 Auftragsvergaben über 50.000 Euro zu veröffentlichen. 

Wir mussten die erste Version unsers Scrapers überarbeiten, da er neue Metadatensätze nicht übernehmen könnte – auch nach einem Jahr kommen immer wieder neue beschaffende Stellen dazu, die mitunter eigene Metadatensätze veröffentlichen (die meisten Beschaffer verwenden externe Dienstleister, um die Daten veröffentlichen zu lassen). Jetzt werden automatisch sämtliche Metadatensätze, die über data.gv.at (https://www.data.gv.at/suche/?searchterm=&tagFilter_sub%5B%5D=Ausschreibung) publiziert werden, eingelesen und die XML-Dateien, auf die diese verweisen, gescrapt. 

Der Scraper ist ein command line utility toolkit, das in php geschrieben ist.

Um voll funktionsfähig zu sein, ist eine MySql (oder Maria DB equivalente) Datenbank nötig. 

Bei aktuell rund 10.000 xml Dateien (Stand: Februar 2020) benötigt der Scraper rund vier Stunden, bis alle Daten in einem ersten Durchlauf erfasst sind – bei einer Wartezeit zwischen zwei requests ist 1.5 Sekunden. 

Wir sind gespannt auf weitere Projekte und Analysen, die die Vergabedaten verwenden möchten.

Bei Fragen und für Anregungen stehen wir unter info@informationsfreiheit gerne zur Verfügung. 

Sonst freuen wir uns natürlich über pull requests – und etwaige Issues über GitHub. 

OffeneVergaben.at - Repository auf GitHub

Lizenz 

Veröffentlicht haben wir den Scraper unter der BSD 2-Clause License:

Redistribution and use in source and binary forms, with or without

modification, are permitted provided that the following conditions are met:

* Redistributions of source code must retain the above copyright notice, this

list of conditions and the following disclaimer.

* Redistributions in binary form must reproduce the above copyright notice,

this list of conditions and the following disclaimer in the documentation

and/or other materials provided with the distribution.

THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

 

Tags:

OffeneVergaben.at OffeneVergaben Open Data GitHub
CAPTCHA
Diese Frage dient der Überprüfung, ob Sie ein menschlicher Besucher sind und um automatisierten SPAM zu verhindern.

    Weitere Blogbeiträge

    Datenschutzinformation
    Der datenschutzrechtliche Verantwortliche (Internet Privatstiftung Austria - Internet Foundation Austria, Österreich) würde gerne mit folgenden Diensten Ihre personenbezogenen Daten verarbeiten. Dies ist für die Nutzung der Website nicht notwendig, ermöglicht aber eine noch engere Interaktion mit Ihnen. Falls gewünscht, treffen Sie bitte eine Auswahl: