Wir haben den Scraper, den wir für OffeneVergaben.at entwickelt haben, samt Dokumentation in seiner aktuellsten Version auf GitHub veröffentlicht:  https://github.com/Forum-Informationsfreiheit/OffeneVergaben

OffeneVergaben.at verwendet als Datengrundlage ausschließlich offene Daten. Das Bundesvergabegesetz 2018 verpflichtet staatliche Stellen – also Ministerien, Länder, Gemeinden, Verwaltungsbehörden und ausgelagerte Stellen und staatliche Unternehmen – seit März 2019 Auftragsvergaben über 50.000 Euro zu veröffentlichen. 

Wir mussten die erste Version unsers Scrapers überarbeiten, da er neue Metadatensätze nicht übernehmen könnte – auch nach einem Jahr kommen immer wieder neue beschaffende Stellen dazu, die mitunter eigene Metadatensätze veröffentlichen (die meisten Beschaffer verwenden externe Dienstleister, um die Daten veröffentlichen zu lassen). Jetzt werden automatisch sämtliche Metadatensätze, die über data.gv.at (https://www.data.gv.at/suche/?searchterm=&tagFilter_sub%5B%5D=Ausschreibung) publiziert werden, eingelesen und die XML-Dateien, auf die diese verweisen, gescrapt. 

Der Scraper ist ein command line utility toolkit, das in php geschrieben ist.

Um voll funktionsfähig zu sein, ist eine MySql (oder Maria DB equivalente) Datenbank nötig. 

Bei aktuell rund 10.000 xml Dateien (Stand: Februar 2020) benötigt der Scraper rund vier Stunden, bis alle Daten in einem ersten Durchlauf erfasst sind – bei einer Wartezeit zwischen zwei requests ist 1.5 Sekunden. 

Wir sind gespannt auf weitere Projekte und Analysen, die die Vergabedaten verwenden möchten.

Bei Fragen und für Anregungen stehen wir unter info@informationsfreiheit gerne zur Verfügung. 

Sonst freuen wir uns natürlich über pull requests – und etwaige Issues über GitHub. 

Lizenz 

Veröffentlicht haben wir den Scraper unter der BSD 2-Clause License:

Redistribution and use in source and binary forms, with or without

modification, are permitted provided that the following conditions are met:

* Redistributions of source code must retain the above copyright notice, this

list of conditions and the following disclaimer.

* Redistributions in binary form must reproduce the above copyright notice,

this list of conditions and the following disclaimer in the documentation

and/or other materials provided with the distribution.

THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.