In der aktuellen Woche fand ich Gelegenheit zu einer finalen Optimierung der Datenerhebungsfunktionen und der maximale Output beträgt nun 5 Städte / Arbeitstag (ca. 8Stunden). Der aktuelle Datenbestand umfasst nun 41 SQLite-Datenbanken und lässt sich hier (Download: loc_datenbestand.xlsx) einsehen.
Ein Update der Auswertungssoftware ist für den 05.08.2018 geplant.
Kontakte? Anfragen gern unter office(at)pontipix.de.
Mit Optimierung des Scrapers wurde der Output auf 3 Städte (zu 1000-3.500 Locations mit 2000 Medien / Location) je Durchlauf erhöht.
Der Datenbestand umfasst (derzeit) das folgende Volumen:
Datenbank: locations_berlin.db
Anz. Einträge: 178640
Anz. Filter: 45
Anz. Postings: 177454
Anz. Tagclouds: 113530
Anz. Locations: 1193
Anz. Accounts: 93386
Anz. Zeitstempel: 177089
Datenbank: locations_koeln.db
Anz. Einträge: 251900
Anz. Filter: 45
Anz. Postings: 247799
Anz. Tagclouds: 174640
Anz. Locations: 2294
Anz. Accounts: 111119
Anz. Zeitstempel: 247224
Datenbank: locations_leipzig.db
Anz. Einträge: 165272
Anz. Filter: 44
Anz. Postings: 161236
Anz. Tagclouds: 115534
Anz. Locations: 1507
Anz. Accounts: 62306
Anz. Zeitstempel: 160963
Datenbank: locations_london.db
Anz. Einträge: 647379
Anz. Filter: 45
Anz. Postings: 635175
Anz. Tagclouds: 363882
Anz. Locations: 3254
Anz. Accounts: 363278
Anz. Zeitstempel: 630993
Datenbank: locations_muenchen.db
Anz. Einträge: 257895
Anz. Filter: 45
Anz. Postings: 252130
Anz. Tagclouds: 175017
Anz. Locations: 2445
Anz. Accounts: 126274
Anz. Zeitstempel: 251593
Datenbank: locations_paris.db
Anz. Einträge: 409348
Anz. Filter: 45
Anz. Postings: 399706
Anz. Tagclouds: 236446
Anz. Locations: 1158
Anz. Accounts: 241158
Anz. Zeitstempel: 396092
Vor einigen Tagen entschied ich mich dazu, die Erfassungsfunktionen von CSV in SQLite zu wechseln.
Hierbei hat die entsprechende Datenbankdatei folgende Struktur (Einrichtungsprozedur):
procedure TForm1.LocationsMain1Click(Sender: TObject);
begin
with sql_befehle do
begin
clear;
lines.Add('drop table if exists locations;');
lines.Add('CREATE TABLE `locations` (');
lines.Add(' `id` integer primary key AUTOINCREMENT,');
lines.Add('`url` varchar(400),');
lines.Add('`tag` varchar(800),');
lines.Add('`likes` varchar(400),');
lines.Add('`comments` varchar(400),');
lines.Add('`erstellzeit` varchar(400),');
lines.Add('`post_id` varchar(1600),');
lines.Add('`username` varchar(400),');
lines.Add('`location` varchar(400),');
lines.Add('`filter` varchar(400),');
lines.Add('`pruefzeit` varchar(400)');
lines.Add(');');
lines.Add('vacuum;');
end;
fdquery3.ExecSQL(sql_befehle.text);
end;
Mit Datenbankwechsel wurde der Scraper so optimiert, dass an einem typischen Arbeitstag zwischen 1200 und 4500 Locations zu max. 1500 Einträge erfasst werden können. Erste Testläufe mit dem Raum Paris / Frankreich ergaben eine Ausbeute von ~400.000 Einträgen mit Aktivitäten von ~200.000 Accounts (Unique!).
