1. Scrapen, Abholen des eigenen Streams
2. Speichern der Posturl-Liste in eine „Memo“
3. Schleife: (for-to-do) Ansurfen der Post-Urls
3.1. Quellcodeanalyse und suchen nach:
og:image“ content=“bildurl?ig_cache_key=key“
3.2. Entferne cache_key
3.3. Download der Bilder

Weiter lesen, Quellcodebeispiele
Datei aus dem WWW downloaden (Delphi)
Quelltext aus TWebbrowser auslesen
Rohdatenanalyse, IG-Account

[Einbindung der Unit]
uses json;

[Prozedur]
procedure tagdaten_holen;
var lauf: integer;
JSONArray: tJSONArray;
JSONValue: tJSONValue;
JSONPair: TJSONPair;
JSON: TJSONObject;
i: integer;
begin
try
debug.Text:=idhttp1.Get(‚https://api.instagram.com/v1/tags/search?q=’+tagrecherche.text+’&access_token=’+token.text);
JSONValue := TJSONObject.ParseJSONValue(debug.text);
JSON := TJSONObject.ParseJSONValue(debug.Lines.Text) as TJSONObject;
JSONArray := TJSONArray(JSON.Get(‚data‘).JsonValue);
with tagr_roh do
begin
cells[0,0]:=’Nr.‘;
cells[1,0]:=’Tag‘;
cells[2,0]:=’Reichweite‘;
colcount:=3;
rowcount:=1;
end;
for i := 0 to JSONArray.Size – 1 do
begin
with tagr_roh do
begin
cells[0,rowcount]:=inttostr(rowcount);
cells[1,rowcount]:=(TJSONPair(TJSONObject(JSONArray.Get(i)).Get(’name‘)).JsonValue.Value);
cells[2,rowcount]:=(TJSONPair(TJSONObject(JSONArray.Get(i)).Get(‚media_count‘)).JsonValue.Value);
rowcount:=rowcount+1;
end;
end;
except
showmessage(‚Fehler mit der Internetverbindung. Prüfe Diese und den Token!‘);
end;
end;

(A) Screenshots

(B) Beispieldatensätze
Die nachfolgenden Excel-Tabellen sind Exports aus der Anwendung.
Sie zeigen:
(1) Rohdaten – Pinterest // Suchvorschläge
pint_suggest.xlsx
Die Datenerhebung erfolgt über die Funktionen, welche ich im Artikel „Pinterest – Suchvorschläge auslesen“ beschrieb.
(2) Rohdaten – Pinterest // Themenwelten
pint_rohdaten.xlsx
Die Datenerhebung erfolgt über die Funktionen, welche ich im Artikel „Pinterest – Themenwelten auslesen“ beschrieb.
(3) Pinterest // Themenwelten gewichten, Zusammenzählung
Um die erhobenen Daten in ein interpretationsfähiges Format zu bringen, werden in der Anwendung die gefundenen „Unterthemen“ oder „weiterführende Themen“ zusammen gezählt und nochmal in Zuordnung zu den „Themenwelten“ dargestellt. Die Datei pint_zfg.xlsx zeigt das entsprechende Beispiel.

(A) Suchmaschinen
[Datenquelle „Google“]
– Suchvorschläge
– generierte Fragen analog zum „W-Fragen-Tool“
– generierte Phrasen auf Basis von Städten für die Vermarktung von lokal abhängigen „Dingen“
– GoogleTrends

[Datenquelle „Bing“]
– Suchvorschläge

(B) Socialmedia
[Datenquelle „Instagram“]
– Tagrecherche zzgl. Reichweitenauswertung(en)

[Datenquelle „Pinterest“]
– Suchvorschläge
– Themenweltenanalyse(n)

(C) Recherchefunktionen
– Abgleich: Suma <> Socialmedia
– Abgleich: G-Trends <> Socialmedia

Weitere potentielle Datenquellen, welche sich aktuell in einer Art „Werthaltigkeitsanalyse“ befinden, sind:
– GooglePlaces inkl. Öffnungszeiten und ggf. vorhandenen Bewertungen
– GoogleShopping inkl. Preisdifferenzen und ggf. vorhandenen Bewertungen
– Twitter: Hashtagsuche und Trends
– Gplus: Hashtagauswertung
– Facebookpages, sofern „offen“ und auslesbar
– Youtube: Suchvorschläge (?), Taganalysen (!)
– Keywordplaner, sofern kostenlos abrufbar (muss ich noch prüfen)

[Schritt 1]
=> Download: https://de.pinterest.com/search/pins/?q=[suchwort]
[Schritt 2]
=> Identifikation von [suchwort] im Quellcode
[Schritt 3]
=> Übergabe in die Rohdaten und spätere Interpretationen (Matrix, Zusammenzählung, Abgleich mit anderen Themenwelten usw.)

Wie dem auch sei: studiert man aufmerksam die API-Dokumentationen aus Instagram, fällt der folgende Endpoint auf:

/tags/tag-name/media/recent

Dieser lässt sich mit diesem Schema bedienen:

https://api.instagram.com/v1/tags/’+interessantertag+’/media/recent?access_token=’+deintoken

Hier gilt leider auch die Fixierung auf maximal 20 Ergebnisse je Endpoint-Abfrage, welche sich so umgehen lässt:

repeat
=> Abfrage
=> Ergebnisübertrag in Datenbank
until pos(’next_url‘,abfrage_ergebnis)<>0;

Hier empfehle ich, die bereits beschriebene Reichweitenanalyse davor zu schalten. Diese erlaubt eine Vorabgewichtung und Abschätzung dahingehend, wie viele Ressourcen für den Scrapeprozess verwendet werden müssen.

Der genannte Endpoint liefert die folgenden Variablen in interpretationsfähigem Zustand zu den gefundenen Medien zurück:

(a) type
=> image / video etc.
(b) filter
=> verwendeter Filter
(c) tags
=> verwendete Tags INKLUSIVE dem abgefragten Tag
(d) comments=>count
=> Anzahl der Kommentare
(e) likes=>count
=> Anzahl der Likes
(f) created_time
=> Zeitstempel, Wann wurde der Post abgesetzt? (Datum und Uhrzeit)
(g) from=>username // from=>id
=> Daten des Accounts, Username und ID
(h) id
=> ID des Posts

Überführt man nun diese Datensätze in eine geeignete Datenbank (mein Favorit: CSV), lassen sich nun sauber Antworten auf diese Fragen finden:

(a) Wer hat den Hashtag „erfunden“?
Liegen die Rohdaten in geeigneter Form vor, findet man den Ursprung des Hashtags (Account, Zeitpunkt etc.) im letzten Datensatz oder in der ersten Publikation (Datum!). Möchte man nun hier eine Influencerbegutachtung anstellen, kann man hier prüfen, wie häufig der Ursprungsaccount unter dem Tag postet und wie denn dessen Reputation in Form von Likes und Comments wächst, nicht wächst oder stabil bleibt.

(b) Postzeitpunkte und Wechselwirkung auf Interaktionen
Durch die Erfassung der Variable „created_time“ lassen sich Antworten auf die Frage „Wann macht ein Posten unter dem Hashtag Sinn?“ beantworten, da hier parallel die Zahlen zu „Likes“ und „Comments“ erfassbar sind.

(c) Weg des Tags
Durch die vorhandenen Rohdaten lassen sich nun auch weitere Beobachtungen und Analysen anstellen. Diese können auf die Beantwortung der folgenden Fragen abzielen:
– Welche anderen Accounts verwenden den Tags nach dessen Ursprung?
– Lassen sich Veränderungen in den Themenwelten des Hashtags feststellen (sichtbar durch: Hashtag-Gruppen, verwendete Filter, Comments)?
– Wann sind Aktivitäten sichtbar (created_time, Uhrzeit und Tag, Wochentag über entsprechende Funktionen auslesbar)?

Zusammenfassung
Unser Instagram-Client besitzt eine ähnliche Funktion, die ich noch etwas anpassen muss (ggf. ab Versionsnummer 0.6BETA freigeschaltet). Die Umsetzung ist eigentlich relativ problemlos realisierbar und ich empfehle auch hier einen Blick in die SDK „Delphi“ oder „Lazarus„. Letzere basiert stark auf Borland Delphi, also PASCAL und diese Sprache dürfte den meisten Kolleg_innen aus den extrem IT-lastigen Umfeld „Internetmarketing“, „Socialmediamarketing“ oder „SEO“ durchaus bekannt sein. Eine Umsetzung auf Basis von PHP & Co. halte ich persönlich für nicht sinnvoll, da viele analysierbare Tags durchaus gigantische Datenmassen und Scrapezeiträume produzieren können (siehe: Reichweitenzahlen, Reichweitenanalysen) und hier das Problem der begrenzten Scriptlaufzeiten vorliegen dürfte. Das Scrapen und Durchanalysieren meines Accounts „hanneswobus“ benötigt bei 8.358 Medien zwischen 5 und 10 Minuten.

Zur Tokengenerierung geht man wie folgt vor:
– Authentifikation via OAUTH 2.0
– Anmelden mit den eigenen und bekannten Accountdaten
– Durchführen: user/self/feed
– Copy & Paste des ausgegebenen Token (siehe: Ergebnisübergabe aus dem genannten Service)

https://api.instagram.com/v1/media/[media-id]/likes?access_token=[token]

Wie sich der Token generieren lässt, habe ich im Artikel „Instagram-Token generieren“ dargestellt.
Die Datensätze für die Variable „[media-id]“ generiere ich aus dem Account-Scrape-Prozess, welcher die Rohdaten – beschrieben im Artikel „Instagram-Rohdaten“ – beinhalten (siehe letzte Spalte im Datensatz vom Account „hanneswobus“).

Die Datenanalyse erfolgt nun mit Hilfe einer einfachen Laufschleife über den o.g. Endpoint. Ich bitte an dieser Stelle um Verständnis darüber, dass ich hier nicht die Rohdaten aus dem „hanneswobus“-Account zeigen werde, da hier noch keine stabile Anonymisierungsprozedur vorliegt und wir prinzipiell keine personenbezogenen Datensätze zu diesen virtuellen Beziehungen freigeben. Die Betatester_innen und interessierte Bekannte, Freunde und Kolleg_innen können sich natürlich jederzeit gern mit ihren Accounts bei uns melden.

Die Struktur der ausgelesenen Datensätze hat bei unserer Anwendung nun die folgende Form

[Nr.]=>[Username]=>[URL]=>[ID]=>[Post-ID]

Die Spalte „Nr.“ hat eine eher kosmetische Funktion. Der Username lässt sich über den Endpoint-Respons und dessen Variable „username“ auslesen und die URL wird softwareseitig zusammengesetzt aus den Zeichenketten „https://www.instagram.com/“ + [username] + „/“. Die Spalte „ID“ umfasst die ausgelesenen IDs der likenden Accounts und die „Post-ID“ zeigt eine Querverbindung auf die ID der entsprechenden Posts, welche hier vom User geliked worden.

Natürlich sind die Rohdaten nur für Expert_innen interpretierbar und deswegen werden sie in weiteren Schritten verarbeitet. Diese sind: (a) Bereinigung der Liste „Account-Name“, (b) Zusammenzählen der getätigten Likes JE Accountname und (c) Sortieren der Liste im Modus „Absteigend“.

Die bereinigten Datensätze und die Rohdaten werden per sofort in die Socialmedia-Reports aufgenommen und entsprechend erläutert. Die Zahl „Likes“ findet nun auch ihren Platz in den Komplex „Social-Signals“.

Was kann man nun aus den Datensätzen erkennen?
(a) Fangewichtung
(b) aktive Fans – gezeigt durch hohes Likeaufkommen
(c) durch Rückkoppelung auf die Accountrohdaten: „beliebte“ Posts
(d) durch Rückkoppelung auf die Tags der Accountrohdaten: „beliebte“ Tags
(e) Fangemeinde, Likende Accounts etc. des Wettbewerbs
(f) Aktivitätsgründe durch Rückkoppelung auf unsere Hashtag-Reichweitenanalyse

[Todo für Versionsnummer 0.4Beta]
(a) Auslesen der Comments und kommentierenden Accounts analog zu den Likes
(b) Datenaufbereitung analog zu den Likes
(c) Vergleich: Likes, Comments im Verhältnis zu den Posts
(d) Diagramme: Verlauf, Vergleich etc. für die 10 aktivsten Accounts (Likes, Comments)
(e) Einbau der 10 aktivsten Accounts in die PDF / HTML-Reports der Software

Nach einigen und auch sehr intensiven Diskussionen haben wir uns zu einer Fandefinition entschieden, welche sich ausschließlich auf die Interaktion (hier: Likes, Comments, Likes UND Comments) bezieht.
Die kommende Versionsnummer wird den Komplex „Instagram-Datenerhebung“ und „Instagram-Monitoring“ abschließen und ich werde nahtlos ähnliche Funktionen für Pinterest entwickeln.

Die Grafik bezieht sich auf Veränderungen eines Online-Portals innerhalb der Jahre 2014 und 2015. Im Laufe unseres neunmonatigen Engagements konnte u.a. der Umsatz um 65% erhöht werden.

Um was ging es hier?
Das Projekt kann in der Sparte „Kunst/Printmedien“ verortet werden. Unsere Aufgabe bestand in der Etablierung zielgruppenorientierter Verlinkungen & der Platzierung von Angeboten und Produktinformationen in reichweitenstarken Social-Media-Kanälen.

Wie sind wir hierbei vorgegangen?
Da uns sowohl die Firma als auch ihre Produkte aus dem Alltag vertraut sind, konnten wir sehr schnell loslegen. Wir stiegen also sofort in die strategische Zielgruppenanalyse ein (Stichworte Pinterest-Interessensrecherche & Instagram-Hashtaganalyse) und publizierten Hinweise, Informationen und konkrete Kaufimpulse im passenden Zielgruppenumfeld.

Was sich im letzten Absatz so lax liest, folgte natürlich einem von uns verfassten Konzept, das individuell auf das konkrete Projekt abgestimmt wurde. Und aufging.

Die nachstehenden Bilder zeigen die Ergebnisse aus dem Account „hanneswobus“ mit den Daten aus hanneswobus_tags.xlsx.

Durch die Analysierbarkeit beliebiger (!) Accounts lässt sich nun dauerhaft nachprüfen, welcher Tag (natürlich in Verbindung mit dem Post und dem konkreten Motiv) am Besten den ROI-Vorstellungen (Likes, Comments, Likes & Comments) entspricht. Da die Erfassung der Accountrohdaten zu beliebigen Zeitpunkten (in Abhängigkeit zur Verfügbarkeit und Stabilität der Instagram-API) realisierbar ist, lassen sich auch Beobachtungen zu Wochentagen und äußeren Einflüssen wie Wetter, Trends und Events anstellen.

[Todo]
Gewichtung der Taggruppen analog zur Einzeltaganalyse.
Optional: Gegenprobe der Tags auf unserer Reichweitendatenbanken
Festlegung eines Reportformates (PDF, Excel, Word usw.).
Scrapen und Verarbeiten der Kommentierenden und Likenden Accounts

[Update]
Die Reichweitengegenprobe auf die bekannte und besprochene Datenbank wird (vorerst) mit niedriger Priorität behandelt und mit der Anbindung an die Tagsearch von Instagram kompensiert.
Der „Endpoint“ hierfür ist:
https://api.instagram.com/v1/tags/search?client_id=[deine_id]&q=[suchwort] und die Reichweite wird über die Variable „media_count“ ausgeliefert.
Der Rohdatensatz für die Tag <> Reichweitengewichtung für lässt sich hier: hanneswobus_tags herunter laden.

Die Reportausgabe wurde „modular“ gestaltet und die Basis hierfür ist „html“. Die PDF-Version eines solchen Reports befindet sich hier: Instagramauswertung, Account_ hanneswobus. Wie man am Layout des Reports unschwer erkennen kann, arbeite ich noch an dem Layout und an der endgültigen Fassung.

Beide Datensätze werden ab sofort in die Reportingdienstleistung aufgenommen.

[Accountüberblick]
Komplettdatensatz aus dem Account „hanneswobus“ hanneswobus_25022015 (Excel, xlsx)

Die Exceltabelle zeigt: (a) URL der Posts, (b) Erstelldatum, (c) Comments, (d) Likes, (e) Tags, (f) Beschreibung – leer, (g) Post-ID

[Todo]

1. Auswertung von Comments je individuellen Tag
2. Präsentation: Top10 der wirkungsvollsten Tags (gem. an Likes und Comments)
3. Präsentation: Top10 der „besten“ Posts (gem. an Likes und Comments)
4. Präsentation: schlechteste Posts und Tags (ggf. auch Taggruppen)
5. Auswertung von Likes je individuellen Tag
6. Diagram: zeitliche Entwicklung f. Posts, Likes und Comments (siehe: „Socialtracker“)

[Tortendiagram]

Die Beobachtung der Abonnenten und abonnierten Accounts wird im aktuellen Konzeptstadium gesondert betrachtet. Nach einigen internen Diskussionen und Gesprächen mit Externen / Kund_innen wird die nächste Versionsnummer um einen entsprechenden Komplex erweitert.

Die Todo hierfür ist:

1. Erfassen der Abonnenten und Erfassen der abonnierten Accounts als „Liste“.
2. Ausgabe: „Wer folgt dem beobachteten Account und welchen Accounts folgt der beobachtete Account?“
3. Aktivitätsbeobachtung: „Wer ist in welcher Form auf den beobachteten Accounts aktiv (gez. durch Likes, Comments)?“

Die aktuellen Engagements und Projekte werden selbstverständlich um die Dienstleistung „Instagram-Account-Reports“ und die entsprechende Beratung erweitert.

Ich bekomme derzeit erstaunlich viele Rückmeldungen mit ein und denselben Inhalten: das Erfassen der Daten über Instagram, Pinterest und anderen Socialmedia ist (a) nicht möglich oder (b) extrem aufwändig / teuer. Nunja: hier möchte ich auf den Inhalt „Gesprächspartner_innen für das Internetmarketing“ hinweisen. Das Erfassen und Verstehen der extrem gut dokumentierten Socialmedia-API gehört zum Berufsbild „Internetmarketing“ oder „Socialmedia-Marketing“ dazu und das Entwickeln eigener Lösungsansätze für das Beobachten und die Datenerfassung ist gerade mit Hilfe der APIs mit einem enorm geringen Zeitaufwand durchaus möglich.

Informationen zu den APIs inklusive (!) Codebeispiele findet man hier:
[Instagram]
Instagram (Developer)
Endpoints der API
Infos zu der Limitierung
Tagsuche
Grobrecherchen, Rohdatenerfassung (hierauf basiert die aktuelle Version der Software!!!)
Zielgruppenanalysen auf Basis der Locations

[Pinterest]
Developer – Doku
User, Usermanagement, Follower & Co.
Dokus zu den Boards, Boardmanagement
Pins, Management und Recherche
Zielgruppenanalysen via Pinterest-API
Basisfunktionen

[Erfassen der Account-ID]
– via API
– via „lookup your instagram user id“

[Erfassen der hinterlegten Daten]
(1) Ansprache der API
$api = „https://api.instagram.com/v1/users/[ID]/media/recent/?access_token=[TOKEN]“;
$response = get_curl('../../../../$api');

(2) Auswertung und Auslesen der Datensätze
if($response){
foreach(json_decode($response)->data as $item){
$url = $item->link;
$zeitstempel = $item->created_time;
$comment = $item->comments->count;
$gefaellt = $item->likes->count;
$id_code = $item->id;
$schlagworte = $item->tags;
$comma_separated = implode(“ „, $schlagworte);
echo $url.“|“.gmdate(„Y-m-d“, $zeitstempel).“|“.$comment.“|“.$gefaellt.“|“.$id_code.“|“.$comma_separated;
}

Wir hatten im Zuge der Entwicklungsarbeiten auch intensiv über eine Backupfunktion oder eine Massdownloadfunktion bzgl. der geposteten Fotos diskutiert und letztendlich entsprechende Features (vorerst) verworfen, da die bekannte Instagram-App bearbeitete Fotos auf den Geräten speichert.
Die Angabe „zeitstempel“ bleibt vorerst auf die Ausgabe von „Datum“ beschränkt und ich behalte mir eine Erweiterung auf „Zeit“, „Uhrzeit“ zzgl. „Minuten“ vor.

Für die weitere Analyse verwende ich die Angabe „id_code“ und die folgenden Endpoints:
(a) Liste: Likes
https://api.instagram.com/v1/media/[ID]/likes?access_token=[TOKEN]
– gibt die likende Accounts zur hinterlegten Media-ID aus

(b) Liste: Kommentare
https://api.instagram.com/v1/media/[ID]/comments?access_token=[TOKEN]
– gibt die kommentierenden Accounts zzgl. der (!) Kommentare zur hinterlegten Media-ID aus

Die Erfassung der o.g. „Rohdaten“ funktioniert recht stabil und weitestgehend fehlerfrei. Ausgehend hiervon ergeben sich nun Antworten auf die folgenden Fragen:

1. Welche Posts werden am häufigsten frequentiert (sichtbar durch Likes und Kommentare)?
2. Welche Hashtags generieren das effektivste Like / Kommentar-Verhältnis?
3. Welche Postingzeiten sind effektiv? (sichtbar durch die Ergebnisse von (1) und (2)
4. Wer mag diese oder jene Fotos gepaart mit konkreten Botschaften (Tags) (bezogen auf den eigenen oder fremde Accounts)?
5. Woher kommen die Fans (eigener Account, fremder Account)?
6. Wie aktiv und treu sind die Fans?

Die Fertigstellung einer ersten Version ist für 21.02.2016 geplant.

Man findet hier im Prinzip dasselbe Ergebnis wie bei dem Endpoint „Media=>Recent“ vor, dieses ist lediglich um die Angaben der einzelnen Accounts erweitert.

Die Einträge zu den Accounts lassen sich wie folgt auslesen:
[data][xyz][user][username] => Nickname, Accountname
[data][xyz][user][full_name] => falls hinterlegt, „Realname“

Das Ergebnis aus der o.g. Abfrage beinhaltet weitere Angaben zu der konkreten Location. Diese lassen sich wie folgt auslesen:
[data][xyz][location][latitude]
[data][xyz][location][longitude]
[data][xyz][location][name] => Name der Location
[data][xyz][location][id] => interne ID der Location

Die ausgelesene ID lässt sich nun für die Beobachtung und Bewertung einzelner (Unter)locations (Beispiel: Hauptlocation => Paris, Unterlocation => Eifelturm) weiter verwerten. Die API-Abfrageurl lautet hierfür: https://api.instagram.com/v1/locations/[id]/media/recent?access_token=[deintoken] und die Verwertung entsprechender Ergebnisse hatte ich im Artikel „Analyse auf Ebene der Posts“ beschrieben. Bei sauberer Durchführung von Langzeitanalysen lässt sich unter Einbeziehung der Variablen „Likes„, „Comments„, „Fananzahl der Accounts“ die „Beliebtheit“ oder auch wirtschaftliche Werthaltigkeit von – z.B. – touristisch interessanten Sehenswürdigkeiten, Denkmälern, Strände oder auch Städte begutachten und dauerhaft beobachten.

Die „manuelle“ Begutachtung der Location lässt sich über das folgende Schema realisieren: https://www.instagram.com/explore/locations/[id]/.

Beispiele sind:
„Tour Eiffel“
„Höfe am Brühl (Leipzig)“
„Thomaskirche (Leipzig)“
„MSC Mattstedt (bei Apolda)“
„Mc Donalds Apolda“
„Weimar“
„Rom – Iceclub“

Interessant ist hier natürlich auch die Verbindung zur Hashtaganalyse, da man hier Hinweise oder interpretationsfähige Grundlagen für das aktuell besprochene „User Intent“ finden kann.

Eine Erweiterung der Analysedatenbanken ist geplant und wir werden die konkreten Freigabemodalitäten noch intern diskutieren.