flashbackscraper

Under min undervisning på en kurs som heter "Kommunikation i nya och sociala medier" var det en student som var intresserad av att anlysera en tråd på Flashback i sin examinationsuppgift. Jag började då skriva en enkel skrapare (scraper) som hämtade en hel tråd.

Jag fick sedan feedback från lite forskare och datajournalister och lade till några funktioner som kan vara användbara. Resultatet blev Flashbackscraper, som man kan ladda ned på min Github-sida. För er som är dataintresserade får ni gärna testa och lägga till funktionalitet.

I nuläget finns följande funktionalitet:

  • Skrapa en hel tråd.
  • Skrapa flera trådar från en lista.
  • Hämta alla tråd-URLar från ett subforum.
  • Köra skrapningen över Tor

Den sista funktionen är användbar om man vill vara anonym gentemot Flashbacks servrar, men jag vill utfärda en varning för att jag inte är så bra på att anonymisera nätverksanslutningar, det finns många saker jag inte har tänkt på, typ DNS-läckor och ipv6. Dessutom behövs det inte, eftersom Flashback inte har några begränsningar på deras web frontend.

Datan sparas i en sqlite3-databas och det finns ett skript för att konvertera till .csv om man vill jobba med datan i Libre Office eller Excel och ett skript om man vill visualisera datan i Gephi.

Varför ska man då hämta data från Flashback? Jag vet inte riktigt, vilket är den mest intressanta utgångspunkten när man programmerar. Men jag har ändå gjort några tester och preliminära analyser.

Eftersom ett annat intresse jag har är filosofi, så tänkte jag att det kunde vara lite intressant att se vad man pratade om på Flashbacks subforum Vetenskap & humaniora / Filosofi / Akademisk filosofi. Vilka filosofer/filosofier diskuteras mest på Flashback egentligen.

Resultaten av min lilla undersökning går att reproducera om man kikar i en Jupyter-notebook som jag lagt upp på Github.

Vilka filosofer diskuteras mest? (siffrorna i absoluta tal)

  1. Heidegger 346
  2. Platon 219
  3. Sen 205
  4. Wittgenstein 194
  5. Kant 177
  6. Nietzsche 140
  7. Hegel 123
  8. Russell 114
  9. Hume 109
  10. Foucault 102
  11. Frege 98
  12. Popper 88
  13. Husserl 87
  14. Sokrates 83
  15. Derrida 83
  16. Descartes 82
  17. Sartre 76
  18. Mill 76
  19. Aristoteles 58
  20. Marx 54

Egentligen är det inget som överraskar här. På plats 3 bör vi dock räkna ned "Sen", eftersom det troligtvis inte rör sig om Amartya Sen i alla dessa fal utan förkortningen för "sedan" i början av en mening. Om det finns en indelning mellan kontinental och analytisk filosofi är min bedömning att det är ganska "jämnt skägg".

Men filosofi innebär ju även en massa "-ismer". Jag kollade även upp det:

  1. realism 270
  2. idealism 196
  3. skepticism 188
  4. solipsism 174
  5. relativism 163
  6. utilitarism 111
  7. empirism 109
  8. positivism 103
  9. materialism 101
  10. fysikalism 87
  11. nihilism 83
  12. existentialism 82
  13. nazism 72
  14. kunskapsnihilism 65
  15. determinism 62
  16. rationalism 60
  17. physicalism 55
  18. kapitalism 54
  19. mekanism 54
  20. antisemitism 52

Även här ser vi en god spridning i den kanoniserade västerländska filosofin. Förutom möjligtvis "nazism" och "antisemitism" som snarare är övergripande ideologier än filosofiska positioner. Jag har ingen aning om vad som menas med "kunskapsnihilism"...

Flashback är en av Sveriges största "sociala medier". Här finns säkert mycket mer att beforska. Hör gärna av er om någon av er tycker att det finns användning för mitt lilla program och om det finns saker jag borde utveckla.

Skriven av admin den 15 december 2018