Sorlet från Statens Offentliga Utredningar

Kungliga biblioteket har nu digitaliserat alla Statens offentliga utredningar från 1922 till 1996. Detta material är ju väldigt intressant för alla som vill förstå samhället. Men i formen av pappersböcker har möjligheterna för att söka I SOUer varit mycket begränsade. I min avhandling analyserar jag exempelvis fyra SOUer som handlar om samhällsvetenskaper och statistik. Men, en fråga som man ibland ställer sig, och som ibland infinner sig med en tonalitet av ångest är; om jag hade kunnat söka i fulltext i ALLA utredningar hade jag kanske hittat något mera, någonting avgörande.

Eftersom SOUerna numera är inskannade som pdf-filer och dessutom är OCR-behandlade är det bara en fråga om lite digital handpåläggning för att göra allt som är digitaliserat sökbart. Datan finns, men den måste förbehandlas för att det ska gå att söka med det allra mest kraftfulla sättet att söka på: reguljära uttryck.

Jag tänkte i denna post lägga ut lite av det material jag hittills har skapat, i tid- och bandbreddssparande syfte, ifall att någon vill experimentera. SOUerna finns även tillagda i Korp, men då med ett annat sökgränssnitt.

Jag började med att ladda hem alla SOUer från KBs servrar med hjälp av ett litet pythonskript som jag fick skickat till mig på IRC och som finns att hämta på Github. Eftersom hela materialet väger in på cirka 400Gb rekommenderar jag att man tänker efter i termer av att bandbreddsbesparingar innan man ger sig på detta. Om målet är att bara skapa textfiler så delar jag med mig av dessa nedan.

När detta var klart (2 dagar senare) så körde jag det lilla programmet pdftotext på alla filer och väntade ytterligare några timmar. Pdftotext gör precis vad det säger, det konverterar de tunga pdf-filerna till textfiler. Jag är osäker på om det finns mera exakta konverterare, så om ni känner till några, kommentera gärna.

Här är ett exempel på en enskild utredning som ren text-fil.

Att söka inne i en pdf-fil kan vara användbart om man vet vilken SOU man ska arbeta med. Men för att söka i alla SOUer är det klumpigt.

Så, här kommer det råa output från textkonverteringen i tre olika "klumpar".

• Alla utredningar som individuella textfiler (zip) (877Mb) Ladda ned denna för att enkelt indexera i Spotlight på OSX
• Alla utredningar som 8 stora filer baserade på vilket decennium de är publicerade (zip) (873Mb)
• Alla utredningar som en enda stor textfil (zip) (872 Mb)

Textversionerna är för det första inte helt exakta. Detta hänger samman med hur Kungliga bibliotekets robot skannade in dem och hur själva OCR-hanteringen gick till. Sedan borde det finnas någon form av felkälla i pdftotext. Oavsett vilket är det nu möjligt att tillämpa avancerade sökningar i hela materialet, behandla det hur man vill och göra statistik hur man vill.

Jag gillar att använda 70-talsprogrammet grep (med alternativet -E för att expandera de reguljära uttrycken) för att söka i filer med. Man kan såklart ladda in i en texteditor, men hela textmassan är 2.7Gb stor, så det är ganska körigt med minne osv. Grep är bra för att det inte behöver ladda allt till datorns minne. Men ha ändå överseende med att vissa sökningar kan dröja.

Nu kan man börja få väldigt intressanta resultat. Här ett exempel från den stora filen (det går att köra mitt lilla kommando i terminalen på ett Unix-system, ex. Linux, MacOs):

grep -Eoi 'knark.*' SOUtxtAllBigFile.txt

Så får man följande poetiska resultat (utdrag):

knarkklubbar.
knarkarkvart
knarkarkvarf”.
knarkarkvartar
knarkotikamissbruket
knarkare eller
knarkarnästen
knarkarna en dominerande
knark.
knarkare visar
knarkas inte vid kiosken, utan på andra
knarkhärvan i Växjö
knarkligan» eller »ungdomsligan» och uppgav att några
knarkade sista gången» ganska kort tid före intervjun.
Knarkar du för närvarande?» med nej och
knarket verkar. Till övervägande del tycks de ha positiva förväntningar
knarkets förmodade effekt, att de
Knarkhäktningar på löpande band
Knarkares far klagar hos JO
Knarkkliniker planeras i H-borg och Lund
knarkande. Ett exempel:
Knarkargrupper» bildas. Narkomanenernas

Ofta anklagas SOUer för att innehålla ett torrt språk. Dessa kreativa kombinationer bevisar motsatsen.

Så här långt har jag kommit. Är det någon som har bra förslag på vad nästa steg ska vara? Vilket gränssnitt kan man bygga? Vilka analyser kan man göra? Vad är intressant att göra statistik på?

Bryt facebookdriften och kommentera!

\\

Uppdatering, 2015-06-01

Det enklaste sättet att söka verkar vara att ladda ned alla utredningar som individuella textfiler. Dels kommer datorn att indexera filerna. Men framförallt får man ut filnamnet, och därmed utredningens titel, när man kör en rekursiv grep. Då kan man ställa sig i katalogen med de uppackade filerna och köra exempelvis denna söksträng för att upptäcka på vilka olika sätt begreppet "tredje uppgiften" har använts på:

$ grep -r -Eio '.{10,100}tredje uppgift.*.{0,100}' *

Uppdatering 2: Gustav Holmberg har bloggat om sina sökningar i materialet samt Copyriot.