Sentiment analysis.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Norwegian Sentiment Analysis"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Imports"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "!pip install --upgrade --force-reinstall pandas numpy tensorflow keras"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "import tensorflow as tf\n",
    "import numpy as np\n",
    "from scipy.spatial.distance import cdist\n",
    "from sklearn.model_selection import train_test_split\n",
    "import pandas as pd\n",
    "\n",
    "from tensorflow.python.keras.models import Sequential\n",
    "from tensorflow.python.keras.layers import Dense, Embedding, Dropout, LSTM\n",
    "from tensorflow.python.keras.optimizers import Adam\n",
    "from tensorflow.python.keras.preprocessing.text import Tokenizer\n",
    "from tensorflow.python.keras.preprocessing.sequence import pad_sequences"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Import our own dataset\n",
    "Datasettet er har data fra to veldig ulike kilder. Den første kilden er [NoReC, Norwegian Review Corpus](https://github.com/ltgoslo/norec) som inneholder norske anmeldelser med dens tilhørende terningkast. Vi har preprosessert dette fra før slik at 1 og 2 ble satt til 1, 3 og 4 ble satt til 3 og 5 og 6 ble satt til 6 for å henholdsvis ha tre klasser: negativ, nøytral og positiv. Disse anmeldelsene er veldig lange og inneholder god grammatisk norsk.  \n",
    "Den andre kilden er vårt eget datasett hvor vi har brukt Twitter's API for å hente ut norske tweets. Disse ble soft-annotert ved bruk av en ordliste av negative/positive ord samt emojiene i tweeten. Vi fjernte så alle tweets som ikke inneholdte norske ord. Til slutt stemmet vi tweetsene."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/anaconda3/lib/python3.7/site-packages/ipykernel_launcher.py:2: ParserWarning: Falling back to the 'python' engine because the 'c' engine does not support regex separators (separators > 1 char and different from '\\s+' are interpreted as regex); you can avoid this warning by specifying engine='python'.\n",
      "  \n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sentiment</th>\n",
       "      <th>text</th>\n",
       "      <th>date</th>\n",
       "      <th>username</th>\n",
       "      <th>location</th>\n",
       "      <th>follower_count</th>\n",
       "      <th>favorite_count</th>\n",
       "      <th>retweet_count</th>\n",
       "      <th>verified</th>\n",
       "      <th>result_type</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>147648</th>\n",
       "      <td>1</td>\n",
       "      <td>ærespris til dde er bar *så* på sin plass vakker namso fødeby spellemann</td>\n",
       "      <td>1.553985e+12</td>\n",
       "      <td>AMHelland</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8960</th>\n",
       "      <td>2</td>\n",
       "      <td>eastwood fornemm for folk jo det interesser deg på en uro halvsjener måt er du intenst hemm opptatt av det hvit lys ett at hjert slutt slå men fordi du lev i en kultiver ironisk darwinistisk puritanerjungel komm du antak ikk til innrømm det selvfølg betyr det noe at eastwood blir 81 år i mai en ...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>98872</th>\n",
       "      <td>2</td>\n",
       "      <td>tja rim er det nok ikk men redd det ett liv</td>\n",
       "      <td>1.554199e+12</td>\n",
       "      <td>TerjeEriksen3</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30906</th>\n",
       "      <td>2</td>\n",
       "      <td>ååååhh så deil dirigent giordano bellincampi solist solv kringlebotn verk av jean sibelius richard strauss og carl niels det var sang som kunn smelt februarsnø og orkesterton som kunn fått krokus til sprett fram i går lag solv kringlebotn og kristiansand symfoniorkest musikkfest i domkirk progra...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>173112</th>\n",
       "      <td>0</td>\n",
       "      <td>brutalt og brutalt har ikk akkurat overbevist skbrann</td>\n",
       "      <td>1.555175e+12</td>\n",
       "      <td>jabbidabbadoo</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44262</th>\n",
       "      <td>1</td>\n",
       "      <td>dett vil også gjeld for tegnspråk om ikk tegnspråksituasjon bedr</td>\n",
       "      <td>1.554376e+12</td>\n",
       "      <td>Smyhreholten</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>8.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>129403</th>\n",
       "      <td>1</td>\n",
       "      <td>1 or 2 tiktok</td>\n",
       "      <td>1.554116e+12</td>\n",
       "      <td>GwynethArabela</td>\n",
       "      <td>[object Object]</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14863</th>\n",
       "      <td>2</td>\n",
       "      <td>tveksamt om en skylt om \"rasrisk\" på klyvt träd friskriv eventuellt ansv vid skad</td>\n",
       "      <td>1.554442e+12</td>\n",
       "      <td>pappersfriskola</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>148281</th>\n",
       "      <td>1</td>\n",
       "      <td>denisedresserg</td>\n",
       "      <td>1.553980e+12</td>\n",
       "      <td>mxlapolitica</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>154396</th>\n",
       "      <td>0</td>\n",
       "      <td>er ikk hull i buks in leng</td>\n",
       "      <td>1.553845e+12</td>\n",
       "      <td>KWilsberg</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>64661</th>\n",
       "      <td>1</td>\n",
       "      <td>pen lyd i den ja lit støy hvilk pris tenk du på</td>\n",
       "      <td>1.554321e+12</td>\n",
       "      <td>styggedom</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>177516</th>\n",
       "      <td>0</td>\n",
       "      <td>i lagi stress</td>\n",
       "      <td>1.555345e+12</td>\n",
       "      <td>akaazmi</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>70685</th>\n",
       "      <td>2</td>\n",
       "      <td>am i bovvered🤔</td>\n",
       "      <td>1.554312e+12</td>\n",
       "      <td>anncaswell2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27881</th>\n",
       "      <td>2</td>\n",
       "      <td>vurrr reis</td>\n",
       "      <td>1.554402e+12</td>\n",
       "      <td>faksakaloglu</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>121810</th>\n",
       "      <td>2</td>\n",
       "      <td>skjer det noe som helst på deadlin day i norg</td>\n",
       "      <td>1.554140e+12</td>\n",
       "      <td>oarisdal</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>105349</th>\n",
       "      <td>2</td>\n",
       "      <td>godt gjort dam og gratuler allround et tilfell av alt de barbadisk menn kan gjør så også kan bajan dam</td>\n",
       "      <td>1.554495e+12</td>\n",
       "      <td>DerAkademiker</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>108953</th>\n",
       "      <td>1</td>\n",
       "      <td>/2 vi kan gjern møt også hvis du vil dett gjeld også hvis du er oppdragstak og ikk skal delt i arrang</td>\n",
       "      <td>1.554485e+12</td>\n",
       "      <td>mohamabd86</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>3.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>116622</th>\n",
       "      <td>2</td>\n",
       "      <td>📸takephøtø</td>\n",
       "      <td>1.554156e+12</td>\n",
       "      <td>AsifJee69500792</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>70003</th>\n",
       "      <td>2</td>\n",
       "      <td>du har ret</td>\n",
       "      <td>1.554313e+12</td>\n",
       "      <td>__P__M__C__</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>False</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41038</th>\n",
       "      <td>1</td>\n",
       "      <td>hei vi har prøvd å få rett opp feil men dett hadd ikk det resultat vi ønsk nå vent vi på</td>\n",
       "      <td>1.554381e+12</td>\n",
       "      <td>Ruter</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>True</td>\n",
       "      <td>recent</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "        sentiment  \\\n",
       "147648          1   \n",
       "8960            2   \n",
       "98872           2   \n",
       "30906           2   \n",
       "173112          0   \n",
       "44262           1   \n",
       "129403          1   \n",
       "14863           2   \n",
       "148281          1   \n",
       "154396          0   \n",
       "64661           1   \n",
       "177516          0   \n",
       "70685           2   \n",
       "27881           2   \n",
       "121810          2   \n",
       "105349          2   \n",
       "108953          1   \n",
       "116622          2   \n",
       "70003           2   \n",
       "41038           1   \n",
       "\n",
       "                                                                                                                                                                                                                                                                                                               text  \\\n",
       "147648                                                                                                                                                                                                                                     ærespris til dde er bar *så* på sin plass vakker namso fødeby spellemann   \n",
       "8960    eastwood fornemm for folk jo det interesser deg på en uro halvsjener måt er du intenst hemm opptatt av det hvit lys ett at hjert slutt slå men fordi du lev i en kultiver ironisk darwinistisk puritanerjungel komm du antak ikk til innrømm det selvfølg betyr det noe at eastwood blir 81 år i mai en ...   \n",
       "98872                                                                                                                                                                                                                                                                   tja rim er det nok ikk men redd det ett liv   \n",
       "30906   ååååhh så deil dirigent giordano bellincampi solist solv kringlebotn verk av jean sibelius richard strauss og carl niels det var sang som kunn smelt februarsnø og orkesterton som kunn fått krokus til sprett fram i går lag solv kringlebotn og kristiansand symfoniorkest musikkfest i domkirk progra...   \n",
       "173112                                                                                                                                                                                                                                                        brutalt og brutalt har ikk akkurat overbevist skbrann   \n",
       "44262                                                                                                                                                                                                                                              dett vil også gjeld for tegnspråk om ikk tegnspråksituasjon bedr   \n",
       "129403                                                                                                                                                                                                                                                                                                1 or 2 tiktok   \n",
       "14863                                                                                                                                                                                                                             tveksamt om en skylt om \"rasrisk\" på klyvt träd friskriv eventuellt ansv vid skad   \n",
       "148281                                                                                                                                                                                                                                                                                               denisedresserg   \n",
       "154396                                                                                                                                                                                                                                                                                   er ikk hull i buks in leng   \n",
       "64661                                                                                                                                                                                                                                                               pen lyd i den ja lit støy hvilk pris tenk du på   \n",
       "177516                                                                                                                                                                                                                                                                                                i lagi stress   \n",
       "70685                                                                                                                                                                                                                                                                                                am i bovvered🤔   \n",
       "27881                                                                                                                                                                                                                                                                                                    vurrr reis   \n",
       "121810                                                                                                                                                                                                                                                                skjer det noe som helst på deadlin day i norg   \n",
       "105349                                                                                                                                                                                                       godt gjort dam og gratuler allround et tilfell av alt de barbadisk menn kan gjør så også kan bajan dam   \n",
       "108953                                                                                                                                                                                                        /2 vi kan gjern møt også hvis du vil dett gjeld også hvis du er oppdragstak og ikk skal delt i arrang   \n",
       "116622                                                                                                                                                                                                                                                                                                   📸takephøtø   \n",
       "70003                                                                                                                                                                                                                                                                                                    du har ret   \n",
       "41038                                                                                                                                                                                                                      hei vi har prøvd å få rett opp feil men dett hadd ikk det resultat vi ønsk nå vent vi på   \n",
       "\n",
       "                date         username         location  follower_count  \\\n",
       "147648  1.553985e+12        AMHelland              NaN             NaN   \n",
       "8960             NaN              NaN              NaN             NaN   \n",
       "98872   1.554199e+12    TerjeEriksen3              NaN             NaN   \n",
       "30906            NaN              NaN              NaN             NaN   \n",
       "173112  1.555175e+12    jabbidabbadoo              NaN             NaN   \n",
       "44262   1.554376e+12     Smyhreholten              NaN             NaN   \n",
       "129403  1.554116e+12   GwynethArabela  [object Object]             NaN   \n",
       "14863   1.554442e+12  pappersfriskola              NaN             NaN   \n",
       "148281  1.553980e+12     mxlapolitica              NaN             NaN   \n",
       "154396  1.553845e+12        KWilsberg              NaN             NaN   \n",
       "64661   1.554321e+12        styggedom              NaN             NaN   \n",
       "177516  1.555345e+12          akaazmi              NaN             NaN   \n",
       "70685   1.554312e+12      anncaswell2              NaN             NaN   \n",
       "27881   1.554402e+12     faksakaloglu              NaN             NaN   \n",
       "121810  1.554140e+12         oarisdal              NaN             NaN   \n",
       "105349  1.554495e+12    DerAkademiker              NaN             NaN   \n",
       "108953  1.554485e+12       mohamabd86              NaN             NaN   \n",
       "116622  1.554156e+12  AsifJee69500792              NaN             NaN   \n",
       "70003   1.554313e+12      __P__M__C__              NaN             NaN   \n",
       "41038   1.554381e+12            Ruter              NaN             NaN   \n",
       "\n",
       "        favorite_count  retweet_count verified result_type  \n",
       "147648             NaN            NaN    False      recent  \n",
       "8960               NaN            NaN      NaN         NaN  \n",
       "98872              NaN            NaN    False      recent  \n",
       "30906              NaN            NaN      NaN         NaN  \n",
       "173112             NaN            NaN    False      recent  \n",
       "44262              8.0            NaN    False      recent  \n",
       "129403             NaN            NaN    False      recent  \n",
       "14863              NaN            NaN    False      recent  \n",
       "148281             NaN            NaN    False      recent  \n",
       "154396             NaN            NaN    False      recent  \n",
       "64661              NaN            NaN    False      recent  \n",
       "177516             NaN            NaN    False      recent  \n",
       "70685              2.0            NaN    False      recent  \n",
       "27881              1.0            NaN    False      recent  \n",
       "121810             NaN            NaN    False      recent  \n",
       "105349             1.0            NaN    False      recent  \n",
       "108953             3.0            NaN    False      recent  \n",
       "116622             NaN            NaN    False      recent  \n",
       "70003              1.0            NaN    False      recent  \n",
       "41038              NaN            NaN     True      recent  "
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.set_option('max_colwidth', 300)\n",
    "data = pd.read_csv('mixed.csv', sep='\\;')\n",
    "data.sample(20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Split in train and test set\n",
    "Vi deler datasettet opp i et treningssett og et testsett til forholdet 80/20. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train-set size:  151002\n",
      "Test-set size:   37751\n"
     ]
    }
   ],
   "source": [
    "X = data[\"text\"]\n",
    "y = data[\"sentiment\"]\n",
    "\n",
    "x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.20, random_state=123)\n",
    "print(\"Train-set size: \", len(x_train))\n",
    "print(\"Test-set size:  \", len(x_test))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Tokenizer\n",
    "En maskinlæringsmodell kan bare lese tall, ikke tekst. Så her gjør vi om alle ordene til et tall (token) som henviser til en ordbok hvor det tallet befinner seg. Hvert eksempel (linje i datasettet) blir omgjort til en vektor, eller sekvens, som inneholder hvert tall (token)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Antall forskjellige ord i hele datasettet:  292520\n"
     ]
    }
   ],
   "source": [
    "num_words = 10000\n",
    "tokenizer = Tokenizer(num_words=num_words)\n",
    "tokenizer.fit_on_texts(x_train)\n",
    "print(\"Antall forskjellige ord i hele datasettet: \", len(tokenizer.word_index))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'og': 1,\n",
       " 'er': 2,\n",
       " 'i': 3,\n",
       " 'det': 4,\n",
       " 'som': 5,\n",
       " 'en': 6,\n",
       " 'på': 7,\n",
       " 'med': 8,\n",
       " 'av': 9,\n",
       " 'til': 10,\n",
       " 'for': 11,\n",
       " 'den': 12,\n",
       " 'ikk': 13,\n",
       " 'har': 14,\n",
       " 'men': 15,\n",
       " 'at': 16,\n",
       " 'de': 17,\n",
       " 'et': 18,\n",
       " 'om': 19,\n",
       " 'han': 20,\n",
       " 'du': 21,\n",
       " 'seg': 22,\n",
       " 'fra': 23,\n",
       " 'vi': 24,\n",
       " 'så': 25,\n",
       " 'kan': 26,\n",
       " 'jeg': 27,\n",
       " 'også': 28,\n",
       " 'dett': 29,\n",
       " 'film': 30,\n",
       " 'blir': 31,\n",
       " 'var': 32,\n",
       " 'sin': 33,\n",
       " 'ut': 34,\n",
       " 'noe': 35,\n",
       " 'mer': 36,\n",
       " 'der': 37,\n",
       " 'når': 38,\n",
       " 'ell': 39,\n",
       " 'all': 40,\n",
       " 'ett': 41,\n",
       " 'man': 42,\n",
       " 'her': 43,\n",
       " 'denn': 44,\n",
       " 'gjør': 45,\n",
       " 'selv': 46,\n",
       " 'enn': 47,\n",
       " 'opp': 48,\n",
       " 'skal': 49,\n",
       " 'litt': 50,\n",
       " 'spill': 51,\n",
       " 'hun': 52,\n",
       " 'vær': 53,\n",
       " 'the': 54,\n",
       " 'bar': 55,\n",
       " 'får': 56,\n",
       " 'vil': 57,\n",
       " 'å': 58,\n",
       " 'noen': 59,\n",
       " 'over': 60,\n",
       " 'komm': 61,\n",
       " 'to': 62,\n",
       " 'inn': 63,\n",
       " 'da': 64,\n",
       " 'god': 65,\n",
       " 'samm': 66,\n",
       " 'mye': 67,\n",
       " 'andr': 68,\n",
       " 'helt': 69,\n",
       " 'først': 70,\n",
       " 'lik': 71,\n",
       " 'sid': 72,\n",
       " 'gang': 73,\n",
       " 'må': 74,\n",
       " 'tid': 75,\n",
       " 'stor': 76,\n",
       " 'godt': 77,\n",
       " 'mang': 78,\n",
       " 'nå': 79,\n",
       " 'nok': 80,\n",
       " 'båd': 81,\n",
       " 'år': 82,\n",
       " 'alt': 83,\n",
       " 'sett': 84,\n",
       " 'sitt': 85,\n",
       " 'ha': 86,\n",
       " 'mot': 87,\n",
       " 'låt': 88,\n",
       " 'ann': 89,\n",
       " 'hel': 90,\n",
       " 'før': 91,\n",
       " 'finn': 92,\n",
       " 'meg': 93,\n",
       " 'ved': 94,\n",
       " 'hva': 95,\n",
       " 'best': 96,\n",
       " 'få': 97,\n",
       " 'mest': 98,\n",
       " 'bruk': 99,\n",
       " 'virk': 100,\n",
       " 'lit': 101,\n",
       " 'går': 102,\n",
       " 'mellom': 103,\n",
       " 'ble': 104,\n",
       " 'deg': 105,\n",
       " 'dag': 106,\n",
       " 'vært': 107,\n",
       " 'hadd': 108,\n",
       " 'bli': 109,\n",
       " 'liv': 110,\n",
       " 'uten': 111,\n",
       " 'hvor': 112,\n",
       " 'histori': 113,\n",
       " 'slik': 114,\n",
       " 'lag': 115,\n",
       " 'del': 116,\n",
       " 'ser': 117,\n",
       " 'dem': 118,\n",
       " 'ing': 119,\n",
       " 'oss': 120,\n",
       " 'fler': 121,\n",
       " 'se': 122,\n",
       " 'vis': 123,\n",
       " 'kanskj': 124,\n",
       " 'album': 125,\n",
       " 'und': 126,\n",
       " 'kunn': 127,\n",
       " 'gir': 128,\n",
       " 'føl': 129,\n",
       " 'nest': 130,\n",
       " 'rund': 131,\n",
       " 'nye': 132,\n",
       " 'rett': 133,\n",
       " 'verd': 134,\n",
       " 'sist': 135,\n",
       " 'tar': 136,\n",
       " 'norsk': 137,\n",
       " 'bedr': 138,\n",
       " 'hold': 139,\n",
       " 'gjennom': 140,\n",
       " 'igj': 141,\n",
       " 'bild': 142,\n",
       " 'henn': 143,\n",
       " 'end': 144,\n",
       " 'langt': 145,\n",
       " 'hell': 146,\n",
       " 'mul': 147,\n",
       " 'blitt': 148,\n",
       " 'klar': 149,\n",
       " 'band': 150,\n",
       " 'måt': 151,\n",
       " 'likevel': 152,\n",
       " 'bra': 153,\n",
       " 'aldri': 154,\n",
       " 'ta': 155,\n",
       " 'vår': 156,\n",
       " 'diss': 157,\n",
       " 'bil': 158,\n",
       " 'sted': 159,\n",
       " 'hør': 160,\n",
       " 'tre': 161,\n",
       " 'blant': 162,\n",
       " 'jo': 163,\n",
       " 'ned': 164,\n",
       " 'mennesk': 165,\n",
       " 'musikk': 166,\n",
       " 'hvordan': 167,\n",
       " 'folk': 168,\n",
       " 'of': 169,\n",
       " 'seri': 170,\n",
       " 'vel': 171,\n",
       " 'mann': 172,\n",
       " 'start': 173,\n",
       " 'lang': 174,\n",
       " 'gansk': 175,\n",
       " 'ligg': 176,\n",
       " 'bok': 177,\n",
       " 'scen': 178,\n",
       " 'følg': 179,\n",
       " 'tilbak': 180,\n",
       " 'skjerm': 181,\n",
       " 'lett': 182,\n",
       " 'veld': 183,\n",
       " 'står': 184,\n",
       " 'plat': 185,\n",
       " 'samtid': 186,\n",
       " 'si': 187,\n",
       " 'svært': 188,\n",
       " 'tim': 189,\n",
       " 'hvis': 190,\n",
       " 'leng': 191,\n",
       " 'slutt': 192,\n",
       " 'jobb': 193,\n",
       " 'ham': 194,\n",
       " 'barn': 195,\n",
       " 'vill': 196,\n",
       " 'fall': 197,\n",
       " 'lov': 198,\n",
       " 'altså': 199,\n",
       " 'skull': 200,\n",
       " 'tv': 201,\n",
       " 'syn': 202,\n",
       " 'far': 203,\n",
       " 'ting': 204,\n",
       " 'egent': 205,\n",
       " 'mindr': 206,\n",
       " 'fordi': 207,\n",
       " 'minst': 208,\n",
       " 'faktisk': 209,\n",
       " 'ung': 210,\n",
       " 'tatt': 211,\n",
       " 'hvert': 212,\n",
       " 'tidliger': 213,\n",
       " 'møt': 214,\n",
       " 'din': 215,\n",
       " 'gaml': 216,\n",
       " 'snakk': 217,\n",
       " 'ny': 218,\n",
       " 'sang': 219,\n",
       " 'akkurat': 220,\n",
       " 'fikk': 221,\n",
       " 'norg': 222,\n",
       " 'kvinn': 223,\n",
       " 'spesielt': 224,\n",
       " 'funger': 225,\n",
       " 'person': 226,\n",
       " 'egen': 227,\n",
       " 'opplev': 228,\n",
       " 'størr': 229,\n",
       " 'grunn': 230,\n",
       " 'bak': 231,\n",
       " 'fått': 232,\n",
       " 'min': 233,\n",
       " 'stort': 234,\n",
       " 'gå': 235,\n",
       " 'slag': 236,\n",
       " 'plass': 237,\n",
       " 'problem': 238,\n",
       " 'vet': 239,\n",
       " 'handl': 240,\n",
       " 'alltid': 241,\n",
       " 'enkelt': 242,\n",
       " 'regissør': 243,\n",
       " 'la': 244,\n",
       " 'van': 245,\n",
       " 'ord': 246,\n",
       " 'vansk': 247,\n",
       " 'stemm': 248,\n",
       " 'legg': 249,\n",
       " 'gjort': 250,\n",
       " 'test': 251,\n",
       " 'fir': 252,\n",
       " 'eksempel': 253,\n",
       " 'tillegg': 254,\n",
       " 'forhold': 255,\n",
       " 'treng': 256,\n",
       " 'ja': 257,\n",
       " 'fortsatt': 258,\n",
       " 'minutt': 259,\n",
       " 'sier': 260,\n",
       " 'oft': 261,\n",
       " 'kjent': 262,\n",
       " 'flest': 263,\n",
       " 'kom': 264,\n",
       " 'par': 265,\n",
       " 'skriv': 266,\n",
       " 'les': 267,\n",
       " 'full': 268,\n",
       " 'roll': 269,\n",
       " 'nytt': 270,\n",
       " 'hver': 271,\n",
       " 'ønsk': 272,\n",
       " 'lev': 273,\n",
       " 'merk': 274,\n",
       " 'land': 275,\n",
       " 'begynn': 276,\n",
       " 'tekst': 277,\n",
       " 'kamp': 278,\n",
       " 'lyd': 279,\n",
       " 'klart': 280,\n",
       " 'tall': 281,\n",
       " 'fin': 282,\n",
       " 'spenn': 283,\n",
       " 'pris': 284,\n",
       " 'derfor': 285,\n",
       " 'bør': 286,\n",
       " 'fortell': 287,\n",
       " 'imidlertid': 288,\n",
       " 'død': 289,\n",
       " 'enest': 290,\n",
       " 'dår': 291,\n",
       " 'skap': 292,\n",
       " 'hjelp': 293,\n",
       " 'gi': 294,\n",
       " 'sær': 295,\n",
       " 'hos': 296,\n",
       " 'pass': 297,\n",
       " 'tror': 298,\n",
       " 'ein': 299,\n",
       " 'publikum': 300,\n",
       " 'kort': 301,\n",
       " 'aller': 302,\n",
       " 'tross': 303,\n",
       " 'forsøk': 304,\n",
       " 'nem': 305,\n",
       " 'imponer': 306,\n",
       " 'lar': 307,\n",
       " 'velg': 308,\n",
       " 'kron': 309,\n",
       " 'overrask': 310,\n",
       " 'mor': 311,\n",
       " 'versjon': 312,\n",
       " 'tenk': 313,\n",
       " 'frem': 314,\n",
       " 'in': 315,\n",
       " 'n': 316,\n",
       " 'you': 317,\n",
       " 'minn': 318,\n",
       " 'amerikansk': 319,\n",
       " 'hvorfor': 320,\n",
       " 'små': 321,\n",
       " 'interessant': 322,\n",
       " 'gjeld': 323,\n",
       " 'ei': 324,\n",
       " 'spilt': 325,\n",
       " 'and': 326,\n",
       " 'kun': 327,\n",
       " 'kamera': 328,\n",
       " 'stad': 329,\n",
       " 'telefon': 330,\n",
       " 'sterk': 331,\n",
       " 'burd': 332,\n",
       " 'famili': 333,\n",
       " 'form': 334,\n",
       " 'sånn': 335,\n",
       " 'slett': 336,\n",
       " 'roman': 337,\n",
       " 'figur': 338,\n",
       " 'vikt': 339,\n",
       " 'kveld': 340,\n",
       " 'spor': 341,\n",
       " 'dessverr': 342,\n",
       " 'prøv': 343,\n",
       " 'skrev': 344,\n",
       " 'dermed': 345,\n",
       " 'bort': 346,\n",
       " 'gjern': 347,\n",
       " 'still': 348,\n",
       " 'pc': 349,\n",
       " 'hatt': 350,\n",
       " 'kjenn': 351,\n",
       " 'fram': 352,\n",
       " 'grad': 353,\n",
       " 'typ': 354,\n",
       " 'året': 355,\n",
       " 'kjær': 356,\n",
       " 'hverandr': 357,\n",
       " 'egn': 358,\n",
       " 'syng': 359,\n",
       " 'rikt': 360,\n",
       " 'åpn': 361,\n",
       " 'me': 362,\n",
       " 'tyd': 363,\n",
       " 'handling': 364,\n",
       " 'mangl': 365,\n",
       " 'uansett': 366,\n",
       " 'begg': 367,\n",
       " 'natur': 368,\n",
       " 'satt': 369,\n",
       " 'venn': 370,\n",
       " 'anmeld': 371,\n",
       " 'løp': 372,\n",
       " 'lever': 373,\n",
       " 'fint': 374,\n",
       " 'mål': 375,\n",
       " 'størst': 376,\n",
       " 'oslo': 377,\n",
       " 'lys': 378,\n",
       " 'skjer': 379,\n",
       " 'rekk': 380,\n",
       " 'ulik': 381,\n",
       " 'hvilk': 382,\n",
       " 'nær': 383,\n",
       " 'maskin': 384,\n",
       " 'navn': 385,\n",
       " 'gutt': 386,\n",
       " 'dessut': 387,\n",
       " 'led': 388,\n",
       " 'rock': 389,\n",
       " 'hvem': 390,\n",
       " 'takk': 391,\n",
       " 'sak': 392,\n",
       " 'feil': 393,\n",
       " 'vider': 394,\n",
       " 'baser': 395,\n",
       " 'selvsagt': 396,\n",
       " 'kjøp': 397,\n",
       " 'knapp': 398,\n",
       " 'ute': 399,\n",
       " 'hard': 400,\n",
       " 'kjør': 401,\n",
       " 'driv': 402,\n",
       " 'mørk': 403,\n",
       " 'verk': 404,\n",
       " 'gled': 405,\n",
       " 'musikalsk': 406,\n",
       " 'håp': 407,\n",
       " 'nei': 408,\n",
       " 'vei': 409,\n",
       " 'veien': 410,\n",
       " 'tank': 411,\n",
       " 'via': 412,\n",
       " 'bygg': 413,\n",
       " 'beveg': 414,\n",
       " 'tro': 415,\n",
       " '000': 416,\n",
       " 'fortelling': 417,\n",
       " 'trekk': 418,\n",
       " 'samt': 419,\n",
       " 'ikkj': 420,\n",
       " 'gjord': 421,\n",
       " 'skikk': 422,\n",
       " '2': 423,\n",
       " 'sagt': 424,\n",
       " 'fantastisk': 425,\n",
       " 'humor': 426,\n",
       " 'støtt': 427,\n",
       " 'ekstr': 428,\n",
       " 'fem': 429,\n",
       " 'preg': 430,\n",
       " 'dukk': 431,\n",
       " 'peng': 432,\n",
       " 'vent': 433,\n",
       " 'redd': 434,\n",
       " 'mått': 435,\n",
       " 'elsk': 436,\n",
       " 'fremst': 437,\n",
       " 'kall': 438,\n",
       " 'hend': 439,\n",
       " 'øyeblikk': 440,\n",
       " 'eg': 441,\n",
       " 'ferd': 442,\n",
       " 'dei': 443,\n",
       " 'flott': 444,\n",
       " 'jent': 445,\n",
       " 'klassisk': 446,\n",
       " 'resultat': 447,\n",
       " 'sesong': 448,\n",
       " 'episod': 449,\n",
       " 'stil': 450,\n",
       " 'gikk': 451,\n",
       " '10': 452,\n",
       " 'spørsmål': 453,\n",
       " 'mist': 454,\n",
       " 'no': 455,\n",
       " 'sikker': 456,\n",
       " 'topp': 457,\n",
       " 'skjønn': 458,\n",
       " 'modell': 459,\n",
       " 'varm': 460,\n",
       " 'send': 461,\n",
       " 'nærmest': 462,\n",
       " 'greit': 463,\n",
       " 'krev': 464,\n",
       " 'svar': 465,\n",
       " 'new': 466,\n",
       " 'kraft': 467,\n",
       " 'alvor': 468,\n",
       " 'uttrykk': 469,\n",
       " 'forskjel': 470,\n",
       " 'nettopp': 471,\n",
       " 'fremdel': 472,\n",
       " 'jon': 473,\n",
       " 'skyld': 474,\n",
       " 'artist': 475,\n",
       " 'menn': 476,\n",
       " 'derimot': 477,\n",
       " 'lill': 478,\n",
       " 'lykk': 479,\n",
       " 'betyr': 480,\n",
       " 'john': 481,\n",
       " 'reis': 482,\n",
       " 'usa': 483,\n",
       " 'solid': 484,\n",
       " 'kjed': 485,\n",
       " 'fort': 486,\n",
       " 'tvil': 487,\n",
       " 'hovedperson': 488,\n",
       " 'unn': 489,\n",
       " 'øvr': 490,\n",
       " 'is': 491,\n",
       " 'midt': 492,\n",
       " 'tok': 493,\n",
       " 'forr': 494,\n",
       " 'sekund': 495,\n",
       " 'gått': 496,\n",
       " 'my': 497,\n",
       " 'snart': 498,\n",
       " 'absolutt': 499,\n",
       " 'utgangspunkt': 500,\n",
       " 'eget': 501,\n",
       " 'perfekt': 502,\n",
       " 'brukt': 503,\n",
       " '1': 504,\n",
       " 'sønn': 505,\n",
       " 'foran': 506,\n",
       " 'gitt': 507,\n",
       " 'ene': 508,\n",
       " 'slipp': 509,\n",
       " 'valg': 510,\n",
       " 'fast': 511,\n",
       " 'heldigvis': 512,\n",
       " 'fullt': 513,\n",
       " 'rest': 514,\n",
       " 'hent': 515,\n",
       " 'hus': 516,\n",
       " 'åren': 517,\n",
       " 'detalj': 518,\n",
       " 'frykt': 519,\n",
       " 'forfatter': 520,\n",
       " 'produsent': 521,\n",
       " 'fredag': 522,\n",
       " 'husk': 523,\n",
       " 'mobil': 524,\n",
       " 'het': 525,\n",
       " 'sa': 526,\n",
       " 'stemning': 527,\n",
       " 'regi': 528,\n",
       " 'fest': 529,\n",
       " 'plasser': 530,\n",
       " 'kost': 531,\n",
       " '20': 532,\n",
       " 'krig': 533,\n",
       " 'tak': 534,\n",
       " 'poeng': 535,\n",
       " 'relativ': 536,\n",
       " 'høy': 537,\n",
       " 'klass': 538,\n",
       " 'selvfølg': 539,\n",
       " 'forvent': 540,\n",
       " 'konsert': 541,\n",
       " 'dam': 542,\n",
       " 'direkt': 543,\n",
       " 'manus': 544,\n",
       " 'element': 545,\n",
       " 'berg': 546,\n",
       " 'ti': 547,\n",
       " 'svensk': 548,\n",
       " 'nyd': 549,\n",
       " '15': 550,\n",
       " 'it': 551,\n",
       " 'utgav': 552,\n",
       " 'politisk': 553,\n",
       " 'underhold': 554,\n",
       " 'høyt': 555,\n",
       " 'evn': 556,\n",
       " 'trykk': 557,\n",
       " 'spiller': 558,\n",
       " 'ton': 559,\n",
       " 'tom': 560,\n",
       " 'lagt': 561,\n",
       " 'hat': 562,\n",
       " 'by': 563,\n",
       " 'voks': 564,\n",
       " 'løs': 565,\n",
       " 'fortsett': 566,\n",
       " 'funksjon': 567,\n",
       " 'situasjon': 568,\n",
       " 'riktignok': 569,\n",
       " 'løsning': 570,\n",
       " 'gammel': 571,\n",
       " 'modern': 572,\n",
       " 'kast': 573,\n",
       " 'hjem': 574,\n",
       " 'hørt': 575,\n",
       " 'troverd': 576,\n",
       " 'sener': 577,\n",
       " 'forstå': 578,\n",
       " 'grep': 579,\n",
       " 'byen': 580,\n",
       " 'eit': 581,\n",
       " 'byr': 582,\n",
       " 'helst': 583,\n",
       " 'gjeng': 584,\n",
       " 'vist': 585,\n",
       " 'enkel': 586,\n",
       " 'ytels': 587,\n",
       " 'mat': 588,\n",
       " 'vit': 589,\n",
       " 'svak': 590,\n",
       " 'pop': 591,\n",
       " 'hjert': 592,\n",
       " 'video': 593,\n",
       " 'nevnt': 594,\n",
       " 'smak': 595,\n",
       " 'ren': 596,\n",
       " 'on': 597,\n",
       " 'ingenting': 598,\n",
       " 'hjemm': 599,\n",
       " 'slit': 600,\n",
       " 'treff': 601,\n",
       " 'mening': 602,\n",
       " 'hod': 603,\n",
       " 'usb': 604,\n",
       " 'skuespiller': 605,\n",
       " 'savn': 606,\n",
       " 'fremstår': 607,\n",
       " 'styr': 608,\n",
       " 'kon': 609,\n",
       " 'dør': 610,\n",
       " 'lek': 611,\n",
       " 'alen': 612,\n",
       " 'skuff': 613,\n",
       " 'meny': 614,\n",
       " 'app': 615,\n",
       " 'seks': 616,\n",
       " 'heng': 617,\n",
       " 'bær': 618,\n",
       " 'effektiv': 619,\n",
       " 'stykk': 620,\n",
       " 'nivå': 621,\n",
       " 'pluts': 622,\n",
       " 'skildr': 623,\n",
       " 'språk': 624,\n",
       " 'motor': 625,\n",
       " 'raskt': 626,\n",
       " 'oppløsning': 627,\n",
       " 'utro': 628,\n",
       " '30': 629,\n",
       " 'server': 630,\n",
       " 'vekk': 631,\n",
       " 'tilgjeng': 632,\n",
       " 'ent': 633,\n",
       " 'dersom': 634,\n",
       " 'såpass': 635,\n",
       " 'sterkt': 636,\n",
       " 'lur': 637,\n",
       " 'miss': 638,\n",
       " 'britisk': 639,\n",
       " 'utmerk': 640,\n",
       " 'utvikl': 641,\n",
       " 'sann': 642,\n",
       " 'valgt': 643,\n",
       " 'vinn': 644,\n",
       " 'sony': 645,\n",
       " 'farg': 646,\n",
       " '100': 647,\n",
       " 'svart': 648,\n",
       " 'øyn': 649,\n",
       " 'design': 650,\n",
       " 'lydbild': 651,\n",
       " 'effekt': 652,\n",
       " 'fordel': 653,\n",
       " 'saml': 654,\n",
       " 'tilfell': 655,\n",
       " 'voksn': 656,\n",
       " 'fang': 657,\n",
       " '12': 658,\n",
       " 'david': 659,\n",
       " 'viss': 660,\n",
       " '3': 661,\n",
       " 'a': 662,\n",
       " 'tur': 663,\n",
       " 'slår': 664,\n",
       " 'tung': 665,\n",
       " 'nett': 666,\n",
       " 'forskjell': 667,\n",
       " 'hello': 668,\n",
       " 'retning': 669,\n",
       " 'omtrent': 670,\n",
       " 'original': 671,\n",
       " 'altfor': 672,\n",
       " 'konklusjon': 673,\n",
       " 'hånd': 674,\n",
       " 'plan': 675,\n",
       " 'oppdag': 676,\n",
       " 'funn': 677,\n",
       " 'smart': 678,\n",
       " 'alternativ': 679,\n",
       " 'kobl': 680,\n",
       " 'lyst': 681,\n",
       " '3d': 682,\n",
       " 'robinson': 683,\n",
       " 'utfordring': 684,\n",
       " 'kamer': 685,\n",
       " 'melodi': 686,\n",
       " 'flytt': 687,\n",
       " 'inspirer': 688,\n",
       " 'vokal': 689,\n",
       " 'glad': 690,\n",
       " 'ramm': 691,\n",
       " 'inntrykk': 692,\n",
       " 'avslutt': 693,\n",
       " 'irriter': 694,\n",
       " 'åring': 695,\n",
       " 'jakt': 696,\n",
       " 'politi': 697,\n",
       " 'an': 698,\n",
       " 'drømm': 699,\n",
       " 'tett': 700,\n",
       " 'tidvis': 701,\n",
       " 'batteri': 702,\n",
       " 'åpenbart': 703,\n",
       " 'stund': 704,\n",
       " 'foreldr': 705,\n",
       " 'enkl': 706,\n",
       " 'samsung': 707,\n",
       " 'rom': 708,\n",
       " 'jam': 709,\n",
       " 'vold': 710,\n",
       " 'spenning': 711,\n",
       " '11': 712,\n",
       " 'black': 713,\n",
       " '–': 714,\n",
       " 'løft': 715,\n",
       " 'eventyr': 716,\n",
       " 'tredj': 717,\n",
       " 'produksjon': 718,\n",
       " 'tomm': 719,\n",
       " 'arbeid': 720,\n",
       " 'standard': 721,\n",
       " 'hemm': 722,\n",
       " 'hvit': 723,\n",
       " 'makt': 724,\n",
       " 'skapt': 725,\n",
       " 'enig': 726,\n",
       " 'tittel': 727,\n",
       " 'utenfor': 728,\n",
       " 'skjedd': 729,\n",
       " 'høydepunkt': 730,\n",
       " 'tastatur': 731,\n",
       " 'dram': 732,\n",
       " 'visst': 733,\n",
       " 'fokus': 734,\n",
       " 'varier': 735,\n",
       " 'styrk': 736,\n",
       " 'havn': 737,\n",
       " 'vakr': 738,\n",
       " 'bor': 739,\n",
       " 'hopp': 740,\n",
       " 'fyr': 741,\n",
       " 'kontroll': 742,\n",
       " 'beskriv': 743,\n",
       " 'inkluder': 744,\n",
       " 'verst': 745,\n",
       " 'ga': 746,\n",
       " 'viktigst': 747,\n",
       " 'fyll': 748,\n",
       " 'bøk': 749,\n",
       " 'elegant': 750,\n",
       " 'generasjon': 751,\n",
       " 'komedi': 752,\n",
       " 'grens': 753,\n",
       " 'kunst': 754,\n",
       " 'dog': 755,\n",
       " 'områd': 756,\n",
       " 'windows': 757,\n",
       " 'utgiv': 758,\n",
       " 'rik': 759,\n",
       " 'sammenlign': 760,\n",
       " 'lær': 761,\n",
       " 'lign': 762,\n",
       " 'dyr': 763,\n",
       " 'sistnevnt': 764,\n",
       " 'sjeld': 765,\n",
       " 'regn': 766,\n",
       " 'bakgrunn': 767,\n",
       " 'programm': 768,\n",
       " 'tap': 769,\n",
       " 'marked': 770,\n",
       " 'kong': 771,\n",
       " 'konkurrent': 772,\n",
       " 'vokalist': 773,\n",
       " 'unntak': 774,\n",
       " 'bidr': 775,\n",
       " 'bytt': 776,\n",
       " 'høyer': 777,\n",
       " 'umu': 778,\n",
       " '50': 779,\n",
       " 'blod': 780,\n",
       " 'skill': 781,\n",
       " 'grupp': 782,\n",
       " 'karakter': 783,\n",
       " 'system': 784,\n",
       " 'ok': 785,\n",
       " 'morsomt': 786,\n",
       " 'vellykk': 787,\n",
       " 'list': 788,\n",
       " 'int': 789,\n",
       " 'funk': 790,\n",
       " 'høyr': 791,\n",
       " 'natt': 792,\n",
       " 'lokal': 793,\n",
       " 'vond': 794,\n",
       " 'fjor': 795,\n",
       " 'sørg': 796,\n",
       " 'endr': 797,\n",
       " 'samarbeid': 798,\n",
       " 'drar': 799,\n",
       " 'bord': 800,\n",
       " 'morsom': 801,\n",
       " 'hakk': 802,\n",
       " 'kvalitet': 803,\n",
       " 'sjarmer': 804,\n",
       " 'let': 805,\n",
       " 'skuespill': 806,\n",
       " 'mari': 807,\n",
       " 'dramatisk': 808,\n",
       " 'michael': 809,\n",
       " 'ekt': 810,\n",
       " 'e': 811,\n",
       " 'brett': 812,\n",
       " 'fiend': 813,\n",
       " 'period': 814,\n",
       " 'tilsynelat': 815,\n",
       " 'engasjer': 816,\n",
       " 'pet': 817,\n",
       " 'kontakt': 818,\n",
       " 'fransk': 819,\n",
       " 'nils': 820,\n",
       " 'dialog': 821,\n",
       " 'vant': 822,\n",
       " 'action': 823,\n",
       " 'pakk': 824,\n",
       " 'york': 825,\n",
       " 'prosjekt': 826,\n",
       " 'last': 827,\n",
       " 'sex': 828,\n",
       " 'flyt': 829,\n",
       " 'sjekk': 830,\n",
       " 'linj': 831,\n",
       " 'suksess': 832,\n",
       " 'brutal': 833,\n",
       " 'karrier': 834,\n",
       " 'gb': 835,\n",
       " 'mitt': 836,\n",
       " 'fell': 837,\n",
       " 'tråd': 838,\n",
       " 'pluss': 839,\n",
       " 'definitiv': 840,\n",
       " 'hav': 841,\n",
       " 'halv': 842,\n",
       " 'konser': 843,\n",
       " 'positiv': 844,\n",
       " 'fan': 845,\n",
       " 'tegn': 846,\n",
       " 'samfunn': 847,\n",
       " 'million': 848,\n",
       " 'deil': 849,\n",
       " 'stjern': 850,\n",
       " 'bryt': 851,\n",
       " 'oppdrag': 852,\n",
       " 'feng': 853,\n",
       " 'opplevd': 854,\n",
       " 'nødvend': 855,\n",
       " 'debut': 856,\n",
       " 'trist': 857,\n",
       " 'akt': 858,\n",
       " 'mort': 859,\n",
       " 'stopp': 860,\n",
       " 'jord': 861,\n",
       " 'ban': 862,\n",
       " 'frå': 863,\n",
       " 'derett': 864,\n",
       " 'kvalit': 865,\n",
       " 'synd': 866,\n",
       " 'befinn': 867,\n",
       " 'luft': 868,\n",
       " 'gift': 869,\n",
       " 'blikk': 870,\n",
       " 'engelsk': 871,\n",
       " 'søt': 872,\n",
       " 'prosessor': 873,\n",
       " 'består': 874,\n",
       " 'rent': 875,\n",
       " 'stå': 876,\n",
       " 'art': 877,\n",
       " 'refreng': 878,\n",
       " 'per': 879,\n",
       " 'tenkt': 880,\n",
       " 'selskap': 881,\n",
       " 'knapt': 882,\n",
       " '16': 883,\n",
       " 'up': 884,\n",
       " 'oppgav': 885,\n",
       " 'produser': 886,\n",
       " 'sort': 887,\n",
       " 'kjemp': 888,\n",
       " 'be': 889,\n",
       " 'ekstremt': 890,\n",
       " 'ment': 891,\n",
       " '40': 892,\n",
       " 'hygg': 893,\n",
       " '13': 894,\n",
       " 'høst': 895,\n",
       " 'fasciner': 896,\n",
       " 'bye': 897,\n",
       " 'martin': 898,\n",
       " 'kropp': 899,\n",
       " 'mass': 900,\n",
       " 'ansikt': 901,\n",
       " 'ditt': 902,\n",
       " 'utov': 903,\n",
       " 'one': 904,\n",
       " 'gud': 905,\n",
       " 'punkt': 906,\n",
       " 'tempo': 907,\n",
       " 'thom': 908,\n",
       " 'tal': 909,\n",
       " 'vårt': 910,\n",
       " 'parti': 911,\n",
       " 'nevn': 912,\n",
       " 'fortalt': 913,\n",
       " 'tradisjonell': 914,\n",
       " 'leser': 915,\n",
       " 'material': 916,\n",
       " 'kul': 917,\n",
       " 'rør': 918,\n",
       " 'your': 919,\n",
       " 'hit': 920,\n",
       " 'begrens': 921,\n",
       " 'overbevis': 922,\n",
       " 'innehold': 923,\n",
       " 'vakk': 924,\n",
       " 'ide': 925,\n",
       " 'energi': 926,\n",
       " 'miljø': 927,\n",
       " 'sam': 928,\n",
       " 'format': 929,\n",
       " '80': 930,\n",
       " 'eldr': 931,\n",
       " 'fullstend': 932,\n",
       " 'war': 933,\n",
       " 'likt': 934,\n",
       " 'formidl': 935,\n",
       " 'vidt': 936,\n",
       " 'kreft': 937,\n",
       " 'behag': 938,\n",
       " 'behov': 939,\n",
       " 'utstyrt': 940,\n",
       " 'vekt': 941,\n",
       " 'strål': 942,\n",
       " 'selg': 943,\n",
       " 'skuespillern': 944,\n",
       " 'bass': 945,\n",
       " 'blanding': 946,\n",
       " 'sjanger': 947,\n",
       " 'teknisk': 948,\n",
       " 'frisk': 949,\n",
       " 'slikt': 950,\n",
       " 'totalt': 951,\n",
       " 'moro': 952,\n",
       " 'ødelegg': 953,\n",
       " 'press': 954,\n",
       " 'rød': 955,\n",
       " 'bit': 956,\n",
       " 'rask': 957,\n",
       " 'hd': 958,\n",
       " 'presenter': 959,\n",
       " 'innhold': 960,\n",
       " 'rim': 961,\n",
       " 'ros': 962,\n",
       " 'ått': 963,\n",
       " 'søk': 964,\n",
       " 'forstår': 965,\n",
       " 'skad': 966,\n",
       " 'sving': 967,\n",
       " 'dansk': 968,\n",
       " 'vakker': 969,\n",
       " 'utfordr': 970,\n",
       " '60': 971,\n",
       " 'dra': 972,\n",
       " 'sies': 973,\n",
       " 'fant': 974,\n",
       " 'nærmer': 975,\n",
       " 'fortid': 976,\n",
       " 'oppmerksom': 977,\n",
       " '70': 978,\n",
       " '4': 979,\n",
       " 'kjærest': 980,\n",
       " 'hovedroll': 981,\n",
       " 'fysisk': 982,\n",
       " 'stikk': 983,\n",
       " 'fjern': 984,\n",
       " 'twitt': 985,\n",
       " 'egenskap': 986,\n",
       " 'klokk': 987,\n",
       " 'begynt': 988,\n",
       " 'kutt': 989,\n",
       " 'forsvinn': 990,\n",
       " 'numm': 991,\n",
       " 'stev': 992,\n",
       " 'enorm': 993,\n",
       " 'rart': 994,\n",
       " 'kant': 995,\n",
       " 'lav': 996,\n",
       " 'rollefigur': 997,\n",
       " 'variant': 998,\n",
       " 'såkalt': 999,\n",
       " 'paul': 1000,\n",
       " ...}"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer.word_index"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [],
   "source": [
    "x_train_tokens = tokenizer.texts_to_sequences(x_train)\n",
    "x_test_tokens = tokenizer.texts_to_sequences(x_test)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Padding and truncating\n",
    "Modellen må få like lange eksempler hver gang grunnet matriseoperasjoner og videre. Derfor må vi først finne hvor mange ord/tokens setningene består av, og deretter finne gjennomsnittsverdi og makslengde. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Average token length:  70.18703278888283\n",
      "Max token length:  3559\n"
     ]
    }
   ],
   "source": [
    "num_tokens = [len(tokens) for tokens in x_train_tokens + x_test_tokens]\n",
    "num_tokens = np.array(num_tokens)\n",
    "print(\"Average token length: \", np.mean(num_tokens))\n",
    "print(\"Max token length: \", np.max(num_tokens))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vi ser at gjennomsnittlig lengde er 90 ord og maksimal er 21650 ord (Her må det ha skjedd en feil?). Vi bestemmer oss for en lengde alle eksempler må være på og deretter kutter vi eller padder vi i hvert eksempel ut i fra forholdet til den spesfikke lengden.  \n",
    "  \n",
    "Padding: [1, 2, 3, 4] -> [1, 2, 3, 4, 0, 0]  \n",
    "Truncating: [1, 2, 3, 4, 5, 6, 7, 8] -> [1, 2, 3, 4, 5, 6]  \n",
    "Her har vi brukt pad='post' som legger til/fjerner på slutten."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Max tokens allowed:  398\n",
      "Covers dataset amount:  0.9489809433492448\n"
     ]
    }
   ],
   "source": [
    "max_tokens = np.mean(num_tokens) + 2 * np.std(num_tokens)\n",
    "max_tokens = int(max_tokens)\n",
    "print(\"Max tokens allowed: \", max_tokens)\n",
    "print(\"Covers dataset amount: \", np.sum(num_tokens < max_tokens) / len(num_tokens))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Uten padding:\n",
      " [ 27   2 137 222   2 134  96 275]\n",
      "Med padding:\n",
      " [  0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0\n",
      "   0   0   0   0   0   0   0   0   0   0   0   0  27   2 137 222   2 134\n",
      "  96 275]\n"
     ]
    }
   ],
   "source": [
    "pad = 'pre'\n",
    "x_train_pad = pad_sequences(x_train_tokens, maxlen=max_tokens,\n",
    "                            padding=pad, truncating=pad)\n",
    "x_test_pad = pad_sequences(x_test_tokens, maxlen=max_tokens,\n",
    "                           padding=pad, truncating=pad)\n",
    "print(\"Uten padding:\\n\", np.array(x_train_tokens[1]))\n",
    "print(\"Med padding:\\n\", x_train_pad[1])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Recurrent Neural Network with one layer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = Sequential()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Embedding\n",
    "Gjør om tokens mellom 0 og 10 000 til en verdi rundt 0 (vanligvis mellom -1 og 1)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [],
   "source": [
    "embedding_size = 8\n",
    "model.add(Embedding(input_dim=num_words,\n",
    "                    output_dim=embedding_size,\n",
    "                    input_length=max_tokens,\n",
    "                    name='layer_embedding'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Long-Short Term Memory"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(LSTM(units=128))\n",
    "model.add(Dropout(0.1))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Softmax"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(Dense(3, activation='softmax'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Komplier modell"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 87,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "layer_embedding (Embedding)  (None, 398, 8)            80000     \n",
      "_________________________________________________________________\n",
      "lstm_3 (LSTM)                (None, 128)               70144     \n",
      "_________________________________________________________________\n",
      "dropout_3 (Dropout)          (None, 128)               0         \n",
      "_________________________________________________________________\n",
      "dense_3 (Dense)              (None, 3)                 387       \n",
      "=================================================================\n",
      "Total params: 150,531\n",
      "Trainable params: 150,531\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "optimizer = Adam(lr=1e-3)\n",
    "model.compile(loss='sparse_categorical_crossentropy',\n",
    "              optimizer=optimizer,\n",
    "              metrics=['accuracy'])\n",
    "model.summary()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Tren modell\n",
    "Batch size: Avhengig av størrelse på minnet på maskinen man kjører på. Større minne = kan ha større batch size."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 143451 samples, validate on 7551 samples\n",
      "Epoch 1/5\n",
      "143451/143451 [==============================] - 940s 7ms/sample - loss: 0.7669 - acc: 0.6373 - val_loss: 0.7785 - val_acc: 0.6050\n",
      "Epoch 2/5\n",
      "143451/143451 [==============================] - 2470s 17ms/sample - loss: 0.6325 - acc: 0.7214 - val_loss: 0.6585 - val_acc: 0.7101\n",
      "Epoch 3/5\n",
      "143451/143451 [==============================] - 915s 6ms/sample - loss: 0.6000 - acc: 0.7421 - val_loss: 0.6476 - val_acc: 0.7175\n",
      "Epoch 4/5\n",
      "143451/143451 [==============================] - 1415s 10ms/sample - loss: 0.5784 - acc: 0.7558 - val_loss: 0.6730 - val_acc: 0.7028\n",
      "Epoch 5/5\n",
      "143451/143451 [==============================] - 931s 6ms/sample - loss: 0.5624 - acc: 0.7663 - val_loss: 0.6388 - val_acc: 0.7330\n",
      "CPU times: user 3h 29min 21s, sys: 37min 29s, total: 4h 6min 51s\n",
      "Wall time: 1h 51min 12s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "history = model.fit(x_train_pad, y_train, validation_split=0.05, epochs=5, batch_size=128)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Accuracy på testsett"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "37751/37751 [==============================] - 83s 2ms/sample - loss: 0.6224 - acc: 0.7346\n",
      "Accuracy: 73.46%\n",
      "CPU times: user 3min 45s, sys: 24.4 s, total: 4min 10s\n",
      "Wall time: 1min 23s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "result = model.evaluate(x_test_pad, y_test)\n",
    "print(\"Accuracy: {0:.2%}\".format(result[1]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.save('mymodel.h5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 91,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "sentiment\n",
      "0    53975\n",
      "1    68865\n",
      "2    65913\n",
      "dtype: int64\n"
     ]
    }
   ],
   "source": [
    "print(data.groupby('sentiment').size())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 92,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYcAAAEICAYAAAC0+DhzAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4zLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvnQurowAAHEpJREFUeJzt3X2UXHWd5/H3ZxJ5MJEkiPawCWPwmHXkYUXSAxkfZjrGDR10DHtWzoaDS2Az2yuLru54dojDKg7qLu5ZlhHG0c1INskcNDDMMMlgMGYCdeY4GiQopEXENCELTWKy0iHSgmjwu3/cX8u1f9VdD91V1Qmf1zl1+tb3/u6tb91U+tP3oaoUEZiZmZX9RqcbMDOzqcfhYGZmGYeDmZllHA5mZpZxOJiZWcbhYGZmGYeD2QRJulvSyk73YTaZ5Pc5mNVP0ieBN0TE+6dAL+uAwYj4r53uxY493nMwM7OMw8GOaZKulvSUpGclPSppiaTfkLRa0mOSnpZ0u6ST0/j5kkLSSklPSPqxpGvSvF7gT4B/I2lY0kOpXpH0h2n6ckn/JOlGSc9I2iPpran+pKSD5UNQko6X9D/TYx2Q9EVJJ6Z5PZIGJX00Lbdf0hVpXh9wKfDHqZe/b+d2tWOfw8GOWZLeCHwQ+J2IeBVwAbAX+E/ARcDvA/8MOAR8ftTibwfeCCwBPiHpTRHxNeC/AbdFxMyIePMYD30+sAt4NfBlYCPwO8AbgPcDfy5pZhr7WeCfA+ek+XOBT5TW9ZvArFRfBXxe0pyIWAPcCvyP1MsfNLh5zMblcLBj2YvA8cAZkl4REXsj4jHgPwDXRMRgRLwAfBJ4n6TppWX/NCKej4iHgIeAsYKgmscj4v9ExIvAbcBpwHUR8UJEfB34OfAGSQL+PfCfI2IoIp6lCJ8VpXX9Ii37i4jYAgxThJZZS02vPcTs6BQRA5I+QvHL/0xJW4E/Al4H3Cnpl6XhLwJdpfs/Kk0/B8ykfgdK08+nXkbXZgKvAV4JPFDkBAACppXGPh0RRybQi1lTvOdgx7SI+HJEvJ0iEILiMM6TwLKImF26nRART9Wzykls78cUQXFmqY9ZEVHvL39famgt43CwY5akN0p6p6TjgZ9R/CJ+Efgi8BlJr0vjXiNpeZ2rPQDMlzTh/zsR8UvgL4EbJb029TJX0gUN9PL6ifZhVo3DwY5lxwPXU/yF/iPgtRRXG30O2Ax8XdKzwA6Kk8j1+Ov082lJ35mEHq8GBoAdkn4C/AP1n1O4heJ8yjOS/m4SejH7Fb8JzszMMt5zMDOzjMPBzMwyDgczM8s4HMzMLHPUvgnulFNOifnz5ze17E9/+lNmzJgxuQ1NAvfVGPfVGPfVmGOxrwceeODHEfGaugZHxFF5W7hwYTTr3nvvbXrZVnJfjXFfjXFfjTkW+wJ2Rp2/Y31YyczMMg4HMzPL1AyH9BEED5ZuP5H0EUknS9omaXf6OSeNl6SbJA1I2iXp3NK6Vqbxu0d9pv1CSf1pmZtU+hQyMzNrv5rhEBGPRsQ5EXEOsJDiUyHvBFYD2yNiAbA93QdYBixItz7gCwDpy1SupfiYgvOAa0cCJY3pKy3XOynPzszMmtLoYaUlwGMR8X+B5cD6VF9P8eUppPqGdP5jBzBb0qkUX7SyLYrPrT8EbAN607yTIuJb6YTJhtK6zMysAxq9lHUF8JU03RUR+wEiYv/Ip0pSfGPVk6VlBlNtvPpglXomfTViH0BXVxeVSqXB9gvDw8NNL9tK7qsx7qsx7qsxL/e+6g4HSccB7wU+VmtolVo0Uc+LxVcjrgHo7u6Onp6eGq1UV6lUaHbZVnJfjXFfjXFfjXm599XIYaVlwHfipW+0OpAOCZF+Hkz1QYqvRRwxD9hXoz6vSt3MzDqkkXC4hJcOKUHxefgjVxytBDaV6pelq5YWAYfT4aetwFJJc9KJ6KXA1jTvWUmL0lVKl5XWZWZmHVDXYSVJrwT+JcUXs4+4Hrhd0irgCeDiVN8CXEjxBSbPAVcARMSQpE8B96dx10XEUJq+ElgHnAjcnW5mR6X+pw5z+eqvtv1x917/7rY/ph276gqHiHgOePWo2tMUVy+NHhvAVWOsZy2wtkp9J3BWPb2YmVnr+R3SZmaWcTiYmVnG4WBmZhmHg5mZZRwOZmaWcTiYmVnG4WBmZpmj9jukzcw6aX4H3ugIsK63Pd9r7T0HMzPLOBzMzCzjcDAzs4zDwczMMg4HMzPLOBzMzCzjcDAzs4zDwczMMg4HMzPLOBzMzCzjcDAzs4zDwczMMg4HMzPL1BUOkmZLukPSDyQ9Iul3JZ0saZuk3ennnDRWkm6SNCBpl6RzS+tZmcbvlrSyVF8oqT8tc5MkTf5TNTOzetW75/A54GsR8dvAm4FHgNXA9ohYAGxP9wGWAQvSrQ/4AoCkk4FrgfOB84BrRwIljekrLdc7sadlZmYTUTMcJJ0E/B5wC0BE/DwingGWA+vTsPXARWl6ObAhCjuA2ZJOBS4AtkXEUEQcArYBvWneSRHxrYgIYENpXWZm1gEqfh+PM0A6B1gDfJ9ir+EB4MPAUxExuzTuUETMkXQXcH1EfCPVtwNXAz3ACRHx6VT/OPA8UEnj35Xq7wCujoj3VOmlj2IPg66uroUbN25s6kkPDw8zc+bMppZtJffVmKna18Ghwxx4vv2Pe/bcWePOn6rb62jtq/+pw23s5iWnz5rW9PZavHjxAxHRXc/Yer4JbjpwLvChiLhP0ud46RBSNdXOF0QT9bwYsYYiqOju7o6enp5x2hhbpVKh2WVbyX01Zqr2dfOtm7ihv/1fsrj30p5x50/V7XW09nV5B78Jrh3bq55zDoPAYETcl+7fQREWB9IhIdLPg6Xxp5WWnwfsq1GfV6VuZmYdUjMcIuJHwJOS3phKSygOMW0GRq44WglsStObgcvSVUuLgMMRsR/YCiyVNCediF4KbE3znpW0KF2ldFlpXWZm1gH17vt+CLhV0nHAHuAKimC5XdIq4Ang4jR2C3AhMAA8l8YSEUOSPgXcn8ZdFxFDafpKYB1wInB3upmZWYfUFQ4R8SBQ7STGkipjA7hqjPWsBdZWqe8EzqqnFzMzaz2/Q9rMzDIOBzMzyzgczMws43AwM7OMw8HMzDIOBzMzyzgczMws43AwM7OMw8HMzDIOBzMzyzgczMws43AwM7NM+7+RZArof+pwR76oY+/17277Y5qZNcN7DmZmlnE4mJlZxuFgZmYZh4OZmWUcDmZmlnE4mJlZxuFgZmYZh4OZmWXqCgdJeyX1S3pQ0s5UO1nSNkm70885qS5JN0kakLRL0rml9axM43dLWlmqL0zrH0jLarKfqJmZ1a+RPYfFEXFORHSn+6uB7RGxANie7gMsAxakWx/wBSjCBLgWOB84D7h2JFDSmL7Scr1NPyMzM5uwiRxWWg6sT9PrgYtK9Q1R2AHMlnQqcAGwLSKGIuIQsA3oTfNOiohvRUQAG0rrMjOzDlDx+7jGIOlx4BAQwP+OiDWSnomI2aUxhyJijqS7gOsj4hupvh24GugBToiIT6f6x4HngUoa/65UfwdwdUS8p0offRR7GHR1dS3cuHFjU0/64NBhDjzf1KITcvbcWePOHx4eZubMmW3qpn7uqzF+fTXmaO2r/6nDbezmJafPmtb09lq8ePEDpaM/46r3g/feFhH7JL0W2CbpB+OMrXa+IJqo58WINcAagO7u7ujp6Rm36bHcfOsmbuhv/2cO7r20Z9z5lUqFZp9TK7mvxvj11Zijta9OfHgnwLreGW3ZXnUdVoqIfennQeBOinMGB9IhIdLPg2n4IHBaafF5wL4a9XlV6mZm1iE1w0HSDEmvGpkGlgLfAzYDI1ccrQQ2penNwGXpqqVFwOGI2A9sBZZKmpNORC8FtqZ5z0palK5Suqy0LjMz64B69n27gDvT1aXTgS9HxNck3Q/cLmkV8ARwcRq/BbgQGACeA64AiIghSZ8C7k/jrouIoTR9JbAOOBG4O93MzKxDaoZDROwB3lyl/jSwpEo9gKvGWNdaYG2V+k7grDr6NTOzNvA7pM3MLONwMDOzjMPBzMwyDgczM8s4HMzMLONwMDOzjMPBzMwyDgczM8s4HMzMLONwMDOzjMPBzMwyDgczM8s4HMzMLONwMDOzjMPBzMwyDgczM8s4HMzMLONwMDOzjMPBzMwyDgczM8s4HMzMLFN3OEiaJum7ku5K90+XdJ+k3ZJuk3Rcqh+f7g+k+fNL6/hYqj8q6YJSvTfVBiStnrynZ2ZmzWhkz+HDwCOl+58FboyIBcAhYFWqrwIORcQbgBvTOCSdAawAzgR6gb9IgTMN+DywDDgDuCSNNTOzDqkrHCTNA94NfCndF/BO4I40ZD1wUZpenu6T5i9J45cDGyPihYh4HBgAzku3gYjYExE/BzamsWZm1iH17jn8GfDHwC/T/VcDz0TEkXR/EJibpucCTwKk+YfT+F/VRy0zVt3MzDpkeq0Bkt4DHIyIByT1jJSrDI0a88aqVwuoqFJDUh/QB9DV1UWlUhm78XF0nQgfPftI7YGTrFa/w8PDTT+nVnJfjfHrqzFHa1+d+DeG9m2vmuEAvA14r6QLgROAkyj2JGZLmp72DuYB+9L4QeA0YFDSdGAWMFSqjygvM1b910TEGmANQHd3d/T09NTRfu7mWzdxQ389T31y7b20Z9z5lUqFZp9TK7mvxvj11Zijta/LV3+1fc2UrOud0ZbtVfOwUkR8LCLmRcR8ihPK90TEpcC9wPvSsJXApjS9Od0nzb8nIiLVV6SrmU4HFgDfBu4HFqSrn45Lj7F5Up6dmZk1ZSJ/3lwNbJT0aeC7wC2pfgvwV5IGKPYYVgBExMOSbge+DxwBroqIFwEkfRDYCkwD1kbEwxPoy8zMJqihcIiIClBJ03sorjQaPeZnwMVjLP8Z4DNV6luALY30YmZmreN3SJuZWcbhYGZmGYeDmZllHA5mZpZxOJiZWcbhYGZmGYeDmZllHA5mZpZxOJiZWcbhYGZmGYeDmZllHA5mZpZxOJiZWcbhYGZmGYeDmZllHA5mZpZxOJiZWcbhYGZmGYeDmZllHA5mZpZxOJiZWaZmOEg6QdK3JT0k6WFJf5rqp0u6T9JuSbdJOi7Vj0/3B9L8+aV1fSzVH5V0Qanem2oDklZP/tM0M7NG1LPn8ALwzoh4M3AO0CtpEfBZ4MaIWAAcAlal8auAQxHxBuDGNA5JZwArgDOBXuAvJE2TNA34PLAMOAO4JI01M7MOqRkOURhOd1+RbgG8E7gj1dcDF6Xp5ek+af4SSUr1jRHxQkQ8DgwA56XbQETsiYifAxvTWDMz65C6zjmkv/AfBA4C24DHgGci4kgaMgjMTdNzgScB0vzDwKvL9VHLjFU3M7MOmV7PoIh4EThH0mzgTuBN1Yalnxpj3lj1agEVVWpI6gP6ALq6uqhUKuM3PoauE+GjZx+pPXCS1ep3eHi46efUSu6rMX59NeZo7asT/8bQvu1VVziMiIhnJFWARcBsSdPT3sE8YF8aNgicBgxKmg7MAoZK9RHlZcaqj378NcAagO7u7ujp6Wmk/V+5+dZN3NDf0FOfFHsv7Rl3fqVSodnn1EruqzF+fTXmaO3r8tVfbV8zJet6Z7Rle9VztdJr0h4Dkk4E3gU8AtwLvC8NWwlsStOb033S/HsiIlJ9Rbqa6XRgAfBt4H5gQbr66TiKk9abJ+PJmZlZc+r58+ZUYH26qug3gNsj4i5J3wc2Svo08F3gljT+FuCvJA1Q7DGsAIiIhyXdDnwfOAJclQ5XIemDwFZgGrA2Ih6etGdoZmYNqxkOEbELeEuV+h6KK41G138GXDzGuj4DfKZKfQuwpY5+zcysDfwOaTMzyzgczMws43AwM7OMw8HMzDIOBzMzyzgczMws43AwM7OMw8HMzDIOBzMzyzgczMws43AwM7OMw8HMzDIOBzMzyzgczMws43AwM7OMw8HMzDIOBzMzyzgczMws43AwM7OMw8HMzDIOBzMzy9QMB0mnSbpX0iOSHpb04VQ/WdI2SbvTzzmpLkk3SRqQtEvSuaV1rUzjd0taWaovlNSflrlJklrxZM3MrD717DkcAT4aEW8CFgFXSToDWA1sj4gFwPZ0H2AZsCDd+oAvQBEmwLXA+cB5wLUjgZLG9JWW6534UzMzs2bVDIeI2B8R30nTzwKPAHOB5cD6NGw9cFGaXg5siMIOYLakU4ELgG0RMRQRh4BtQG+ad1JEfCsiAthQWpeZmXVAQ+ccJM0H3gLcB3RFxH4oAgR4bRo2F3iytNhgqo1XH6xSNzOzDple70BJM4G/AT4SET8Z57RAtRnRRL1aD30Uh5/o6uqiUqnU6Lq6rhPho2cfaWrZiajV7/DwcNPPqZXcV2P8+mrM0dpXJ/6NoX3bq65wkPQKimC4NSL+NpUPSDo1IvanQ0MHU30QOK20+DxgX6r3jKpXUn1elfGZiFgDrAHo7u6Onp6easNquvnWTdzQX3cuTpq9l/aMO79SqdDsc2ol99UYv74ac7T2dfnqr7avmZJ1vTPasr3quVpJwC3AIxHxv0qzNgMjVxytBDaV6pelq5YWAYfTYaetwFJJc9KJ6KXA1jTvWUmL0mNdVlqXmZl1QD1/3rwN+LdAv6QHU+1PgOuB2yWtAp4ALk7ztgAXAgPAc8AVABExJOlTwP1p3HURMZSmrwTWAScCd6ebmZl1SM1wiIhvUP28AMCSKuMDuGqMda0F1lap7wTOqtWLmZm1h98hbWZmGYeDmZllHA5mZpZxOJiZWcbhYGZmGYeDmZllHA5mZpZxOJiZWcbhYGZmGYeDmZllHA5mZpZxOJiZWcbhYGZmGYeDmZllHA5mZpZxOJiZWcbhYGZmGYeDmZllHA5mZpZxOJiZWcbhYGZmGYeDmZllaoaDpLWSDkr6Xql2sqRtknann3NSXZJukjQgaZekc0vLrEzjd0taWaovlNSflrlJkib7SZqZWWPq2XNYB/SOqq0GtkfEAmB7ug+wDFiQbn3AF6AIE+Ba4HzgPODakUBJY/pKy41+LDMza7Oa4RAR/wgMjSovB9an6fXARaX6hijsAGZLOhW4ANgWEUMRcQjYBvSmeSdFxLciIoANpXWZmVmHqPidXGOQNB+4KyLOSvefiYjZpfmHImKOpLuA6yPiG6m+Hbga6AFOiIhPp/rHgeeBShr/rlR/B3B1RLxnjD76KPYy6OrqWrhx48YmnjIcHDrMgeebWnRCzp47a9z5w8PDzJw5s03d1M99Ncavr8YcrX31P3W4jd285PRZ05reXosXL34gIrrrGTu9qUcYW7XzBdFEvaqIWAOsAeju7o6enp4mWoSbb93EDf2T/dRr23tpz7jzK5UKzT6nVnJfjfHrqzFHa1+Xr/5q+5opWdc7oy3bq9mrlQ6kQ0KknwdTfRA4rTRuHrCvRn1elbqZmXVQs+GwGRi54mglsKlUvyxdtbQIOBwR+4GtwFJJc9KJ6KXA1jTvWUmL0lVKl5XWZWZmHVJz31fSVyjOGZwiaZDiqqPrgdslrQKeAC5Ow7cAFwIDwHPAFQARMSTpU8D9adx1ETFykvtKiiuiTgTuTjczM+ugmuEQEZeMMWtJlbEBXDXGetYCa6vUdwJn1erDzMzax++QNjOzjMPBzMwyDgczM8s4HMzMLONwMDOzjMPBzMwyDgczM8s4HMzMLONwMDOzjMPBzMwyDgczM8s4HMzMLONwMDOzjMPBzMwyDgczM8s4HMzMLONwMDOzjMPBzMwyDgczM8s4HMzMLONwMDOzzJQJB0m9kh6VNCBpdaf7MTN7OZsS4SBpGvB5YBlwBnCJpDM625WZ2cvXlAgH4DxgICL2RMTPgY3A8g73ZGb2sjW90w0kc4EnS/cHgfNHD5LUB/Slu8OSHm3y8U4Bftzksk3TZ2sO6UhfdXBfjfHrqzHuqwGLPzuhvl5X78CpEg6qUousELEGWDPhB5N2RkT3RNcz2dxXY9xXY9xXY17ufU2Vw0qDwGml+/OAfR3qxczsZW+qhMP9wAJJp0s6DlgBbO5wT2ZmL1tT4rBSRByR9EFgKzANWBsRD7fwISd8aKpF3Fdj3Fdj3FdjXtZ9KSI7tG9mZi9zU+WwkpmZTSEOBzMzyxxT4VDrIzgkHS/ptjT/PknzS/M+luqPSrqgzX39kaTvS9olabuk15XmvSjpwXSb1JP0dfR1uaT/V3r8PyzNWylpd7qtbHNfN5Z6+qGkZ0rzWrm91ko6KOl7Y8yXpJtS37sknVua18rtVauvS1M/uyR9U9KbS/P2SupP22tnm/vqkXS49O/1idK8ln2cTh19/ZdST99Lr6mT07xWbq/TJN0r6RFJD0v6cJUx7XuNRcQxcaM4kf0Y8HrgOOAh4IxRY/4j8MU0vQK4LU2fkcYfD5ye1jOtjX0tBl6Zpq8c6SvdH+7g9roc+PMqy54M7Ek/56TpOe3qa9T4D1FcwNDS7ZXW/XvAucD3xph/IXA3xft2FgH3tXp71dnXW0cej+Ijau4rzdsLnNKh7dUD3DXR18Bk9zVq7B8A97Rpe50KnJumXwX8sMr/yba9xo6lPYd6PoJjObA+Td8BLJGkVN8YES9ExOPAQFpfW/qKiHsj4rl0dwfF+zxabSIfWXIBsC0ihiLiELAN6O1QX5cAX5mkxx5XRPwjMDTOkOXAhijsAGZLOpXWbq+afUXEN9PjQvteX/Vsr7G09ON0Guyrna+v/RHxnTT9LPAIxadHlLXtNXYshUO1j+AYvWF/NSYijgCHgVfXuWwr+ypbRfGXwYgTJO2UtEPSRZPUUyN9/eu0+3qHpJE3Kk6J7ZUOv50O3FMqt2p71WOs3lu5vRo1+vUVwNclPaDi42na7XclPSTpbklnptqU2F6SXknxC/ZvSuW2bC8Vh7zfAtw3albbXmNT4n0Ok6Sej+AYa0xdH9/RpLrXLen9QDfw+6Xyb0XEPkmvB+6R1B8Rj7Wpr78HvhIRL0j6AMVe1zvrXLaVfY1YAdwRES+Waq3aXvXoxOurbpIWU4TD20vlt6Xt9Vpgm6QfpL+s2+E7wOsiYljShcDfAQuYItuL4pDSP0VEeS+j5dtL0kyKQPpIRPxk9Owqi7TkNXYs7TnU8xEcvxojaTowi2L3spUf31HXuiW9C7gGeG9EvDBSj4h96eceoELx10Rb+oqIp0u9/CWwsN5lW9lXyQpG7fK3cHvVY6zeO/7xMJL+BfAlYHlEPD1SL22vg8CdTN7h1Joi4icRMZymtwCvkHQKU2B7JeO9vlqyvSS9giIYbo2Iv60ypH2vsVacWOnEjWIvaA/FYYaRk1hnjhpzFb9+Qvr2NH0mv35Ceg+Td0K6nr7eQnECbsGo+hzg+DR9CrCbSToxV2dfp5am/xWwI146+fV46m9Omj65XX2lcW+kODmodmyv0mPMZ+wTrO/m108WfrvV26vOvn6L4jzaW0fVZwCvKk1/E+htY1+/OfLvR/FL9om07ep6DbSqrzR/5A/HGe3aXum5bwD+bJwxbXuNTdrGngo3ijP5P6T4RXtNql1H8dc4wAnAX6f/KN8GXl9a9pq03KPAsjb39Q/AAeDBdNuc6m8F+tN/jn5gVZv7+u/Aw+nx7wV+u7Tsv0vbcQC4op19pfufBK4ftVyrt9dXgP3ALyj+UlsFfAD4QJovii+teiw9fnebtletvr4EHCq9vnam+uvTtnoo/Ttf0+a+Plh6fe2gFF7VXgPt6iuNuZziIpXycq3eXm+nOBS0q/RvdWGnXmP++AwzM8scS+cczMxskjgczMws43AwM7OMw8HMzDIOBzMzyzgczMws43AwM7PM/wc8VRsTt913fwAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "data.hist([\"sentiment\"])\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## RNN with two layers\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 105,
   "metadata": {},
   "outputs": [],
   "source": [
    "model_two = Sequential()\n",
    "embedding_size = 8\n",
    "model_two.add(Embedding(input_dim=num_words,\n",
    "                    output_dim=embedding_size,\n",
    "                    input_length=max_tokens,\n",
    "                    name='layer_embedding'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 106,
   "metadata": {},
   "outputs": [],
   "source": [
    "model_two.add(LSTM(units=128, return_sequences=True))\n",
    "model_two.add(Dropout(0.2))\n",
    "model_two.add(LSTM(units=64))\n",
    "model_two.add(Dropout(0.1))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 107,
   "metadata": {},
   "outputs": [],
   "source": [
    "model_two.add(Dense(3, activation='softmax'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "layer_embedding (Embedding)  (None, 398, 8)            80000     \n",
      "_________________________________________________________________\n",
      "lstm_10 (LSTM)               (None, 398, 128)          70144     \n",
      "_________________________________________________________________\n",
      "dropout_7 (Dropout)          (None, 398, 128)          0         \n",
      "_________________________________________________________________\n",
      "lstm_11 (LSTM)               (None, 64)                49408     \n",
      "_________________________________________________________________\n",
      "dropout_8 (Dropout)          (None, 64)                0         \n",
      "_________________________________________________________________\n",
      "dense_6 (Dense)              (None, 3)                 195       \n",
      "=================================================================\n",
      "Total params: 199,747\n",
      "Trainable params: 199,747\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "optimizer = Adam(lr=1e-3)\n",
    "model_two.compile(loss='sparse_categorical_crossentropy',\n",
    "              optimizer=optimizer,\n",
    "              metrics=['accuracy'])\n",
    "model_two.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 109,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 143451 samples, validate on 7551 samples\n",
      "Epoch 1/5\n",
      "143451/143451 [==============================] - 1321s 9ms/sample - loss: 0.9193 - acc: 0.5323 - val_loss: 0.7218 - val_acc: 0.6718\n",
      "Epoch 2/5\n",
      "143451/143451 [==============================] - 1348s 9ms/sample - loss: 0.6531 - acc: 0.7086 - val_loss: 0.6664 - val_acc: 0.7071\n",
      "Epoch 3/5\n",
      "143451/143451 [==============================] - 1640s 11ms/sample - loss: 0.6072 - acc: 0.7376 - val_loss: 0.6627 - val_acc: 0.7040\n",
      "Epoch 4/5\n",
      "143451/143451 [==============================] - 1337s 9ms/sample - loss: 0.5929 - acc: 0.7457 - val_loss: 0.6506 - val_acc: 0.7158\n",
      "Epoch 5/5\n",
      "143451/143451 [==============================] - 1344s 9ms/sample - loss: 0.5793 - acc: 0.7556 - val_loss: 0.6490 - val_acc: 0.7188\n",
      "CPU times: user 4h 43min 10s, sys: 1h 17min 1s, total: 6h 12s\n",
      "Wall time: 1h 56min 33s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "history_two = model_two.fit(x_train_pad, y_train, validation_split=0.05, epochs=5, batch_size=512)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 110,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "37751/37751 [==============================] - 258s 7ms/sample - loss: 0.6402 - acc: 0.7220\n",
      "Accuracy: 72.20%\n",
      "CPU times: user 6min 28s, sys: 19.7 s, total: 6min 47s\n",
      "Wall time: 4min 18s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "result = model_two.evaluate(x_test_pad, y_test)\n",
    "print(\"Accuracy: {0:.2%}\".format(result[1]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}