Lecture 12.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Программирование на языке Python для сбора и анализа данных\n",
    "\n",
    "*Текст лекции: Щуров И.В., НИУ ВШЭ*\n",
    "\n",
    "Данный notebook является конспектом лекции по курсу «Программирование на языке Python для сбора и анализа данных» (НИУ ВШЭ, 2015-16). Он распространяется на условиях лицензии [Creative Commons Attribution-Share Alike 4.0](http://creativecommons.org/licenses/by-sa/4.0/). При использовании обязательно упоминание автора курса и аффилиации. При наличии технической возможности необходимо также указать активную гиперссылку на [страницу курса](http://math-info.hse.ru/s15/m). Фрагменты кода, включенные в этот notebook, публикуются как [общественное достояние](http://creativecommons.org/publicdomain/zero/1.0/).\n",
    "\n",
    "Другие материалы курса, включая конспекты и видеозаписи лекций, а также наборы задач, можно найти на [странице курса](http://math-info.hse.ru/s15/m)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Лекция №12: Библиотека pandas"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Мы обсуждали разные структуры данных — списки, словари, массивы, сложные структуры, составленные из списков и словарей, XML-файлы и т.д. Однако самый распространённый вид, в котором обычно представляют данные для их анализа — это таблицы. Проще всего сохранить таблицу в Python в списке, элементами которого являются списки — строки таблицы. Например, вот такая табличка:\n",
    "\n",
    "<table>\n",
    "<tr>\n",
    "<td>1</td><td>2</td><td>3</td>\n",
    "</tr>\n",
    "<tr>\n",
    "<td>4</td><td>5</td><td>6</td>\n",
    "</tr>\n",
    "</table>\n",
    "\n",
    "будет записана вот в таком виде:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "table = [[1, 2, 3], [4, 5, 6]]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[1, 2, 3], [4, 5, 6]]"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "table"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Например, можно получить третий элемент второй строки вот так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "6"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "table[1][2]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Или целиком первую строку:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[1, 2, 3]"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "table[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Эта структура простая и понятная, однако не слишком удобная. Например, получить первый *столбец* уже не так просто. (Хорошее упражнение — написать для этого правильный код.)\n",
    "\n",
    "Есть ещё одна проблема: такая структура очень медленная. К счастью, хорошие люди уже написали для нас библиотеку по работе с табличными данными. Она называется *pandas*."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Датафреймы"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В pandas реализованы типы данных с разным числом измерений: одномерный тип (просто ряд) называется `Series`, двумерный (табличка) — `DataFrame`, трёхмерный — `Panel`. Мы будем обсуждать преимущественно `DataFrame`. Про `Series` скажем пока только то, что эта штука очень похожа на `np.array`.\n",
    "\n",
    "Давайте сделаем датафрейм из нашей таблички."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df = pd.DataFrame(table)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "      <th>2</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   0  1  2\n",
       "0  1  2  3\n",
       "1  4  5  6"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "У такой таблицы можно обращаться к строкам, а можно и к столбцам:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    1\n",
       "1    4\n",
       "Name: 0, dtype: int64"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[0] # первый столбец"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Номера слева соответствуют номерам (а точнее индексам) строк. Перед нами объект `pd.Series`, представляющий собой нечто среднее между `np.array` и словарём (ниже мы столкнёмся с этим более явно, когда индексы будут не последовательными целыми числами, а строками)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    1\n",
       "1    2\n",
       "2    3\n",
       "Name: 0, dtype: int64"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[0] # первая строка"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    4\n",
       "1    5\n",
       "2    6\n",
       "Name: 1, dtype: int64"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[1] # вторая строка"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Загрузка датафрейма из CSV-файла"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для дальнейшего рассмотрим простой CSV-файл с данными, изображающими результаты нескольких виртуальных студентов по некоторым домашкам. Я подготовил этот файл и сохранил его на сервере. Давайте для начала посмотрим на него «глазами»:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Assignment, Ann,Bob,Claudia,Daniel\n",
      "Limits, 1,2,3,2\n",
      "Derivatives, 2.3,1.2,3.2,1.2\n",
      "Integrals, 2.1,2.3,2.3,2.2\n",
      "Vectors, 4,2.5,2.4,1.2\n",
      "Operators, 6,5,4,5\n",
      "\n",
      "\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "r = requests.get(\"http://math-info.hse.ru/f/2015-16/all-py/data/simple.csv\")\n",
    "print(r.text)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Здесь `Ann`, `Bob` и т.д. — имена студентов, `Limits`, `Derivatives` и т.д. — названия домашних работ. Загрузим наш файл в `Pandas` — для этого его даже не нужно скачивать — можно передать функции `pd.read_csv()` URL (сетевой адрес) нашего файла (хотя, конечно, можно было бы открыть и локальный файл с тем же успехом):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df = pd.read_csv(\"http://math-info.hse.ru/f/2015-16/all-py/data/simple.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Assignment</th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "      <th>Claudia</th>\n",
       "      <th>Daniel</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Limits</td>\n",
       "      <td>1.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Derivatives</td>\n",
       "      <td>2.3</td>\n",
       "      <td>1.2</td>\n",
       "      <td>3.2</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Integrals</td>\n",
       "      <td>2.1</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Vectors</td>\n",
       "      <td>4.0</td>\n",
       "      <td>2.5</td>\n",
       "      <td>2.4</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Operators</td>\n",
       "      <td>6.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>5.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    Assignment   Ann  Bob  Claudia  Daniel\n",
       "0       Limits   1.0  2.0      3.0     2.0\n",
       "1  Derivatives   2.3  1.2      3.2     1.2\n",
       "2    Integrals   2.1  2.3      2.3     2.2\n",
       "3      Vectors   4.0  2.5      2.4     1.2\n",
       "4    Operators   6.0  5.0      4.0     5.0"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Заметим, что верхняя строчка выделена полужирным — это потому, что она рассматривается не как строчка с данными, а как строчка с именами столбцов. К столбцам можно обращаться по имени (примерно как к элементам словарей)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    2.0\n",
       "1    1.2\n",
       "2    2.3\n",
       "3    2.5\n",
       "4    5.0\n",
       "Name: Bob, dtype: float64"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['Bob']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "У строк по умолчанию нет имён, и им присваивются номера (левая полужирная колонка). Можно было бы загрузить файл таким образом, чтобы первый столбец рассматривался как столбец с именами строк (индексам), для этого надо передать `pd.read_csv()` параметр `index_col` с номером нужного столбца:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df = pd.read_csv(\n",
    "    \"http://math-info.hse.ru/f/2015-16/all-py/data/simple.csv\", \n",
    "    index_col=0\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "      <th>Claudia</th>\n",
       "      <th>Daniel</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Assignment</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Limits</th>\n",
       "      <td>1.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Derivatives</th>\n",
       "      <td>2.3</td>\n",
       "      <td>1.2</td>\n",
       "      <td>3.2</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Integrals</th>\n",
       "      <td>2.1</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Vectors</th>\n",
       "      <td>4.0</td>\n",
       "      <td>2.5</td>\n",
       "      <td>2.4</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Operators</th>\n",
       "      <td>6.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>5.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "              Ann  Bob  Claudia  Daniel\n",
       "Assignment                             \n",
       "Limits        1.0  2.0      3.0     2.0\n",
       "Derivatives   2.3  1.2      3.2     1.2\n",
       "Integrals     2.1  2.3      2.3     2.2\n",
       "Vectors       4.0  2.5      2.4     1.2\n",
       "Operators     6.0  5.0      4.0     5.0"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь можно посмотреть на строчку, обратившись к ней по имени (то есть по названию домашки):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       " Ann       1\n",
       "Bob        2\n",
       "Claudia    3\n",
       "Daniel     2\n",
       "Name: Limits, dtype: float64"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc['Limits']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Заметим, что теперь столбец слева состоит не из последовательных чисел, а из строк, являющихся именами соответствующих столбцов в исходной таблице.\n",
    "\n",
    "> В статистике, строчка датафрейма называется «наблюдением» (*observation*), а столбец — «переменной» (*variable*). Данные в столбце должны быть однородны (например, может быть столбец, состоящий только из чисел или только из строк, но не может быть столбца, в котором перемешаны строки и числа), а по строкам могут быть разнородны."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Слово `Assignment` при отображении `df` — не имя какой-то строчки, а имя столбца с индексами."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['Limits', 'Derivatives', 'Integrals', 'Vectors', 'Operators'], dtype='object', name='Assignment')"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.index"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Его можно убрать вот так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df.index.name = None"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "      <th>Claudia</th>\n",
       "      <th>Daniel</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Limits</th>\n",
       "      <td>1.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Derivatives</th>\n",
       "      <td>2.3</td>\n",
       "      <td>1.2</td>\n",
       "      <td>3.2</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Integrals</th>\n",
       "      <td>2.1</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Vectors</th>\n",
       "      <td>4.0</td>\n",
       "      <td>2.5</td>\n",
       "      <td>2.4</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Operators</th>\n",
       "      <td>6.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>5.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "              Ann  Bob  Claudia  Daniel\n",
       "Limits        1.0  2.0      3.0     2.0\n",
       "Derivatives   2.3  1.2      3.2     1.2\n",
       "Integrals     2.1  2.3      2.3     2.2\n",
       "Vectors       4.0  2.5      2.4     1.2\n",
       "Operators     6.0  5.0      4.0     5.0"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вот так можно обратиться к конкретному элементы таблицы:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2.0"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.at['Limits', 'Bob']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Попробуем то же самое с `Ann`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "ename": "KeyError",
     "evalue": "'Ann'",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mKeyError\u001b[0m                                  Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-22-6955a711dc3f>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0mdf\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mat\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m'Limits'\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'Ann'\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[0;32m/usr/local/lib/python3.5/site-packages/pandas/core/indexing.py\u001b[0m in \u001b[0;36m__getitem__\u001b[0;34m(self, key)\u001b[0m\n\u001b[1;32m   1524\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1525\u001b[0m         \u001b[0mkey\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_convert_key\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mkey\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1526\u001b[0;31m         \u001b[0;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mobj\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget_value\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m*\u001b[0m\u001b[0mkey\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mtakeable\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_takeable\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1527\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1528\u001b[0m     \u001b[0;32mdef\u001b[0m \u001b[0m__setitem__\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mkey\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mvalue\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/usr/local/lib/python3.5/site-packages/pandas/core/frame.py\u001b[0m in \u001b[0;36mget_value\u001b[0;34m(self, index, col, takeable)\u001b[0m\n\u001b[1;32m   1754\u001b[0m             \u001b[0;32mreturn\u001b[0m \u001b[0m_maybe_box_datetimelike\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mseries\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_values\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mindex\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1755\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1756\u001b[0;31m         \u001b[0mseries\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_get_item_cache\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mcol\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1757\u001b[0m         \u001b[0mengine\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mindex\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_engine\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1758\u001b[0m         \u001b[0;32mreturn\u001b[0m \u001b[0mengine\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget_value\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mseries\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget_values\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mindex\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/usr/local/lib/python3.5/site-packages/pandas/core/generic.py\u001b[0m in \u001b[0;36m_get_item_cache\u001b[0;34m(self, item)\u001b[0m\n\u001b[1;32m   1088\u001b[0m         \u001b[0mres\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mcache\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1089\u001b[0m         \u001b[0;32mif\u001b[0m \u001b[0mres\u001b[0m \u001b[0;32mis\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1090\u001b[0;31m             \u001b[0mvalues\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_data\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1091\u001b[0m             \u001b[0mres\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_box_item_values\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mvalues\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1092\u001b[0m             \u001b[0mcache\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m]\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mres\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/usr/local/lib/python3.5/site-packages/pandas/core/internals.py\u001b[0m in \u001b[0;36mget\u001b[0;34m(self, item, fastpath)\u001b[0m\n\u001b[1;32m   3100\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   3101\u001b[0m             \u001b[0;32mif\u001b[0m \u001b[0;32mnot\u001b[0m \u001b[0misnull\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 3102\u001b[0;31m                 \u001b[0mloc\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mitems\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget_loc\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   3103\u001b[0m             \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   3104\u001b[0m                 \u001b[0mindexer\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mnp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0marange\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mlen\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mitems\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0misnull\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mitems\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/usr/local/lib/python3.5/site-packages/pandas/core/index.py\u001b[0m in \u001b[0;36mget_loc\u001b[0;34m(self, key, method, tolerance)\u001b[0m\n\u001b[1;32m   1690\u001b[0m                 raise ValueError('tolerance argument only valid if using pad, '\n\u001b[1;32m   1691\u001b[0m                                  'backfill or nearest lookups')\n\u001b[0;32m-> 1692\u001b[0;31m             \u001b[0;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_engine\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget_loc\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0m_values_from_object\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mkey\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1693\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1694\u001b[0m         indexer = self.get_indexer([key], method=method,\n",
      "\u001b[0;32mpandas/index.pyx\u001b[0m in \u001b[0;36mpandas.index.IndexEngine.get_loc (pandas/index.c:3979)\u001b[0;34m()\u001b[0m\n",
      "\u001b[0;32mpandas/index.pyx\u001b[0m in \u001b[0;36mpandas.index.IndexEngine.get_loc (pandas/index.c:3843)\u001b[0;34m()\u001b[0m\n",
      "\u001b[0;32mpandas/hashtable.pyx\u001b[0m in \u001b[0;36mpandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:12265)\u001b[0;34m()\u001b[0m\n",
      "\u001b[0;32mpandas/hashtable.pyx\u001b[0m in \u001b[0;36mpandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:12216)\u001b[0;34m()\u001b[0m\n",
      "\u001b[0;31mKeyError\u001b[0m: 'Ann'"
     ]
    }
   ],
   "source": [
    "df.at['Limits', 'Ann']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Что-то не сработало, хотя `Ann`, очевидно, присутствует в нашем датафрейме. Посмотрим поближе на список имён столбцов:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index([' Ann', 'Bob', 'Claudia', 'Daniel'], dtype='object')"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.columns"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вот в чём дело! Перед именем `Ann` вкрался лишний пробел. Это потому, что я делал CSV-файл ручками и решил, что так будет более красиво. Ну что же, давайте переименуем первый столбец, убрав оттуда пробел. Сделать это, напрямую манипулируя элементами `df.columns` не получится (там неизменяемый объект), но зато можно присвоить этой переменной новый список, в котором имя первого столбца будет правильным."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[' Ann', 'Bob', 'Claudia', 'Daniel']\n",
      "['Ann', 'Bob', 'Claudia', 'Daniel']\n"
     ]
    }
   ],
   "source": [
    "my_columns = list(df.columns)\n",
    "print(my_columns)\n",
    "my_columns[0] = 'Ann'\n",
    "print(my_columns)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df.columns = my_columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Limits         1.0\n",
       "Derivatives    2.3\n",
       "Integrals      2.1\n",
       "Vectors        4.0\n",
       "Operators      6.0\n",
       "Name: Ann, dtype: float64"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['Ann']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Срезы"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Несмотря на то, что просто квадратные скобки (безо всяких `.loc` перед ними) позволяют обращаться к столбцам таблицы, те же самые квадратные скобки, используемые вместе со срезами, работают «по строчкам». Например, вот так можно получить вторую и третью строчки таблицы:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "      <th>Claudia</th>\n",
       "      <th>Daniel</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Derivatives</th>\n",
       "      <td>2.3</td>\n",
       "      <td>1.2</td>\n",
       "      <td>3.2</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Integrals</th>\n",
       "      <td>2.1</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "             Ann  Bob  Claudia  Daniel\n",
       "Derivatives  2.3  1.2      3.2     1.2\n",
       "Integrals    2.1  2.3      2.3     2.2"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[1:3]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Срезы можно делать не только по номерам строк, но и по их именам:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "      <th>Claudia</th>\n",
       "      <th>Daniel</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Limits</th>\n",
       "      <td>1.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Derivatives</th>\n",
       "      <td>2.3</td>\n",
       "      <td>1.2</td>\n",
       "      <td>3.2</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Integrals</th>\n",
       "      <td>2.1</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Vectors</th>\n",
       "      <td>4.0</td>\n",
       "      <td>2.5</td>\n",
       "      <td>2.4</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "             Ann  Bob  Claudia  Daniel\n",
       "Limits       1.0  2.0      3.0     2.0\n",
       "Derivatives  2.3  1.2      3.2     1.2\n",
       "Integrals    2.1  2.3      2.3     2.2\n",
       "Vectors      4.0  2.5      2.4     1.2"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['Limits':'Vectors']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Важная разница состоит в том, что теперь срез *включает* последний элемент (в отличие от всего, что вы знали раньше о срезах). Срезы с номерами строк ведут себя как обычно (последний элемент не включается):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "      <th>Claudia</th>\n",
       "      <th>Daniel</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Limits</th>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "        Ann  Bob  Claudia  Daniel\n",
       "Limits    1    2        3       2"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[0:1]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ещё можно обратиться к столбцу по его имени вот так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Limits         1.0\n",
       "Derivatives    2.3\n",
       "Integrals      2.1\n",
       "Vectors        4.0\n",
       "Operators      6.0\n",
       "Name: Ann, dtype: float64"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.Ann"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Но это не самый безопасный способ. Во-первых, чтобы он сработал, имя столбца должно быть валидным идентификатором Python (то есть таким словом, каким можно назвать переменную), а это не всегда верно — например, в имени столбца могут встречаться пробелы, и в этом случае способ обращения через точку не сработает. Во-вторых, использовать такое обращение при присваивании небезопасно. Например, редактирование конкретной ячейки в уже созданном столбце сработает:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df.Ann['Limits'] = 2.0 # Ann пересдала домашку по пределам"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "      <th>Claudia</th>\n",
       "      <th>Daniel</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Limits</th>\n",
       "      <td>2.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Derivatives</th>\n",
       "      <td>2.3</td>\n",
       "      <td>1.2</td>\n",
       "      <td>3.2</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Integrals</th>\n",
       "      <td>2.1</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Vectors</th>\n",
       "      <td>4.0</td>\n",
       "      <td>2.5</td>\n",
       "      <td>2.4</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Operators</th>\n",
       "      <td>6.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>5.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "             Ann  Bob  Claudia  Daniel\n",
       "Limits       2.0  2.0      3.0     2.0\n",
       "Derivatives  2.3  1.2      3.2     1.2\n",
       "Integrals    2.1  2.3      2.3     2.2\n",
       "Vectors      4.0  2.5      2.4     1.2\n",
       "Operators    6.0  5.0      4.0     5.0"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А создание нового столбца таким образом не сработает:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df.Julia = [1, 2, 3, 4, 5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "      <th>Claudia</th>\n",
       "      <th>Daniel</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Limits</th>\n",
       "      <td>2.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Derivatives</th>\n",
       "      <td>2.3</td>\n",
       "      <td>1.2</td>\n",
       "      <td>3.2</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Integrals</th>\n",
       "      <td>2.1</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Vectors</th>\n",
       "      <td>4.0</td>\n",
       "      <td>2.5</td>\n",
       "      <td>2.4</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Operators</th>\n",
       "      <td>6.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>5.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "             Ann  Bob  Claudia  Daniel\n",
       "Limits       2.0  2.0      3.0     2.0\n",
       "Derivatives  2.3  1.2      3.2     1.2\n",
       "Integrals    2.1  2.3      2.3     2.2\n",
       "Vectors      4.0  2.5      2.4     1.2\n",
       "Operators    6.0  5.0      4.0     5.0"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Если бы мы хотели добавить новый столбец, нужно было бы использовать синтаксис с квадратными скобками:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df['Julia'] = [1, 2, 3, 4, 5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "      <th>Claudia</th>\n",
       "      <th>Daniel</th>\n",
       "      <th>Julia</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Limits</th>\n",
       "      <td>2.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Derivatives</th>\n",
       "      <td>2.3</td>\n",
       "      <td>1.2</td>\n",
       "      <td>3.2</td>\n",
       "      <td>1.2</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Integrals</th>\n",
       "      <td>2.1</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.2</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Vectors</th>\n",
       "      <td>4.0</td>\n",
       "      <td>2.5</td>\n",
       "      <td>2.4</td>\n",
       "      <td>1.2</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Operators</th>\n",
       "      <td>6.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "             Ann  Bob  Claudia  Daniel  Julia\n",
       "Limits       2.0  2.0      3.0     2.0      1\n",
       "Derivatives  2.3  1.2      3.2     1.2      2\n",
       "Integrals    2.1  2.3      2.3     2.2      3\n",
       "Vectors      4.0  2.5      2.4     1.2      4\n",
       "Operators    6.0  5.0      4.0     5.0      5"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Ещё о способах обращения к элементам датафреймов"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Как мы уже видели выше, есть несколько способов обращаться к элементам датафрейма. Во-первых, просто квадратные скобки. Если передать им один элемент, то вернётся столбец с соответствующим именем. Кстати, если передать список из нескольких элементов, то вернётся датафрейм с соответствующими столбцами:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Limits</th>\n",
       "      <td>2.0</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Derivatives</th>\n",
       "      <td>2.3</td>\n",
       "      <td>1.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Integrals</th>\n",
       "      <td>2.1</td>\n",
       "      <td>2.3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Vectors</th>\n",
       "      <td>4.0</td>\n",
       "      <td>2.5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Operators</th>\n",
       "      <td>6.0</td>\n",
       "      <td>5.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "             Ann  Bob\n",
       "Limits       2.0  2.0\n",
       "Derivatives  2.3  1.2\n",
       "Integrals    2.1  2.3\n",
       "Vectors      4.0  2.5\n",
       "Operators    6.0  5.0"
      ]
     },
     "execution_count": 37,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[['Ann', 'Bob']]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А если передать срез (что-то через двоеточие), то вернётся датафрейм с соответствующими строчками. (Это всё не так-то просто запомнить, увы.)\n",
    "\n",
    "#### `loc[]`\n",
    "Второй способ — это метод `loc`. Его надо вызывать также с квадратными скобками, передавая имена. Если передать одно имя, то оно рассматривается как имя строки, а если два, то возвращается ячейка с соответствующей строкой и столбцом:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Ann        2\n",
       "Bob        2\n",
       "Claudia    3\n",
       "Daniel     2\n",
       "Julia      1\n",
       "Name: Limits, dtype: float64"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc['Limits']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2.0"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc['Limits', 'Ann']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false
   },
   "source": [
    "А вот так можно с помощью `loc[]` получить столбец:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Limits         2.0\n",
       "Derivatives    2.3\n",
       "Integrals      2.1\n",
       "Vectors        4.0\n",
       "Operators      6.0\n",
       "Name: Ann, dtype: float64"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[:, 'Ann']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Здесь в качестве первого аргумента передаётся «тривиальный срез», то есть такой срез, у которого начало совпадает с началом всего массива, а конец с концом всего. Аналогично было со списками, если помните:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "my_list = [4, 3, 2, 1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[4, 3, 2, 1]"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "other_list = my_list[:]\n",
    "other_list"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### `iloc[]` \n",
    "Метод `loc[]` работает с именами строк и столбцов, а если вы хотите использовать их номера, то вам нужен метод `iloc[]`. Работает он примерно так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Ann        2.3\n",
       "Bob        1.2\n",
       "Claudia    3.2\n",
       "Daniel     1.2\n",
       "Julia      2.0\n",
       "Name: Derivatives, dtype: float64"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.iloc[1] # вторая строка"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Limits         3.0\n",
       "Derivatives    3.2\n",
       "Integrals      2.3\n",
       "Vectors        2.4\n",
       "Operators      4.0\n",
       "Name: Claudia, dtype: float64"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.iloc[:, 2] # третий столбец"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3.2000000000000002"
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.iloc[1, 2] # ячейка во второй строке, третьем столбце"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### `at[]` и `iat[]`\n",
    "Обычные квадратные скобки, а также методы `loc[]` и `iloc[]` должны обрабатывать разные случаи, связанные со срезами и т.д. Это делает их медленными. Если вы хотите обратиться к конкретной ячейке, можете использовать для этого методы `at[]` или `iat[]`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2.2999999999999998"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.at['Derivatives', 'Ann']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3.2000000000000002"
      ]
     },
     "execution_count": 47,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.iat[1, 2]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Выбор по условию"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Предположим, что нам нужно получить все строки, соответствующие домашкам, по которым *Ann* получила оценку выше тройки. Это делается так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Bob</th>\n",
       "      <th>Claudia</th>\n",
       "      <th>Daniel</th>\n",
       "      <th>Julia</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Vectors</th>\n",
       "      <td>4</td>\n",
       "      <td>2.5</td>\n",
       "      <td>2.4</td>\n",
       "      <td>1.2</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Operators</th>\n",
       "      <td>6</td>\n",
       "      <td>5.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "           Ann  Bob  Claudia  Daniel  Julia\n",
       "Vectors      4  2.5      2.4     1.2      4\n",
       "Operators    6  5.0      4.0     5.0      5"
      ]
     },
     "execution_count": 48,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[df['Ann']>3]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Этот синтаксис работает примерно так же, как аналогичный синтаксис в `np.array`, обсуждавшийся на прошлой лекции. Результатом сравнения `df['Ann']` с числом 3 является массив (точкее, `pd.Series`), содержащий булевские элементы, являющиеся результатами попарного сравнения элементов `df['Ann']` с числом 3:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Limits         False\n",
       "Derivatives    False\n",
       "Integrals      False\n",
       "Vectors         True\n",
       "Operators       True\n",
       "Name: Ann, dtype: bool"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['Ann']>3"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Если передать такой объект квадратным скобкам, то они выберут те элементы, напротив которых стоит `True`.\n",
    "\n",
    "Аналогично можно выбрать столбцы по условию, с помощью `loc`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ann</th>\n",
       "      <th>Claudia</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Limits</th>\n",
       "      <td>2.0</td>\n",
       "      <td>3.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Derivatives</th>\n",
       "      <td>2.3</td>\n",
       "      <td>3.2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Integrals</th>\n",
       "      <td>2.1</td>\n",
       "      <td>2.3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Vectors</th>\n",
       "      <td>4.0</td>\n",
       "      <td>2.4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Operators</th>\n",
       "      <td>6.0</td>\n",
       "      <td>4.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "             Ann  Claudia\n",
       "Limits       2.0      3.0\n",
       "Derivatives  2.3      3.2\n",
       "Integrals    2.1      2.3\n",
       "Vectors      4.0      2.4\n",
       "Operators    6.0      4.0"
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[:, df.loc['Derivatives']>2] \n",
    "# выбрать все столбцы, у которых в строке `Derivatives` оценка больше двух"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Операции со строками и столбцами\n",
    "Допустим, мы хотим посчитать среднюю успеваемость каждого студента. Нет проблем:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Ann        3.28\n",
       "Bob        2.60\n",
       "Claudia    2.98\n",
       "Daniel     2.32\n",
       "Julia      3.00\n",
       "dtype: float64"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.mean()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А может быть нас интересует средняя решаемость домашек? Можно предложить два способа её посчитать. Во-первых, можно транспонировать нашу табличку, записав строки по столбцам, и применить к ней тот же метод `mean()`. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Limits</th>\n",
       "      <th>Derivatives</th>\n",
       "      <th>Integrals</th>\n",
       "      <th>Vectors</th>\n",
       "      <th>Operators</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Ann</th>\n",
       "      <td>2</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.1</td>\n",
       "      <td>4.0</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Bob</th>\n",
       "      <td>2</td>\n",
       "      <td>1.2</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.5</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Claudia</th>\n",
       "      <td>3</td>\n",
       "      <td>3.2</td>\n",
       "      <td>2.3</td>\n",
       "      <td>2.4</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Daniel</th>\n",
       "      <td>2</td>\n",
       "      <td>1.2</td>\n",
       "      <td>2.2</td>\n",
       "      <td>1.2</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Julia</th>\n",
       "      <td>1</td>\n",
       "      <td>2.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         Limits  Derivatives  Integrals  Vectors  Operators\n",
       "Ann           2          2.3        2.1      4.0          6\n",
       "Bob           2          1.2        2.3      2.5          5\n",
       "Claudia       3          3.2        2.3      2.4          4\n",
       "Daniel        2          1.2        2.2      1.2          5\n",
       "Julia         1          2.0        3.0      4.0          5"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.T"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Limits         2.00\n",
       "Derivatives    1.98\n",
       "Integrals      2.38\n",
       "Vectors        2.82\n",
       "Operators      5.00\n",
       "dtype: float64"
      ]
     },
     "execution_count": 53,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.T.mean()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Во-вторых (и это, наверное, проще), можно передать методу `mean()` параметр `axis`, указывающий, вдоль какой оси нужно считать. (Такое свойство есть у разных функций, работающих со строками или столбцами.)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Limits         2.00\n",
       "Derivatives    1.98\n",
       "Integrals      2.38\n",
       "Vectors        2.82\n",
       "Operators      5.00\n",
       "dtype: float64"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.mean(axis=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Limits         2.00\n",
       "Derivatives    1.98\n",
       "Integrals      2.38\n",
       "Vectors        2.82\n",
       "Operators      5.00\n",
       "dtype: float64"
      ]
     },
     "execution_count": 55,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.mean(axis='columns')\n",
    "# можно ещё так"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Конечно, есть не только среднее, но и другие распространённые функции дескриптивной статистики."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Ann        2.0\n",
       "Bob        1.2\n",
       "Claudia    2.3\n",
       "Daniel     1.2\n",
       "Julia      1.0\n",
       "dtype: float64"
      ]
     },
     "execution_count": 56,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.min()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Ann        6\n",
       "Bob        5\n",
       "Claudia    4\n",
       "Daniel     5\n",
       "Julia      5\n",
       "dtype: float64"
      ]
     },
     "execution_count": 57,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.max()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Более сложный датафрейм"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Рассмотрим реальный датафрейм, полученный с портала открытых данных г. Москвы. Я его скачал [отсюда](http://data.mos.ru/opendata/7704219722-tarify-na-kommunalnye-uslugi-dlya-naseleniya-goroda-moskvy-na-2012-god?pageNumber=1&versionNumber=2&releaseNumber=1), но там он лежит в zip-файле, который не так-то просто разархивировать из-за кириллицы в имени файла (мне на Маке пришлось повозиться), так что я скопировал CSV'шку на наш сервер. Если попробовать её просто открыть, то появится ошибка, потому что в качестве разделителя там используется не запятая, а точка с запятой — такое часто бывает и у функции `pd.read_csv()` на эту тему есть специальный параметр `sep`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df = pd.read_csv(\n",
    "    \"http://math-info.hse.ru/f/2015-16/all-py/data/tariff2012.csv\",\n",
    "    sep=';'\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Таблица большая, выведем только несколько первых строк, чтобы понять, с чем мы имеем дело:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>﻿ROWNUM</th>\n",
       "      <th>Region</th>\n",
       "      <th>TariffItem</th>\n",
       "      <th>UnitOfMeasure</th>\n",
       "      <th>StartDate</th>\n",
       "      <th>EndDate</th>\n",
       "      <th>MeasureDeviceAvail</th>\n",
       "      <th>StoveType</th>\n",
       "      <th>ConsumptionTime</th>\n",
       "      <th>ConsumptionTarget</th>\n",
       "      <th>Agency</th>\n",
       "      <th>TariffValue</th>\n",
       "      <th>global_id</th>\n",
       "      <th>Unnamed: 13</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Горячее водоснабжение</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ОАО «МОЭК» и иные, кроме ОАО «Мосэнерго» и ОАО...</td>\n",
       "      <td>105.45</td>\n",
       "      <td>19693618</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2</td>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Водоотведение</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>МГУП «Мосводоканал»</td>\n",
       "      <td>16.65</td>\n",
       "      <td>19693667</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3</td>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/кв.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.08.2012</td>\n",
       "      <td>нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>дома с отоплением от газовых нагревателей</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>25.61</td>\n",
       "      <td>19693682</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4</td>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Электроэнергия</td>\n",
       "      <td>руб/кВт.ч</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.07.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>газовая</td>\n",
       "      <td>с 07:00 по 23:00 ч (двухтарифный учет)</td>\n",
       "      <td>на бытовые нужды</td>\n",
       "      <td>ОАО «Мосэнергосбыт»</td>\n",
       "      <td>4.03</td>\n",
       "      <td>19693607</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>5</td>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Электроэнергия</td>\n",
       "      <td>руб/кВт.ч</td>\n",
       "      <td>01.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>газовая</td>\n",
       "      <td>с 23:00 по 07:00 ч (двухтарифный учет)</td>\n",
       "      <td>на бытовые нужды</td>\n",
       "      <td>ОАО «Мосэнергосбыт»</td>\n",
       "      <td>0.95</td>\n",
       "      <td>19693669</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ﻿ROWNUM                                             Region  \\\n",
       "0        1  город Москва (за исключением Троицкого и Новом...   \n",
       "1        2  город Москва (за исключением Троицкого и Новом...   \n",
       "2        3  город Москва (за исключением Троицкого и Новом...   \n",
       "3        4  город Москва (за исключением Троицкого и Новом...   \n",
       "4        5  город Москва (за исключением Троицкого и Новом...   \n",
       "\n",
       "              TariffItem UnitOfMeasure   StartDate     EndDate  \\\n",
       "0  Горячее водоснабжение     руб/куб.м  01.01.2012  30.06.2012   \n",
       "1          Водоотведение     руб/куб.м  01.01.2012  30.06.2012   \n",
       "2                    Газ      руб/кв.м  01.07.2012  31.08.2012   \n",
       "3         Электроэнергия     руб/кВт.ч  01.07.2012  31.07.2012   \n",
       "4         Электроэнергия     руб/кВт.ч  01.01.2012  30.06.2012   \n",
       "\n",
       "  MeasureDeviceAvail StoveType                         ConsumptionTime  \\\n",
       "0                 да       NaN                                     NaN   \n",
       "1                 да       NaN                                     NaN   \n",
       "2                нет       NaN                                     NaN   \n",
       "3                 да   газовая  с 07:00 по 23:00 ч (двухтарифный учет)   \n",
       "4                 да   газовая  с 23:00 по 07:00 ч (двухтарифный учет)   \n",
       "\n",
       "                           ConsumptionTarget  \\\n",
       "0                                        NaN   \n",
       "1                                        NaN   \n",
       "2  дома с отоплением от газовых нагревателей   \n",
       "3                           на бытовые нужды   \n",
       "4                           на бытовые нужды   \n",
       "\n",
       "                                              Agency  TariffValue  global_id  \\\n",
       "0  ОАО «МОЭК» и иные, кроме ОАО «Мосэнерго» и ОАО...       105.45   19693618   \n",
       "1                                МГУП «Мосводоканал»        16.65   19693667   \n",
       "2                  ООО «Газпром межрегионгаз Москва»        25.61   19693682   \n",
       "3                                ОАО «Мосэнергосбыт»         4.03   19693607   \n",
       "4                                ОАО «Мосэнергосбыт»         0.95   19693669   \n",
       "\n",
       "   Unnamed: 13  \n",
       "0          NaN  \n",
       "1          NaN  \n",
       "2          NaN  \n",
       "3          NaN  \n",
       "4          NaN  "
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Кажется, в таблице есть столбец `ROWNUM`, который можно было бы сделать индексом для строк, но тут не всё просто. Например:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "ename": "KeyError",
     "evalue": "'ROWNUM'",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mKeyError\u001b[0m                                  Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-60-2f6f79c10808>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0mdf\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m'ROWNUM'\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[0;32m/usr/local/lib/python3.5/site-packages/pandas/core/frame.py\u001b[0m in \u001b[0;36m__getitem__\u001b[0;34m(self, key)\u001b[0m\n\u001b[1;32m   1912\u001b[0m             \u001b[0;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_getitem_multilevel\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mkey\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1913\u001b[0m         \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1914\u001b[0;31m             \u001b[0;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_getitem_column\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mkey\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1915\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1916\u001b[0m     \u001b[0;32mdef\u001b[0m \u001b[0m_getitem_column\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mkey\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/usr/local/lib/python3.5/site-packages/pandas/core/frame.py\u001b[0m in \u001b[0;36m_getitem_column\u001b[0;34m(self, key)\u001b[0m\n\u001b[1;32m   1919\u001b[0m         \u001b[0;31m# get column\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1920\u001b[0m         \u001b[0;32mif\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mcolumns\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mis_unique\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1921\u001b[0;31m             \u001b[0;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_get_item_cache\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mkey\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1922\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1923\u001b[0m         \u001b[0;31m# duplicate columns & possible reduce dimensionaility\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/usr/local/lib/python3.5/site-packages/pandas/core/generic.py\u001b[0m in \u001b[0;36m_get_item_cache\u001b[0;34m(self, item)\u001b[0m\n\u001b[1;32m   1088\u001b[0m         \u001b[0mres\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mcache\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1089\u001b[0m         \u001b[0;32mif\u001b[0m \u001b[0mres\u001b[0m \u001b[0;32mis\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1090\u001b[0;31m             \u001b[0mvalues\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_data\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1091\u001b[0m             \u001b[0mres\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_box_item_values\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mvalues\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1092\u001b[0m             \u001b[0mcache\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m]\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mres\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/usr/local/lib/python3.5/site-packages/pandas/core/internals.py\u001b[0m in \u001b[0;36mget\u001b[0;34m(self, item, fastpath)\u001b[0m\n\u001b[1;32m   3100\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   3101\u001b[0m             \u001b[0;32mif\u001b[0m \u001b[0;32mnot\u001b[0m \u001b[0misnull\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 3102\u001b[0;31m                 \u001b[0mloc\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mitems\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget_loc\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   3103\u001b[0m             \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   3104\u001b[0m                 \u001b[0mindexer\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mnp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0marange\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mlen\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mitems\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0misnull\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mitems\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/usr/local/lib/python3.5/site-packages/pandas/core/index.py\u001b[0m in \u001b[0;36mget_loc\u001b[0;34m(self, key, method, tolerance)\u001b[0m\n\u001b[1;32m   1690\u001b[0m                 raise ValueError('tolerance argument only valid if using pad, '\n\u001b[1;32m   1691\u001b[0m                                  'backfill or nearest lookups')\n\u001b[0;32m-> 1692\u001b[0;31m             \u001b[0;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_engine\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mget_loc\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0m_values_from_object\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mkey\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   1693\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1694\u001b[0m         indexer = self.get_indexer([key], method=method,\n",
      "\u001b[0;32mpandas/index.pyx\u001b[0m in \u001b[0;36mpandas.index.IndexEngine.get_loc (pandas/index.c:3979)\u001b[0;34m()\u001b[0m\n",
      "\u001b[0;32mpandas/index.pyx\u001b[0m in \u001b[0;36mpandas.index.IndexEngine.get_loc (pandas/index.c:3843)\u001b[0;34m()\u001b[0m\n",
      "\u001b[0;32mpandas/hashtable.pyx\u001b[0m in \u001b[0;36mpandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:12265)\u001b[0;34m()\u001b[0m\n",
      "\u001b[0;32mpandas/hashtable.pyx\u001b[0m in \u001b[0;36mpandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:12216)\u001b[0;34m()\u001b[0m\n",
      "\u001b[0;31mKeyError\u001b[0m: 'ROWNUM'"
     ]
    }
   ],
   "source": [
    "df['ROWNUM']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Почему-то эта штука считает, что там нет столбца `ROWNUM`, хотя мы его видим своими глазами! Давайте посмотрим повнимательнее."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['﻿ROWNUM', 'Region', 'TariffItem', 'UnitOfMeasure', 'StartDate',\n",
       "       'EndDate', 'MeasureDeviceAvail', 'StoveType', 'ConsumptionTime',\n",
       "       'ConsumptionTarget', 'Agency', 'TariffValue', 'global_id',\n",
       "       'Unnamed: 13'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 61,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.columns"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "…Вроде бы есть `ROWNUM`…"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['\\ufeffROWNUM',\n",
       " 'Region',\n",
       " 'TariffItem',\n",
       " 'UnitOfMeasure',\n",
       " 'StartDate',\n",
       " 'EndDate',\n",
       " 'MeasureDeviceAvail',\n",
       " 'StoveType',\n",
       " 'ConsumptionTime',\n",
       " 'ConsumptionTarget',\n",
       " 'Agency',\n",
       " 'TariffValue',\n",
       " 'global_id',\n",
       " 'Unnamed: 13']"
      ]
     },
     "execution_count": 62,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "list(df.columns)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Вот оно! Оказывается, перед `ROWNUM` есть какой-то невидимый символ, кодирующийся как `\\ufeff`. Это так называемый BOM — Byte Order Mark — и он вылезает иногда при чтении файлов в кодировках UTF. Он показывает, в каком порядке идут байты. Чтобы он не попал в наши данные, нужно при чтении использовать опцию `encoding='utf-8-sig'`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df = pd.read_csv(\n",
    "    \"http://math-info.hse.ru/f/2015-16/all-py/data/tariff2012.csv\",\n",
    "    sep=';',\n",
    "    encoding = 'utf-8-sig'\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь `df['ROWNUM']` работает:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    1\n",
       "1    2\n",
       "2    3\n",
       "3    4\n",
       "4    5\n",
       "Name: ROWNUM, dtype: int64"
      ]
     },
     "execution_count": 64,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['ROWNUM'].head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Впрочем, этот столбец нам всё равно в явном виде не понадобится — мы сделаем его индексом строк."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df = pd.read_csv(\n",
    "    \"http://math-info.hse.ru/f/2015-16/all-py/data/tariff2012.csv\",\n",
    "    sep=';',\n",
    "    encoding='utf-8-sig', \n",
    "    index_col=0\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Region</th>\n",
       "      <th>TariffItem</th>\n",
       "      <th>UnitOfMeasure</th>\n",
       "      <th>StartDate</th>\n",
       "      <th>EndDate</th>\n",
       "      <th>MeasureDeviceAvail</th>\n",
       "      <th>StoveType</th>\n",
       "      <th>ConsumptionTime</th>\n",
       "      <th>ConsumptionTarget</th>\n",
       "      <th>Agency</th>\n",
       "      <th>TariffValue</th>\n",
       "      <th>global_id</th>\n",
       "      <th>Unnamed: 13</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ROWNUM</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Горячее водоснабжение</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ОАО «МОЭК» и иные, кроме ОАО «Мосэнерго» и ОАО...</td>\n",
       "      <td>105.45</td>\n",
       "      <td>19693618</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Водоотведение</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>МГУП «Мосводоканал»</td>\n",
       "      <td>16.65</td>\n",
       "      <td>19693667</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/кв.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.08.2012</td>\n",
       "      <td>нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>дома с отоплением от газовых нагревателей</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>25.61</td>\n",
       "      <td>19693682</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Электроэнергия</td>\n",
       "      <td>руб/кВт.ч</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.07.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>газовая</td>\n",
       "      <td>с 07:00 по 23:00 ч (двухтарифный учет)</td>\n",
       "      <td>на бытовые нужды</td>\n",
       "      <td>ОАО «Мосэнергосбыт»</td>\n",
       "      <td>4.03</td>\n",
       "      <td>19693607</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Электроэнергия</td>\n",
       "      <td>руб/кВт.ч</td>\n",
       "      <td>01.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>газовая</td>\n",
       "      <td>с 23:00 по 07:00 ч (двухтарифный учет)</td>\n",
       "      <td>на бытовые нужды</td>\n",
       "      <td>ОАО «Мосэнергосбыт»</td>\n",
       "      <td>0.95</td>\n",
       "      <td>19693669</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   Region  \\\n",
       "ROWNUM                                                      \n",
       "1       город Москва (за исключением Троицкого и Новом...   \n",
       "2       город Москва (за исключением Троицкого и Новом...   \n",
       "3       город Москва (за исключением Троицкого и Новом...   \n",
       "4       город Москва (за исключением Троицкого и Новом...   \n",
       "5       город Москва (за исключением Троицкого и Новом...   \n",
       "\n",
       "                   TariffItem UnitOfMeasure   StartDate     EndDate  \\\n",
       "ROWNUM                                                                \n",
       "1       Горячее водоснабжение     руб/куб.м  01.01.2012  30.06.2012   \n",
       "2               Водоотведение     руб/куб.м  01.01.2012  30.06.2012   \n",
       "3                         Газ      руб/кв.м  01.07.2012  31.08.2012   \n",
       "4              Электроэнергия     руб/кВт.ч  01.07.2012  31.07.2012   \n",
       "5              Электроэнергия     руб/кВт.ч  01.01.2012  30.06.2012   \n",
       "\n",
       "       MeasureDeviceAvail StoveType                         ConsumptionTime  \\\n",
       "ROWNUM                                                                        \n",
       "1                      да       NaN                                     NaN   \n",
       "2                      да       NaN                                     NaN   \n",
       "3                     нет       NaN                                     NaN   \n",
       "4                      да   газовая  с 07:00 по 23:00 ч (двухтарифный учет)   \n",
       "5                      да   газовая  с 23:00 по 07:00 ч (двухтарифный учет)   \n",
       "\n",
       "                                ConsumptionTarget  \\\n",
       "ROWNUM                                              \n",
       "1                                             NaN   \n",
       "2                                             NaN   \n",
       "3       дома с отоплением от газовых нагревателей   \n",
       "4                                на бытовые нужды   \n",
       "5                                на бытовые нужды   \n",
       "\n",
       "                                                   Agency  TariffValue  \\\n",
       "ROWNUM                                                                   \n",
       "1       ОАО «МОЭК» и иные, кроме ОАО «Мосэнерго» и ОАО...       105.45   \n",
       "2                                     МГУП «Мосводоканал»        16.65   \n",
       "3                       ООО «Газпром межрегионгаз Москва»        25.61   \n",
       "4                                     ОАО «Мосэнергосбыт»         4.03   \n",
       "5                                     ОАО «Мосэнергосбыт»         0.95   \n",
       "\n",
       "        global_id  Unnamed: 13  \n",
       "ROWNUM                          \n",
       "1        19693618          NaN  \n",
       "2        19693667          NaN  \n",
       "3        19693682          NaN  \n",
       "4        19693607          NaN  \n",
       "5        19693669          NaN  "
      ]
     },
     "execution_count": 66,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обратите внимание на `NaN` — это такой специальный элемент, который указыает, что в данной ячейке нет данных (например, в исходном файле в эту ячейку ничего не было записано).\n",
    "\n",
    "### Выбор и группировка\n",
    "\n",
    "Видно, что в таблице собраны разнородные данные — тарифы на газ, электроэнергию и т.д. Прежде, чем с ними можно будет сделать что-то осмысленное, их надо как-то разделить. Это можно делать, например, с помощью условного выбора: "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Region</th>\n",
       "      <th>TariffItem</th>\n",
       "      <th>UnitOfMeasure</th>\n",
       "      <th>StartDate</th>\n",
       "      <th>EndDate</th>\n",
       "      <th>MeasureDeviceAvail</th>\n",
       "      <th>StoveType</th>\n",
       "      <th>ConsumptionTime</th>\n",
       "      <th>ConsumptionTarget</th>\n",
       "      <th>Agency</th>\n",
       "      <th>TariffValue</th>\n",
       "      <th>global_id</th>\n",
       "      <th>Unnamed: 13</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ROWNUM</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/кв.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.08.2012</td>\n",
       "      <td>нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>дома с отоплением от газовых нагревателей</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>25.61</td>\n",
       "      <td>19693682</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>город Москва</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>11.01.2011</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на приготовление пищи и горячее водоснабжение ...</td>\n",
       "      <td>ООО «Мосрегионгаз»</td>\n",
       "      <td>4.09</td>\n",
       "      <td>19693595</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на нагрев воды с использованием газового водон...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>4.09</td>\n",
       "      <td>19693684</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.12.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на нагрев воды с использованием газового водон...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>4.70</td>\n",
       "      <td>19693624</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/1000 куб.м</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на отопление с одновременным использованием га...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>2930.00</td>\n",
       "      <td>19693625</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   Region TariffItem  \\\n",
       "ROWNUM                                                                 \n",
       "3       город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "7                                            город Москва        Газ   \n",
       "8       город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "11      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "12      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "\n",
       "         UnitOfMeasure   StartDate     EndDate MeasureDeviceAvail StoveType  \\\n",
       "ROWNUM                                                                        \n",
       "3             руб/кв.м  01.07.2012  31.08.2012                нет       NaN   \n",
       "7            руб/куб.м  11.01.2011  15.01.2012                 да       NaN   \n",
       "8            руб/куб.м  15.01.2012  30.06.2012             да/нет       NaN   \n",
       "11           руб/куб.м  01.07.2012  31.12.2012             да/нет       NaN   \n",
       "12      руб/1000 куб.м  15.01.2012  30.06.2012             да/нет       NaN   \n",
       "\n",
       "       ConsumptionTime                                  ConsumptionTarget  \\\n",
       "ROWNUM                                                                      \n",
       "3                  NaN          дома с отоплением от газовых нагревателей   \n",
       "7                  NaN  на приготовление пищи и горячее водоснабжение ...   \n",
       "8                  NaN  на нагрев воды с использованием газового водон...   \n",
       "11                 NaN  на нагрев воды с использованием газового водон...   \n",
       "12                 NaN  на отопление с одновременным использованием га...   \n",
       "\n",
       "                                   Agency  TariffValue  global_id  Unnamed: 13  \n",
       "ROWNUM                                                                          \n",
       "3       ООО «Газпром межрегионгаз Москва»        25.61   19693682          NaN  \n",
       "7                      ООО «Мосрегионгаз»         4.09   19693595          NaN  \n",
       "8       ООО «Газпром межрегионгаз Москва»         4.09   19693684          NaN  \n",
       "11      ООО «Газпром межрегионгаз Москва»         4.70   19693624          NaN  \n",
       "12      ООО «Газпром межрегионгаз Москва»      2930.00   19693625          NaN  "
      ]
     },
     "execution_count": 67,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_gas = df[df['TariffItem'] == 'Газ']\n",
    "df_gas.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь у нас есть табличка, в которой приведены данные только по тарифам на газ.\n",
    "\n",
    "Другой подход состоит в том, чтобы создать сразу много табличек в зависимости от того, что записано в графе `TariffItem`. Для этого в *pandas* есть метод `groupby()`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Region</th>\n",
       "      <th>TariffItem</th>\n",
       "      <th>UnitOfMeasure</th>\n",
       "      <th>StartDate</th>\n",
       "      <th>EndDate</th>\n",
       "      <th>MeasureDeviceAvail</th>\n",
       "      <th>StoveType</th>\n",
       "      <th>ConsumptionTime</th>\n",
       "      <th>ConsumptionTarget</th>\n",
       "      <th>Agency</th>\n",
       "      <th>TariffValue</th>\n",
       "      <th>global_id</th>\n",
       "      <th>Unnamed: 13</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ROWNUM</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/кв.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.08.2012</td>\n",
       "      <td>нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>дома с отоплением от газовых нагревателей</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>25.61</td>\n",
       "      <td>19693682</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>город Москва</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>11.01.2011</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на приготовление пищи и горячее водоснабжение ...</td>\n",
       "      <td>ООО «Мосрегионгаз»</td>\n",
       "      <td>4.09</td>\n",
       "      <td>19693595</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на нагрев воды с использованием газового водон...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>4.09</td>\n",
       "      <td>19693684</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.12.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на нагрев воды с использованием газового водон...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>4.70</td>\n",
       "      <td>19693624</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/1000 куб.м</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на отопление с одновременным использованием га...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>2930.00</td>\n",
       "      <td>19693625</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   Region TariffItem  \\\n",
       "ROWNUM                                                                 \n",
       "3       город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "7                                            город Москва        Газ   \n",
       "8       город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "11      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "12      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "\n",
       "         UnitOfMeasure   StartDate     EndDate MeasureDeviceAvail StoveType  \\\n",
       "ROWNUM                                                                        \n",
       "3             руб/кв.м  01.07.2012  31.08.2012                нет       NaN   \n",
       "7            руб/куб.м  11.01.2011  15.01.2012                 да       NaN   \n",
       "8            руб/куб.м  15.01.2012  30.06.2012             да/нет       NaN   \n",
       "11           руб/куб.м  01.07.2012  31.12.2012             да/нет       NaN   \n",
       "12      руб/1000 куб.м  15.01.2012  30.06.2012             да/нет       NaN   \n",
       "\n",
       "       ConsumptionTime                                  ConsumptionTarget  \\\n",
       "ROWNUM                                                                      \n",
       "3                  NaN          дома с отоплением от газовых нагревателей   \n",
       "7                  NaN  на приготовление пищи и горячее водоснабжение ...   \n",
       "8                  NaN  на нагрев воды с использованием газового водон...   \n",
       "11                 NaN  на нагрев воды с использованием газового водон...   \n",
       "12                 NaN  на отопление с одновременным использованием га...   \n",
       "\n",
       "                                   Agency  TariffValue  global_id  Unnamed: 13  \n",
       "ROWNUM                                                                          \n",
       "3       ООО «Газпром межрегионгаз Москва»        25.61   19693682          NaN  \n",
       "7                      ООО «Мосрегионгаз»         4.09   19693595          NaN  \n",
       "8       ООО «Газпром межрегионгаз Москва»         4.09   19693684          NaN  \n",
       "11      ООО «Газпром межрегионгаз Москва»         4.70   19693624          NaN  \n",
       "12      ООО «Газпром межрегионгаз Москва»      2930.00   19693625          NaN  "
      ]
     },
     "execution_count": 68,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "groups = df.groupby('TariffItem')\n",
    "groups.get_group('Газ').head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Region</th>\n",
       "      <th>TariffItem</th>\n",
       "      <th>UnitOfMeasure</th>\n",
       "      <th>StartDate</th>\n",
       "      <th>EndDate</th>\n",
       "      <th>MeasureDeviceAvail</th>\n",
       "      <th>StoveType</th>\n",
       "      <th>ConsumptionTime</th>\n",
       "      <th>ConsumptionTarget</th>\n",
       "      <th>Agency</th>\n",
       "      <th>TariffValue</th>\n",
       "      <th>global_id</th>\n",
       "      <th>Unnamed: 13</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ROWNUM</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Водоотведение</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>МГУП «Мосводоканал»</td>\n",
       "      <td>16.65</td>\n",
       "      <td>19693667</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Водоотведение</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.09.2012</td>\n",
       "      <td>31.12.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>МГУП «Мосводоканал»</td>\n",
       "      <td>19.00</td>\n",
       "      <td>19693387</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Водоотведение</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.08.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>МГУП «Мосводоканал»</td>\n",
       "      <td>18.20</td>\n",
       "      <td>19693668</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   Region     TariffItem  \\\n",
       "ROWNUM                                                                     \n",
       "2       город Москва (за исключением Троицкого и Новом...  Водоотведение   \n",
       "27      город Москва (за исключением Троицкого и Новом...  Водоотведение   \n",
       "43      город Москва (за исключением Троицкого и Новом...  Водоотведение   \n",
       "\n",
       "       UnitOfMeasure   StartDate     EndDate MeasureDeviceAvail StoveType  \\\n",
       "ROWNUM                                                                      \n",
       "2          руб/куб.м  01.01.2012  30.06.2012                 да       NaN   \n",
       "27         руб/куб.м  01.09.2012  31.12.2012                 да       NaN   \n",
       "43         руб/куб.м  01.07.2012  31.08.2012                 да       NaN   \n",
       "\n",
       "       ConsumptionTime ConsumptionTarget               Agency  TariffValue  \\\n",
       "ROWNUM                                                                       \n",
       "2                  NaN               NaN  МГУП «Мосводоканал»        16.65   \n",
       "27                 NaN               NaN  МГУП «Мосводоканал»        19.00   \n",
       "43                 NaN               NaN  МГУП «Мосводоканал»        18.20   \n",
       "\n",
       "        global_id  Unnamed: 13  \n",
       "ROWNUM                          \n",
       "2        19693667          NaN  \n",
       "27       19693387          NaN  \n",
       "43       19693668          NaN  "
      ]
     },
     "execution_count": 69,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "groups.get_group(\"Водоотведение\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Список всех групп можно посмотреть так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "dict_keys(['Горячее водоснабжение', 'Твердое топливо', 'Электроэнергия', 'Холодное водоснабжение', 'Водоотведение', 'Отопление', 'Газ'])"
      ]
     },
     "execution_count": 70,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "groups.groups.keys()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Допустим, нас интересует средний тариф по каждому из типов расходов (как мы увидим ниже, для этой таблицы считать его довольно бессмысленно, но мы всё равно попробуем — просто чтобы показать, как работает *pandas*)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>TariffValue</th>\n",
       "      <th>global_id</th>\n",
       "      <th>Unnamed: 13</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>TariffItem</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Водоотведение</th>\n",
       "      <td>17.950000</td>\n",
       "      <td>19693574</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Газ</th>\n",
       "      <td>651.415000</td>\n",
       "      <td>19693593</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Горячее водоснабжение</th>\n",
       "      <td>100.095000</td>\n",
       "      <td>19693523</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Отопление</th>\n",
       "      <td>1208.423333</td>\n",
       "      <td>19693631</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Твердое топливо</th>\n",
       "      <td>1126.000000</td>\n",
       "      <td>19693629</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Холодное водоснабжение</th>\n",
       "      <td>25.223333</td>\n",
       "      <td>19693636</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Электроэнергия</th>\n",
       "      <td>2.571250</td>\n",
       "      <td>19693585</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                        TariffValue  global_id  Unnamed: 13\n",
       "TariffItem                                                 \n",
       "Водоотведение             17.950000   19693574          NaN\n",
       "Газ                      651.415000   19693593          NaN\n",
       "Горячее водоснабжение    100.095000   19693523          NaN\n",
       "Отопление               1208.423333   19693631          NaN\n",
       "Твердое топливо         1126.000000   19693629          NaN\n",
       "Холодное водоснабжение    25.223333   19693636          NaN\n",
       "Электроэнергия             2.571250   19693585          NaN"
      ]
     },
     "execution_count": 71,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.groupby('TariffItem').mean()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Приводим данные в порядок"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Давайте рассмотрим повнимательнее данные, относящиеся к тарифам на газ. Здесь есть ещё один занятный столбец: `UnitOfMeasure` — единица измерения. Посмотрим, какие значения и как часто он принимает."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "руб/куб.м         8\n",
       "руб/чел           6\n",
       "руб/1000 куб.м    4\n",
       "руб/кв.м          2\n",
       "Name: UnitOfMeasure, dtype: int64"
      ]
     },
     "execution_count": 72,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_gas['UnitOfMeasure'].value_counts() \n",
    "# эта функция считает, сколько раз какое значение встретилось"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Как видимо, единицы измерения самые разные и вряд ли мы можем как-то легко перевести «руб/кв.м» (видимо, в квадратных метрах меряется всё-таки площадь квартиры, а не количество потребляемого газа) в «руб/куб.м», но по крайней мере «руб/1000 куб.м» и «руб/куб.м» — это что-то похожее. Давайте преобразуем первое во второе: для этого нам надо найти те строки, в которых единица измерения указана как «руб/1000 куб.м», взять для них столбец `TariffValue` и умножить все его элементы на 1000.\n",
    "\n",
    "Вот нужные нам строки:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 73,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Region</th>\n",
       "      <th>TariffItem</th>\n",
       "      <th>UnitOfMeasure</th>\n",
       "      <th>StartDate</th>\n",
       "      <th>EndDate</th>\n",
       "      <th>MeasureDeviceAvail</th>\n",
       "      <th>StoveType</th>\n",
       "      <th>ConsumptionTime</th>\n",
       "      <th>ConsumptionTarget</th>\n",
       "      <th>Agency</th>\n",
       "      <th>TariffValue</th>\n",
       "      <th>global_id</th>\n",
       "      <th>Unnamed: 13</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ROWNUM</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/1000 куб.м</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на отопление с одновременным использованием га...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>2930</td>\n",
       "      <td>19693625</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>60</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/1000 куб.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.12.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на отопление с одновременным использованием га...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>3370</td>\n",
       "      <td>19693626</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>62</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/1000 куб.м</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на отопление и (или) выработку электрической э...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>2930</td>\n",
       "      <td>19693627</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>64</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/1000 куб.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.12.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на отопление и (или) выработку электрической э...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>3370</td>\n",
       "      <td>19693628</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   Region TariffItem  \\\n",
       "ROWNUM                                                                 \n",
       "12      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "60      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "62      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "64      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "\n",
       "         UnitOfMeasure   StartDate     EndDate MeasureDeviceAvail StoveType  \\\n",
       "ROWNUM                                                                        \n",
       "12      руб/1000 куб.м  15.01.2012  30.06.2012             да/нет       NaN   \n",
       "60      руб/1000 куб.м  01.07.2012  31.12.2012             да/нет       NaN   \n",
       "62      руб/1000 куб.м  15.01.2012  30.06.2012             да/нет       NaN   \n",
       "64      руб/1000 куб.м  01.07.2012  31.12.2012             да/нет       NaN   \n",
       "\n",
       "       ConsumptionTime                                  ConsumptionTarget  \\\n",
       "ROWNUM                                                                      \n",
       "12                 NaN  на отопление с одновременным использованием га...   \n",
       "60                 NaN  на отопление с одновременным использованием га...   \n",
       "62                 NaN  на отопление и (или) выработку электрической э...   \n",
       "64                 NaN  на отопление и (или) выработку электрической э...   \n",
       "\n",
       "                                   Agency  TariffValue  global_id  Unnamed: 13  \n",
       "ROWNUM                                                                          \n",
       "12      ООО «Газпром межрегионгаз Москва»         2930   19693625          NaN  \n",
       "60      ООО «Газпром межрегионгаз Москва»         3370   19693626          NaN  \n",
       "62      ООО «Газпром межрегионгаз Москва»         2930   19693627          NaN  \n",
       "64      ООО «Газпром межрегионгаз Москва»         3370   19693628          NaN  "
      ]
     },
     "execution_count": 73,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "unit1000 = df_gas['UnitOfMeasure'] == 'руб/1000 куб.м'\n",
    "# записали в переменную unit1000 результат проверки условия о том, \n",
    "# что UnitOfMeasure == 'руб/1000 куб.м'\n",
    "df_gas[unit1000]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Можно было бы теперь взять от этой таблицы столбец `TariffValue` и присвоить ему значение его же, разделенное на 1000. Но результат может оказаться неожиданным."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "ROWNUM\n",
       "12    2930\n",
       "60    3370\n",
       "62    2930\n",
       "64    3370\n",
       "Name: TariffValue, dtype: float64"
      ]
     },
     "execution_count": 74,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_gas[unit1000]['TariffValue']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 75,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python3.5/site-packages/ipykernel/__main__.py:1: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame.\n",
      "Try using .loc[row_indexer,col_indexer] = value instead\n",
      "\n",
      "See the caveats in the documentation: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy\n",
      "  if __name__ == '__main__':\n"
     ]
    }
   ],
   "source": [
    "df_gas[unit1000]['TariffValue'] = df_gas[unit1000]['TariffValue']/1000"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "ROWNUM\n",
       "12    2930\n",
       "60    3370\n",
       "62    2930\n",
       "64    3370\n",
       "Name: TariffValue, dtype: float64"
      ]
     },
     "execution_count": 76,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_gas[unit1000]['TariffValue']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ничего не изменилось, да ещё и какая-то страшна красная штука вылезла. Почему так произошло? Дело в том, что взяв подмножество строк с помощью `df_gas[unit1000]`, мы могли создать либо копию исходной таблички, либо её вид (то есть просто интерфейс). Если это был вид, то приравнивание могло сработать как надо. А если копия, то приравнивание произошло к копии, а оригинальная таблица осталась неизменной. К сожалению, заранее неизвестно, что будет возвращено квадратными скобками — вид или копия — это зависит от внутренней структуры данных. Так что нужно рассчитывать на худшее.\n",
    "\n",
    "Чтобы избежать таких проблем, вместо применения несколько квадратных скобок подряд, нужно писать одни скобки, в них указывая, какие элементы нам нужны, указывая наборы строк и столбцов через запятую, как это обсуждалось выше. Например, вот так это сработает:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python3.5/site-packages/pandas/core/indexing.py:420: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame.\n",
      "Try using .loc[row_indexer,col_indexer] = value instead\n",
      "\n",
      "See the caveats in the documentation: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy\n",
      "  self.obj[item] = s\n"
     ]
    }
   ],
   "source": [
    "df_gas.loc[unit1000, 'TariffValue'] = df_gas.loc[unit1000, 'TariffValue']/1000"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Тоже предупреждение, но по крайней мере результат удовлетворительный:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "ROWNUM\n",
       "12    2.93\n",
       "60    3.37\n",
       "62    2.93\n",
       "64    3.37\n",
       "Name: TariffValue, dtype: float64"
      ]
     },
     "execution_count": 78,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_gas.loc[unit1000, 'TariffValue']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Предупреждение, кстати, возникло из-за того, что `df_gas` сам является такой копией, полученной из `df` путём выделения подмножества строк по условию. Заметим, что исходный датафрейм `df` в результате не изменился — именно об этом предупреждает нас система выше."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "ROWNUM\n",
       "12    2930\n",
       "60    3370\n",
       "62    2930\n",
       "64    3370\n",
       "Name: TariffValue, dtype: float64"
      ]
     },
     "execution_count": 79,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.loc[df['UnitOfMeasure'] == 'руб/1000 куб.м', 'TariffValue']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Чтобы избежать дальнейших предпреждением, отделим `df_gas` от `df` окончательно:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_gas = df_gas.copy()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь нужно в тех строчках, в которых мы поменяли значение тарифа, изменить и единицу измерения, чтобы она соответствовала."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "руб/куб.м    12\n",
       "руб/чел       6\n",
       "руб/кв.м      2\n",
       "Name: UnitOfMeasure, dtype: int64"
      ]
     },
     "execution_count": 81,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_gas.loc[unit1000, 'UnitOfMeasure'] = \"руб/куб.м\"\n",
    "df_gas['UnitOfMeasure'].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ну вот, по крайней мере 12 значений тарифа, которые можно сравнивать между собой, у нас есть. Давайте посмотрим на них повнимательнее."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_gas_kubm = df_gas[df_gas['UnitOfMeasure'] == 'руб/куб.м']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>TariffValue</th>\n",
       "      <th>global_id</th>\n",
       "      <th>Unnamed: 13</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>12.000000</td>\n",
       "      <td>12.000000</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mean</th>\n",
       "      <td>3.832500</td>\n",
       "      <td>19693608.416667</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>std</th>\n",
       "      <td>0.700274</td>\n",
       "      <td>100.067667</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>min</th>\n",
       "      <td>2.930000</td>\n",
       "      <td>19693307.000000</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25%</th>\n",
       "      <td>3.260000</td>\n",
       "      <td>19693616.000000</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50%</th>\n",
       "      <td>4.090000</td>\n",
       "      <td>19693625.500000</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75%</th>\n",
       "      <td>4.242500</td>\n",
       "      <td>19693641.750000</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>max</th>\n",
       "      <td>4.700000</td>\n",
       "      <td>19693685.000000</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       TariffValue        global_id  Unnamed: 13\n",
       "count    12.000000        12.000000            0\n",
       "mean      3.832500  19693608.416667          NaN\n",
       "std       0.700274       100.067667          NaN\n",
       "min       2.930000  19693307.000000          NaN\n",
       "25%       3.260000  19693616.000000          NaN\n",
       "50%       4.090000  19693625.500000          NaN\n",
       "75%       4.242500  19693641.750000          NaN\n",
       "max       4.700000  19693685.000000          NaN"
      ]
     },
     "execution_count": 83,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_gas_kubm.describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Конечно, осмысленный здесь только один столбец, можно его запросить отдельно:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "count    12.000000\n",
       "mean      3.832500\n",
       "std       0.700274\n",
       "min       2.930000\n",
       "25%       3.260000\n",
       "50%       4.090000\n",
       "75%       4.242500\n",
       "max       4.700000\n",
       "Name: TariffValue, dtype: float64"
      ]
     },
     "execution_count": 84,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_gas_kubm.describe()['TariffValue']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Можно даже картинку нарисовать какую-нибудь."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.axes._subplots.AxesSubplot at 0x105293668>"
      ]
     },
     "execution_count": 86,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAEACAYAAACpoOGTAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAFMJJREFUeJzt3X2MZfV93/H3Z1nz6Hgjx+pisQZqip1S1V1jB7PaJntp\n5cSDFWgrWuy4QkKqhajRUlmynCIapn/UUqWmromx1tR2ZGjd4Dg1wQFabOMLCtIu1sI2hGUdUP2A\nsVlFhi2FJRjvfvvHPbudXJ/ZOTPMmTsz9/2SrjgPv/u73znzm/1wHm+qCkmSxm2YdAGSpNXJgJAk\ntTIgJEmtDAhJUisDQpLUyoCQJLVakYBIsiHJI0nummf9zUmeTLIvydaVqEmSdGIrtQdxPbC/bUWS\nGeC8qjofuAbYtUI1SZJOoPeASLIFuBT43DxNLgduA6iqPcCmJJv7rkuSdGIrsQfxSeBjwHy3bJ8F\nPD1n/plmmSRpgnoNiCTvBw5W1T4gzUuStAZs7Ln/7cBlSS4FTgN+IcltVXXVnDbPAG+ZM7+lWfbX\nJPGhUZK0BFW1pP8573UPoqpuqKqzq+qtwAeA+8fCAeAu4CqAJBcDh6rq4Dz9+aripptumngNq+Xl\nthi9Rm5idCS3j9fa+vtzXIyPjaXpew+iVZJrgKqqW6vqniSXJnkKeAm4ehI1SZL+uhULiKp6AHig\nmf7s2LrrVqoOSVI33km9Bg0Gg0mXsGq4LeYaTLqAVcNxsTzyWo9RrZQktVZqlVZaEua/knxZPuE1\nH8/WZCShVuNJaknS2mVASJJaGRCSpFYGhCSplQEhSWplQEiSWhkQkqRWBoQkqZUBIUlqZUBIkloZ\nEJKkVgaEJKmVASFJamVASJJaGRCSpFYGhCSplQEhSWrVa0AkOSXJniSPJnk8ySda2uxIcijJI83r\nxj5rkiR1s7HPzqvqlSSXVNXhJCcBDyXZXlUPjTV9sKou67MWSdLi9H6IqaoON5OnNJ/3fEuzJX1f\nqiSpP70HRJINSR4FngWGVbW/pdm2JPuS3J3kgr5rkiQtbCX2II5W1TuBLcCvJdkx1mQvcHZVbQU+\nDdzZd02SpIX1eg5irqp6IcndwLuBB+Ysf3HO9L1JPpPkjVX13Hgfs7Ozx6cHgwGDwaDXmiVprRkO\nhwyHw2XpK1W1LB21dp68CXi1qv5PktOA/wn826r65pw2m6vqYDN9EfDlqjq3pa/qs1ZpLUsC9Pn3\nEfz7W5uSUFVLOs/b9x7Em4EvZjR6NwC3V9U3k1wDVFXdClyR5FrgVeBl4Mqea5IkddDrHsRycg9C\nmp97EJrPa9mD8E5qSVIrA0KS1MqAkCS1MiAkSa0MCElSKwNCktTKgJAktTIgJEmtDAhJUisDQpLU\nyoCQJLUyICRJrQwISVIrA0KS1MqAkCS1MiAkSa0MCElSKwNCktTKgJAkteo1IJKckmRPkkeTPJ7k\nE/O0uznJk0n2JdnaZ02SpG429tl5Vb2S5JKqOpzkJOChJNur6qFjbZLMAOdV1flJ3gPsAi7usy5J\n0sJ6P8RUVYebyVOaz3t+rMnlwG1N2z3ApiSb+65LknRive5BACTZAOwFzgN2VdX+sSZnAU/PmX+m\nWXaw79pWm1deeYWf/OQnvfV/xhlnsGnTpt76l7S+9B4QVXUUeGeSNwD3JdlRVQ8spa/Z2dnj04PB\ngMFgsCw1rhYf+MC/4N577+akk05d9r6rilNOOcrzz09d7mrKnXnmuRw8+P3e+t+8+RyeffZ7vfW/\nWMPhkOFwuCx9paqWpaNOH5b8G+BwVf3unGW7gG9V1R3N/AFgR1UdHHtvrWStk7Bt2wy7d+8EZnro\n/QjJyRw9eqSHvjVpSYA+/z7CWv37m/Ztk4SqylLe2/dVTG9KsqmZPg14L7BvrNldwFVNm4uBQ+Ph\nIElaeX0fYnoz8MWMInwDcHtVfTPJNUBV1a1VdU+SS5M8BbwEXN1zTZKkDvq+zPUx4MKW5Z8dm7+u\nzzokSYvnndSSpFYGhCSplQEhSWplQEiSWhkQkqRWBoQkqZUBIUlqZUBIkloZEJKkVgaEJKmVASFJ\namVASJJaGRCSpFYGhCSplQEhSWplQEiSWhkQkqRWBoQkqZUBIUlq1WtAJNmS5P4kjyd5LMnOljY7\nkhxK8kjzurHPmiRJ3Wzsuf+fAR+tqn1JXg/sTXJfVR0Ya/dgVV3Wcy2SpEXodQ+iqp6tqn3N9IvA\nE8BZLU3TZx2SpMVbsXMQSc4FtgJ7WlZvS7Ivyd1JLlipmiRJ8+v7EBMAzeGlrwDXN3sSc+0Fzq6q\nw0lmgDuBt7X1Mzs7e3x6MBgwGAx6qVeS1qrhcMhwOFyWvlJVy9LRvB+QbAT+BLi3qj7Vof13gXdV\n1XNjy6vvWidt27YZdu/eCcz00PsRkpM5evRID31r0pIAff59hLX69zft2yYJVbWkw/grcYjpC8D+\n+cIhyeY50xcxCq3n2tpKklZOr4eYkmwHPgQ8luRRRjF+A3AOUFV1K3BFkmuBV4GXgSv7rEmS1E2n\ngEjyd6vqscV2XlUPASct0OYW4JbF9i1J6lfXQ0yfSfJwkn+ZZFOvFUmSVoVOAVFVv8roUNFbGN3s\n9qUk7+21MknSRHU+SV1VTwI3Ah8HdgA3JzmQ5J/0VZwkaXI6BUSSdyT5JKM7of8B8JtV9beb6U/2\nWJ8kaUK6XsX0e8DngBuq6uVjC6vqRz5cT5LWp64B8X7g5ao6ApBkA3BqVR2uqtt7q06SNDFdz0F8\nAzhtzvzpzTJJ0jrVNSBOnfsMpWb69H5KkiStBl0D4qUkFx6bSfIuRnc9S5LWqa7nIP4V8IdJfsTo\nuxvOxEdiSNK61ikgqurbSX4ZeHuz6DtV9Wp/ZUmSJm0xD+v7FeDc5j0XNo+Qva2XqiRJE9f1YX23\nA+cB+4BjXyhQgAEhSetU1z2IdwMXrPtv7JEkHdf1KqY/Z3RiWpI0JbruQbwJ2J/kYeCVYwur6rJe\nqpIkTVzXgJjtswhJ0urT9TLXB5KcA5xfVd9IcjoLfFOcJGlt6/q47w8DXwE+2yw6C7izr6IkSZPX\n9ST1R4DtwAtw/MuD/sZCb0qyJcn9SR5P8liSnfO0uznJk0n2JdnatXhJUn+6noN4pap+mgSAJBsZ\n3QexkJ8BH62qfUlez+jrSu+rqgPHGiSZAc6rqvOTvAfYBVy8qJ9CkrTsuu5BPJDkBuC05ruo/xD4\n2kJvqqpnq2pfM/0io2+kO2us2eU0N9xV1R5gU5LNHeuSJPWka0D8NvCXwGPANcA9jL6furMk5wJb\ngT1jq84Cnp4z/ww/HyKSpBXW9Sqmo8B/bl6L1hxe+gpw/dzvlVis2dnZ49ODwYDBYLDUrtSDM888\nl4MHv99b/5s3n8Ozz36vt/6l9WA4HDIcDpelr3R5ekaS79JyzqGq3trhvRuBPwHurapPtazfBXyr\nqu5o5g8AO6rq4Fi7df+kj23bZti9eycw00PvR0hO5ujRIws3XaLROao+f0dhvY+BpXLbz2/at03z\nYNUs5b2LeRbTMacC/xR4Y8f3fgHY3xYOjbsYXSV1R5KLgUPj4SBJWnldDzH9ZGzRf0qyF/idE70v\nyXbgQ8BjSR5lFOM3AOeMuq1bq+qeJJcmeQp4Cbh6sT+EJGn5dX3c94VzZjcw2qNY8L1V9RAd7riu\nquu61CFJWjldDzH97pzpnwHfA/7ZslcjSVo1uh5iuqTvQiRJq0vXQ0wfPdH6qvqPy1OOJGm1WMxV\nTL/C6IojgN8EHgae7KMoSdLkdQ2ILcCFVfV/AZLMAndX1T/vqzBJ0mR1fdTGZuCnc+Z/2iyTJK1T\nXfcgbgMeTvLVZv4fAV/spyRJ0mrQ9Sqmf5fkXuBXm0VXV9Wj/ZUlSZq0roeYAE4HXmgemfHDJH+z\np5okSatA168cvQn4OPCvm0WvA/5LX0VJkiav6x7EPwYuY/SsJKrqR8Av9FWUJGnyugbET5tnbRdA\nkjP6K0mStBp0DYgvJ/ks8ItJPgx8gyV+eZAkaW3oehXTf2i+i/oF4O3A71TV13utTJI0UQsGRJKT\ngG80D+wzFCRpSix4iKmqjgBHk2xagXokSatE1zupX2T0rXBfp7mSCaCqdvZSlSRp4roGxH9vXpKk\nKXHCgEhydlX9oKp87pIkTZmFzkHceWwiyR8ttvMkn09yMMmfzbN+R5JDSR5pXjcu9jMkSf1Y6BBT\n5ky/dQn9/z7we4yeBjufB6vqsiX0LUnq0UJ7EDXPdCdV9afA8ws0ywLrJUkTsNAexN9L8gKjf8RP\na6Zp5quq3rAMNWxLsg94BvhYVe1fhj4lSa/RCQOiqk7q+fP3AmdX1eEkM4zOebxtvsazs7PHpweD\nAYPBoOfyJGltGQ6HDIfDZekro2fw9SfJOcDXquodHdp+F3hXVT3Xsq76rnXStm2bYffuncBMD70f\nITmZo0eP9ND3SBKWcCRyMZ/Aeh8DS+W2n9+0b5skVNWSDuUv5guDlirMc54hyeY50xcxCqyfCwdJ\n0srreqPckiT5EjAAfinJD4CbgJMZnb+4FbgiybXAq8DLwJV91iNJ6q7XgKiq31pg/S3ALX3WIEla\nmpU4xCRJWoMMCElSKwNCktTKgJAktTIgJEmtDAhJUisDQpLUyoCQJLUyICRJrQwISVIrA0KS1MqA\nkCS1MiAkSa0MCElSKwNCktTKgJAktTIgJEmtDAhJUisDQpLUqteASPL5JAeT/NkJ2tyc5Mkk+5Js\n7bMeSVJ3fe9B/D7wG/OtTDIDnFdV5wPXALt6rkeS1FGvAVFVfwo8f4ImlwO3NW33AJuSbO6zJklS\nN5M+B3EW8PSc+WeaZZKkCds46QIWY3Z29vj0YDBgMBhMrBZJWo2GwyHD4XBZ+kpVLUtH835Acg7w\ntap6R8u6XcC3quqOZv4AsKOqDra0rb5rnbRt22bYvXsnMNND70dITubo0SM99D2SBOjzdxTW+xhY\nKrf9/KZ92yShqrKU967EIaY0rzZ3AVcBJLkYONQWDpKkldfrIaYkXwIGwC8l+QFwE3AyUFV1a1Xd\nk+TSJE8BLwFX91mPJKm7XgOiqn6rQ5vr+qxBkrQ0k76KSZK0ShkQkqRWBoQkqZUBIUlqZUBIkloZ\nEJKkVgaEJKmVASFJamVASJJaGRCSpFYGhCSplQEhSWplQEiSWhkQkqRWBoQkqZUBIUlqZUBIkloZ\nEJKkVr0HRJL3JTmQ5C+SfLxl/Y4kh5I80rxu7LsmSdLCev1O6iQbgE8D/xD4EfDtJH9cVQfGmj5Y\nVZf1WYskaXH63oO4CHiyqr5fVa8CfwBc3tIuPdchSVqkvgPiLODpOfM/bJaN25ZkX5K7k1zQc02S\npA56PcTU0V7g7Ko6nGQGuBN424RrkqSp13dAPAOcPWd+S7PsuKp6cc70vUk+k+SNVfXceGezs7PH\npweDAYPBYLnrlaQ1bTgcMhwOl6WvVNWydNTaeXIS8B1GJ6l/DDwMfLCqnpjTZnNVHWymLwK+XFXn\ntvRVfda6GmzbNsPu3TuBmR56P0JyMkePHumh75EkQJ+/o7Dex8BSue3nN+3bJglVtaTzvL3uQVTV\nkSTXAfcxOt/x+ap6Isk1o9V1K3BFkmuBV4GXgSv7rEmS1E3v5yCq6n8Abx9b9tk507cAt/RdhyRp\ncbyTWpLUyoCQJLUyICRJrQwISVIrA0KS1MqAkCS1MiAkSa0MCElSKwNCktTKgJAktTIgJEmtDAhJ\nUisDQpLUyoCQJLUyICRJrQwISVIrA0KS1MqAkCS1MiAkSa16D4gk70tyIMlfJPn4PG1uTvJkkn1J\ntvZdkyRpYb0GRJINwKeB3wD+DvDBJL881mYGOK+qzgeuAXb1WdP6MJx0AavGcDicdAmryHDSBawa\njovl0fcexEXAk1X1/ap6FfgD4PKxNpcDtwFU1R5gU5LNPde1xg0nXcCq4T8Ecw0nXcCq4bhYHn0H\nxFnA03Pmf9gsO1GbZ1raSJJW2MZJF6D/79RTX8fpp8+yceNnTtjur/7qO5x66t5F9l4cPvy6pRcn\naeqkqvrrPLkYmK2q9zXzvw1UVf37OW12Ad+qqjua+QPAjqo6ONZXf4VK0jpWVVnK+/reg/g28LeS\nnAP8GPgA8MGxNncBHwHuaALl0Hg4wNJ/QEnS0vQaEFV1JMl1wH2Mznd8vqqeSHLNaHXdWlX3JLk0\nyVPAS8DVfdYkSeqm10NMkqS1a1XdSZ1kS5L7kzye5LEkO1va7EhyKMkjzevGSdTatySnJNmT5NFm\ne3xinnbr/ibDLttiWsbFMUk2ND/nXfOsX/fjAk68HaZwTHwvyf9q/k4enqfNosbFaruK6WfAR6tq\nX5LXA3uT3FdVB8baPVhVl02gvhVTVa8kuaSqDic5CXgoyfaqeuhYm7k3GSZ5D6ObDC+eVM196bIt\nGut+XMxxPbAfeMP4imkZF415t0NjmsbEUWBQVc+3rVzKuFhVexBV9WxV7WumXwSeoP2eiKk4YV1V\nh5vJUxj9rsZ/8VNzk2GHbQFTMi6SbAEuBT43T5OpGBcdtgNMyZhohBP/m77ocbGqAmKuJOcCW4E9\nLau3NbtIdye5YEULW0HN7vOjwLPAsKr2jzWZmpsMO2wLmJJxAXwS+Bgw3wnEaRkXC20HmJ4xAaPt\n8PUk307y4Zb1ix4XqzIgmsNLXwGub/Yk5toLnF1VWxk95+nOla5vpVTV0ap6J7AF+LUkOyZd06R0\n2BZTMS6SvB842Oxph+n6P+TjOm6HqRgTc2yvqgsZ7VV9JMnff60drrqASLKRUTjcXlV/PL6+ql48\ndrihqu4FXpfkjStc5oqqqheAu4F3j616BnjLnPktzbJ1a75tMUXjYjtwWZL/Dfw34JIkt421mYZx\nseB2mKIxAUBV/bj5718CX2X0LLy5Fj0uVl1AAF8A9lfVp9pWzj1mluQiRpfqPrdSxa2UJG9KsqmZ\nPg14L7BvrNldwFVNm3lvMlzrumyLaRkXVXVDVZ1dVW9ldOPp/VV11VizdT8uumyHaRkTAElOb468\nkOQM4NeBPx9rtuhxsaquYkqyHfgQ8FhzvLmAG4BzaG6sA65Ici3wKvAycOWk6u3Zm4EvJjl24un2\nqvpmpvMmwwW3BdMzLlpN6bj4OVM8JjYDX83okUQbgf9aVfe91nHhjXKSpFar8RCTJGkVMCAkSa0M\nCElSKwNCktTKgJAktTIgJEmtDAhJUisDQpLU6v8BbcCYBSU8m+YAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x105285cc0>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "df_gas_kubm['TariffValue'].plot.hist()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Более сложные запросы и метод `query()`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Допустим, мы с самого начала хотели выбрать из исходной таблицы те строки, в которых указан тариф на газ и в качестве единицы измерения указаны `руб/кв.м`. Это можно сделать разными способами. Например, вот так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 87,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Region</th>\n",
       "      <th>TariffItem</th>\n",
       "      <th>UnitOfMeasure</th>\n",
       "      <th>StartDate</th>\n",
       "      <th>EndDate</th>\n",
       "      <th>MeasureDeviceAvail</th>\n",
       "      <th>StoveType</th>\n",
       "      <th>ConsumptionTime</th>\n",
       "      <th>ConsumptionTarget</th>\n",
       "      <th>Agency</th>\n",
       "      <th>TariffValue</th>\n",
       "      <th>global_id</th>\n",
       "      <th>Unnamed: 13</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ROWNUM</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/кв.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.08.2012</td>\n",
       "      <td>нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>дома с отоплением от газовых нагревателей</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>25.61</td>\n",
       "      <td>19693682</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>52</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/кв.м</td>\n",
       "      <td>01.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>дома с отоплением от газовых нагревателей</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>22.27</td>\n",
       "      <td>19693622</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   Region TariffItem  \\\n",
       "ROWNUM                                                                 \n",
       "3       город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "52      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "\n",
       "       UnitOfMeasure   StartDate     EndDate MeasureDeviceAvail StoveType  \\\n",
       "ROWNUM                                                                      \n",
       "3           руб/кв.м  01.07.2012  31.08.2012                нет       NaN   \n",
       "52          руб/кв.м  01.01.2012  30.06.2012                нет       NaN   \n",
       "\n",
       "       ConsumptionTime                          ConsumptionTarget  \\\n",
       "ROWNUM                                                              \n",
       "3                  NaN  дома с отоплением от газовых нагревателей   \n",
       "52                 NaN  дома с отоплением от газовых нагревателей   \n",
       "\n",
       "                                   Agency  TariffValue  global_id  Unnamed: 13  \n",
       "ROWNUM                                                                          \n",
       "3       ООО «Газпром межрегионгаз Москва»        25.61   19693682          NaN  \n",
       "52      ООО «Газпром межрегионгаз Москва»        22.27   19693622          NaN  "
      ]
     },
     "execution_count": 87,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df[ (df['TariffItem'] == \"Газ\") & (df['UnitOfMeasure'] == \"руб/кв.м\") ]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обратите внимание на амперсанд `&` (логическое И) и на скобки — они обязательны.\n",
    "\n",
    "Как работает эта штука? Очень просто: `df['TariffItem'] == \"Газ\"` — один ряд с булевскими значениями, `df['UnitOfMeasure'] == \"руб/кв.м\"` — другой, амперсанд `&` делает поэлементное «И» с этими двумя рядами — в результате получается ряд, в котором стоит `True` только если выполнялись оба условия — и именно по этому ряду мы и производим выборку элементов.\n",
    "\n",
    "Этот синтаксис не назовёшь лаконичным и разработчики *pandas* предложили другой — впрочем, в документации сказано, что он носит экспериментальный характер."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Region</th>\n",
       "      <th>TariffItem</th>\n",
       "      <th>UnitOfMeasure</th>\n",
       "      <th>StartDate</th>\n",
       "      <th>EndDate</th>\n",
       "      <th>MeasureDeviceAvail</th>\n",
       "      <th>StoveType</th>\n",
       "      <th>ConsumptionTime</th>\n",
       "      <th>ConsumptionTarget</th>\n",
       "      <th>Agency</th>\n",
       "      <th>TariffValue</th>\n",
       "      <th>global_id</th>\n",
       "      <th>Unnamed: 13</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ROWNUM</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>город Москва</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>11.01.2011</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на приготовление пищи и горячее водоснабжение ...</td>\n",
       "      <td>ООО «Мосрегионгаз»</td>\n",
       "      <td>4.09</td>\n",
       "      <td>19693595</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на нагрев воды с использованием газового водон...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>4.09</td>\n",
       "      <td>19693684</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.12.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на нагрев воды с использованием газового водон...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>4.70</td>\n",
       "      <td>19693624</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.12.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на приготовление пищи и нагрев воды с использо...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>4.70</td>\n",
       "      <td>19693623</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>город Москва</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>11.01.2011</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>да</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на отопление жилых помещений, а также в случае...</td>\n",
       "      <td>ООО «Мосрегионгаз»</td>\n",
       "      <td>2.93</td>\n",
       "      <td>19693594</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на приготовление пищи и нагрев воды с использо...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>4.09</td>\n",
       "      <td>19693685</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>01.07.2012</td>\n",
       "      <td>31.12.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на приготовление пищи и нагрев воды с использо...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>4.70</td>\n",
       "      <td>19693307</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>71</th>\n",
       "      <td>город Москва (за исключением Троицкого и Новом...</td>\n",
       "      <td>Газ</td>\n",
       "      <td>руб/куб.м</td>\n",
       "      <td>15.01.2012</td>\n",
       "      <td>30.06.2012</td>\n",
       "      <td>да/нет</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>на приготовление пищи и нагрев воды с использо...</td>\n",
       "      <td>ООО «Газпром межрегионгаз Москва»</td>\n",
       "      <td>4.09</td>\n",
       "      <td>19693683</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   Region TariffItem  \\\n",
       "ROWNUM                                                                 \n",
       "7                                            город Москва        Газ   \n",
       "8       город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "11      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "13      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "14                                           город Москва        Газ   \n",
       "22      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "24      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "71      город Москва (за исключением Троицкого и Новом...        Газ   \n",
       "\n",
       "       UnitOfMeasure   StartDate     EndDate MeasureDeviceAvail StoveType  \\\n",
       "ROWNUM                                                                      \n",
       "7          руб/куб.м  11.01.2011  15.01.2012                 да       NaN   \n",
       "8          руб/куб.м  15.01.2012  30.06.2012             да/нет       NaN   \n",
       "11         руб/куб.м  01.07.2012  31.12.2012             да/нет       NaN   \n",
       "13         руб/куб.м  01.07.2012  31.12.2012             да/нет       NaN   \n",
       "14         руб/куб.м  11.01.2011  15.01.2012                 да       NaN   \n",
       "22         руб/куб.м  15.01.2012  30.06.2012             да/нет       NaN   \n",
       "24         руб/куб.м  01.07.2012  31.12.2012             да/нет       NaN   \n",
       "71         руб/куб.м  15.01.2012  30.06.2012             да/нет       NaN   \n",
       "\n",
       "       ConsumptionTime                                  ConsumptionTarget  \\\n",
       "ROWNUM                                                                      \n",
       "7                  NaN  на приготовление пищи и горячее водоснабжение ...   \n",
       "8                  NaN  на нагрев воды с использованием газового водон...   \n",
       "11                 NaN  на нагрев воды с использованием газового водон...   \n",
       "13                 NaN  на приготовление пищи и нагрев воды с использо...   \n",
       "14                 NaN  на отопление жилых помещений, а также в случае...   \n",
       "22                 NaN  на приготовление пищи и нагрев воды с использо...   \n",
       "24                 NaN  на приготовление пищи и нагрев воды с использо...   \n",
       "71                 NaN  на приготовление пищи и нагрев воды с использо...   \n",
       "\n",
       "                                   Agency  TariffValue  global_id  Unnamed: 13  \n",
       "ROWNUM                                                                          \n",
       "7                      ООО «Мосрегионгаз»         4.09   19693595          NaN  \n",
       "8       ООО «Газпром межрегионгаз Москва»         4.09   19693684          NaN  \n",
       "11      ООО «Газпром межрегионгаз Москва»         4.70   19693624          NaN  \n",
       "13      ООО «Газпром межрегионгаз Москва»         4.70   19693623          NaN  \n",
       "14                     ООО «Мосрегионгаз»         2.93   19693594          NaN  \n",
       "22      ООО «Газпром межрегионгаз Москва»         4.09   19693685          NaN  \n",
       "24      ООО «Газпром межрегионгаз Москва»         4.70   19693307          NaN  \n",
       "71      ООО «Газпром межрегионгаз Москва»         4.09   19693683          NaN  "
      ]
     },
     "execution_count": 88,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.query('TariffItem == \"Газ\" and UnitOfMeasure == \"руб/куб.м\"')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### И немного о JSON\n",
    "\n",
    "Портал открытых данных г. Москвы предоставляет доступ к своим материалам через [API](http://api.data.mos.ru/Docs) — с его помощью можно получить доступ к различным наборам данных в более автоматическом режиме (не надо ничего скачивать и разархивировать). Правда, данные возвращаются в JSON:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "r = requests.get(\"http://api.data.mos.ru/v1/datasets/1130/rows\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'Cells': {'Agency': 'ОАО «МОЭК» и иные, кроме ОАО «Мосэнерго» и ОАО «МТК»',\n",
       "   'ConsumptionTarget': None,\n",
       "   'ConsumptionTime': None,\n",
       "   'EndDate': '30.06.2012',\n",
       "   'MeasureDeviceAvail': 'да',\n",
       "   'Region': 'город Москва (за исключением Троицкого и Новомосковского АО)',\n",
       "   'StartDate': '01.01.2012',\n",
       "   'StoveType': None,\n",
       "   'TariffItem': 'Горячее водоснабжение',\n",
       "   'TariffValue': 105.45,\n",
       "   'UnitOfMeasure': 'руб/куб.м',\n",
       "   'global_id': 19693618},\n",
       "  'Id': '52406d3d-93dc-4def-b9c0-28df28d76054',\n",
       "  'Number': 1},\n",
       " {'Cells': {'Agency': 'МГУП «Мосводоканал»',\n",
       "   'ConsumptionTarget': None,\n",
       "   'ConsumptionTime': None,\n",
       "   'EndDate': '30.06.2012',\n",
       "   'MeasureDeviceAvail': 'да',\n",
       "   'Region': 'город Москва (за исключением Троицкого и Новомосковского АО)',\n",
       "   'StartDate': '01.01.2012',\n",
       "   'StoveType': None,\n",
       "   'TariffItem': 'Водоотведение',\n",
       "   'TariffValue': 16.65,\n",
       "   'UnitOfMeasure': 'руб/куб.м',\n",
       "   'global_id': 19693667},\n",
       "  'Id': '0bc84c41-b103-4db9-afa1-dbe2d9176e4f',\n",
       "  'Number': 2},\n",
       " {'Cells': {'Agency': 'ООО «Газпром межрегионгаз Москва»',\n",
       "   'ConsumptionTarget': 'дома с отоплением от газовых нагревателей',\n",
       "   'ConsumptionTime': None,\n",
       "   'EndDate': '31.08.2012',\n",
       "   'MeasureDeviceAvail': 'нет',\n",
       "   'Region': 'город Москва (за исключением Троицкого и Новомосковского АО)',\n",
       "   'StartDate': '01.07.2012',\n",
       "   'StoveType': None,\n",
       "   'TariffItem': 'Газ',\n",
       "   'TariffValue': 25.61,\n",
       "   'UnitOfMeasure': 'руб/кв.м',\n",
       "   'global_id': 19693682},\n",
       "  'Id': '52c1c5c5-60a7-4308-a36c-886f4c6039b1',\n",
       "  'Number': 3}]"
      ]
     },
     "execution_count": 90,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "r.json()[:3]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "Как сделать из такого JSON датафрейм? Считайте это домашним заданием!"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}