manipulacao_de_dados_codigo_base.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "changing-combine",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "## **Pandas Essencial**\n",
    "**Prof. Dr. Samuel Martins (@hisamuka @xavecoding)** <br/>\n",
    "xavecoding: https://youtube.com/c/xavecoding <br/>\n",
    "\n",
    "Neste tutorial, vamos aprender o essencial da biblioteca _Pandas_ para manipulação de dados.<br/><br/>\n",
    "\n",
    "<a rel=\"license\" href=\"http://creativecommons.org/licenses/by-nc-sa/4.0/\"><img alt=\"Creative Commons License\" style=\"border-width:0\" src=\"https://i.creativecommons.org/l/by-nc-sa/4.0/88x31.png\" /></a><br />This work is licensed under a <a rel=\"license\" href=\"http://creativecommons.org/licenses/by-nc-sa/4.0/\">Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License</a>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "innovative-honolulu",
   "metadata": {},
   "source": [
    "### Pacotes usados neste Notebook"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "backed-twenty",
   "metadata": {},
   "outputs": [],
   "source": [
    "# pacotes usados neste notebook\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "tracked-shakespeare",
   "metadata": {},
   "source": [
    "<h1>Manipulação de Dados com Pandas</h1><hr/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "federal-vinyl",
   "metadata": {},
   "source": [
    "<h2>1. Manipulação Básica de Datasets</h2>\n",
    "<hr/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "optimum-season",
   "metadata": {},
   "source": [
    "**Dataset**: Gas Prices in Brazil: https://www.kaggle.com/matheusfreitag/gas-prices-in-brazil <br/>\n",
    "\n",
    "Este dataset contém os **registros dos preços médios semanais dos combustíveis do Brasil entre os anos de 2004 e 2019**. <br/>\n",
    "Cada *amostra (registro/linha)* consiste em um registro de preço aferido para um dado tipo de combustível em uma dada localidade do Brasil. <br/>\n",
    "Alguns dos principais *atributos* (colunas) do dataset são: 'ESTADO', 'PRODUTO', 'NÚMERO DE POSTOS PESQUISADOS', 'PREÇO MÉDIO REVENDA'.\n",
    "\n",
    "\n",
    "\\* O arquivo disponibilizado no Kaggle está no formato *tsv*. Embora o _pandas_ consiga abrí-lo normalmente, convertemos tal arquivo para o formato *CSV*, que é um dos formatos mais utilizados, e mudamos seu separado para ';' apenas para mostrar algumas opções da função de carregamento."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "aggregate-provision",
   "metadata": {},
   "source": [
    "### 1.1. Importando o Dataset\n",
    "Para carregar um dataset no formato csv, basta utilizar a função `read_csv` do pandas. Por padrão, ela considera _','_ como separador."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "medieval-strain",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "sorted-martin",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "accurate-pension",
   "metadata": {},
   "source": [
    "O dataset não foi carregado corretamente pois o separador utilizado seu arquivo CSV era ';' e não a ','. <br/>\n",
    "Vamos então carregá-lo corretamente:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "daily-press",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "quiet-fusion",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "greater-harvest",
   "metadata": {},
   "source": [
    "### 1.2. Exibindo as primeiras linhas do Dataset\n",
    "A função `.head()` exibe as 5 primeiras linhas do dataset/tabela/Data Frame."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "continued-isaac",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "selective-danish",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "naval-relation",
   "metadata": {},
   "source": [
    "### 1.3 Informações do Dataset e Elementos Chave"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "southern-collaboration",
   "metadata": {},
   "source": [
    "### 1.3.1 Informações gerais sobre o Dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "abstract-component",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "expressed-amber",
   "metadata": {},
   "source": [
    "A primeira coluna da tabela, chamada _'Unnamed: 0'_, parece não significar nada. Na verdade, ela parece ser os **índices** da tabela, que foram salvos como uma _coluna_.<br/>\n",
    "Veremos jajá como **remover tal coluna**.\n",
    "\n",
    "Outro ponto é que, aparentemente, nenhum atributo/coluna possui valores nulos (_null_), uma vez que o número de registros do dataframe e os números de valores _non-null_ é de **106823**. <br/>\n",
    "Mas, veremos que não é bem assim para esse caso."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "nasty-singing",
   "metadata": {},
   "source": [
    "### 1.3.2 Data Frame\n",
    "Todo dataset carregado (dados estruturados) é um `Data Frame`: 'Tabela' bi-dimensional, de tamanho mutável, com dados potencialmente heterogêneos. <br/>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "micro-progress",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "educated-fourth",
   "metadata": {},
   "source": [
    "Podemos acessar as **dimensões do Data Frame** (número de linhas x número de colunas) utilizando o atributo `.shape` do Data Frame."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "detected-prediction",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fallen-distance",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "silver-atlantic",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "binary-sussex",
   "metadata": {},
   "source": [
    "#### **Criando um DataFrame**\n",
    "\n",
    "Podemos criar um DataFrame a partir de um _dicionário_, onde cada **chave** possui uma **lista de elementos de igual tamanho**.<br/>\n",
    "As **chaves** representam as **colunas** e **cada um dos valores de sua lista** representa o **valor da linha** correspondente para aquela coluna."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "beneficial-passport",
   "metadata": {},
   "outputs": [],
   "source": [
    "alunos_df = pd.DataFrame({\n",
    "    'nome': ['Luke Skywalker', 'Yoda', 'Palpatine'],\n",
    "    'idade': [16, 1000, 70],\n",
    "    'peso': [70, 15, 60],\n",
    "    'eh jedi': [True, True, False]  # o nome das colunas podem ter espaços\n",
    "})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "great-relief",
   "metadata": {},
   "outputs": [],
   "source": [
    "alunos_df"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "elegant-profit",
   "metadata": {},
   "source": [
    "#### **VEJA MAIS**\n",
    "Criando um Data Frame a partir de um dicionário: https://www.geeksforgeeks.org/how-to-create-dataframe-from-dictionary-in-python-pandas/"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "laden-trance",
   "metadata": {},
   "source": [
    "#### **Renomeando as colunas de um DataFrame**\n",
    "**===>** O método `DataFrame.columns` retorna uma \";lista\" com os **nomes de todas as colunas** do data frame."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "impaired-spain",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "detected-ceramic",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "conditional-password",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "geographic-wages",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "**===>** Para **renomear colunas** do data frame, utilize o método `DataFrame.rename`, que retorna uma _cópia_ do data frame com as as colunas renomeadas:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "adopted-charlotte",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "infinite-christian",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "violent-inspector",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "homeless-sound",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "personalized-belize",
   "metadata": {},
   "source": [
    "Para renomear o _próprio_ data frame em questão, utilize o parâmetro `inplace=True`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "nonprofit-missouri",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "nervous-placement",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "prompt-childhood",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "**===>** Uma outra forma de **renomear todas as listas** de um data frame é passar uma _lista_ com os novos nomes das colunas para o atributo `DataFrame.columns`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bright-procurement",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "operational-authority",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "authorized-indicator",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "lonely-sister",
   "metadata": {},
   "source": [
    "### 1.3.3 Series"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cheap-dressing",
   "metadata": {},
   "source": [
    "Array uni-dimensional com os dados e rótulos de um eixo."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bacterial-country",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "incorrect-moment",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "conscious-fountain",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "direct-convenience",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "average-final",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "sensitive-clerk",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "ready-brook",
   "metadata": {},
   "source": [
    "#### **Criando uma Series**\n",
    "\n",
    "Podemos criar um DataFrame a partir de uma lista de elementos."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "acoustic-container",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "european-ministry",
   "metadata": {},
   "source": [
    "Podemos alterar o **nome dos índices** (veremos melhor jajá) e o **nome da Series** (o que ela representa):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "motivated-warning",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "deadly-prince",
   "metadata": {},
   "source": [
    "#### **VEJA MAIS**\n",
    "https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "insured-turkey",
   "metadata": {},
   "source": [
    "### 1.3.4 Atribuindo Dados"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "smooth-tuesday",
   "metadata": {},
   "source": [
    "#### 1.3.4.1 Atribuindo constantes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "electoral-graduate",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "level-hazard",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "connected-lambda",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "danish-thumbnail",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "corresponding-cabinet",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "alpha-exposure",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "mental-logistics",
   "metadata": {},
   "source": [
    "#### 1.3.4.2 Atribuindo listas ou series"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "meaning-alliance",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cordless-nursing",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "trained-particular",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "conservative-above",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "transparent-service",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "musical-corpus",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "positive-neutral",
   "metadata": {},
   "source": [
    "#### 1.3.4.3 Criando novas colunas\n",
    "Para **criar uma nova coluna** em um data frame, basta atribuirmos uma _lista/Series de valores_ a uma **nova 'chave'** do data frame. <br/>\n",
    "\n",
    "**PS:** A _quantidade de valores_ da lista precisa ser **igual** ao _número de linhas/registros_ do data frame."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "dense-background",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "neither-disposal",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "electrical-extreme",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "protected-advertiser",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "Outro exemplo:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "restricted-potential",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "single-batman",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "together-collar",
   "metadata": {},
   "source": [
    "**PS:** Obviamente, a lógica correta em converter o preço dos combustíveis em reais para dólares não é considerar uma taxa de câmbio fixa, uma vez que cada preço foi aferido em um momento diferente."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "artificial-ecuador",
   "metadata": {},
   "source": [
    "### 1.3.4 Índices"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "foreign-husband",
   "metadata": {},
   "source": [
    "Todo Data Frame possui **índices**, que não são considerado colunas da tabela. Tais índices são comumente **númericos**, de 0 a num_linhas-1, mas também podem ser **textuais (rótulos/labels)**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "alternative-columbus",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "statistical-uganda",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "absolute-fourth",
   "metadata": {},
   "source": [
    "Use `list(data.index)` ou `data.index.to_list()` para converter um RangeIndex para uma python list."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "nonprofit-latino",
   "metadata": {},
   "source": [
    "#### **Exemplo de Data Frame com Índices Textuais (labels)**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "precious-judges",
   "metadata": {},
   "outputs": [],
   "source": [
    "pesquisa_de_satisfacao = pd.DataFrame({\n",
    "    'bom': [50, 21, 100],\n",
    "    'ruim': [131, 2, 30],\n",
    "    'pessimo': [30, 20, 1]\n",
    "}, index=['XboxOne', 'Playstation4', 'Switch'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "enhanced-prompt",
   "metadata": {},
   "outputs": [],
   "source": [
    "pesquisa_de_satisfacao.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "sixth-supplement",
   "metadata": {},
   "source": [
    "### 1.4 Selecionando uma ou mais amostras (Indexação)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "buried-headquarters",
   "metadata": {},
   "source": [
    "#### **==>  Index-based selection (seleção baseada em Índices)**\n",
    "Mostrando linhas específicas de um DataFrame:\n",
    "\n",
    "`iloc`: seleciona elementos do Dataframe, baseado em seu **índice (número)** --> row-first, column-second"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "inclusive-magnet",
   "metadata": {},
   "source": [
    "**Selecionando uma amostra/linha:**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bored-roberts",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "acoustic-exemption",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "regional-spank",
   "metadata": {},
   "source": [
    "**Selecionando múltiplias amostras/linhas:**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "framed-julian",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fallen-palace",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "varying-patrol",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "numerical-robinson",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "olive-plain",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "settled-sunglasses",
   "metadata": {},
   "outputs": [],
   "source": [
    "# e assim por diante!"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "extended-helping",
   "metadata": {},
   "source": [
    "#### **==>  Label-based selection (seleção baseadas em Rótulos)**\n",
    "\n",
    "`loc`: seleciona elementos do Dataframe, baseado em seus **rótulos** --> row-first, column-second"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "packed-unemployment",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "blank-defeat",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "personalized-southeast",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "dutch-proportion",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "instrumental-automation",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "statewide-being",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "sublime-berry",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "united-bulgarian",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "played-oxide",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "brilliant-welding",
   "metadata": {},
   "source": [
    "### 1.5 Selecionando um ou mais atributos (colunas)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "brilliant-simpson",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "prostate-brass",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "patent-desert",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "natural-motor",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "italian-berkeley",
   "metadata": {},
   "source": [
    "Como o rótulo da coluna 'DATA INICIAL' **possui espaço**, não é possível acessá-la como método: `data.DATA INICIAL`"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "heard-objective",
   "metadata": {},
   "source": [
    "### 1.6 Removendo um Atributo (Coluna) do Data Frame"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ancient-european",
   "metadata": {},
   "source": [
    "Como vimos anteriormente, o atributo 'Unnamed: 0' parece ser um **ruído** em nosso dataset. Desta maneira, vamos eliminá-lo,"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "private-accused",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "other-server",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fixed-damage",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "forbidden-neighborhood",
   "metadata": {},
   "source": [
    "### 1.7 Salvando um Data Frame"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "sensitive-rocket",
   "metadata": {},
   "source": [
    "Para salvarmos um Data Frame para um **arquivo CSV**, basta usarmos o método `.to_csv`. <br/>\n",
    "Por padrão, esse método **salva os índices da tabela como uma coluna no CSV**.<br/>\n",
    "Como no geral tais índices são números de 0 a n-1, não há necessidade para isso (veja que removemos anteriormente a coluna 'Unnamed: 0' que foi justamente esse caso).<br/>\n",
    "Desta forma, utilize o parâmetro: `index=False`.\n",
    "\n",
    "Por padrão, o método utilizará a ',' como separador das colunas. Caso queira alterá-lo, utilize o parâmetro `sep`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "generic-equilibrium",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "backed-arrow",
   "metadata": {},
   "source": [
    "### 1.8 Seleção Condicional: Filtrando amostras"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "aerial-default",
   "metadata": {},
   "source": [
    "Durante nossas análise exploratórias, frequentemente filtraremos nossas amostras, a partir de certas **condições**, para fins de análise mais específica. <br/>\n",
    "Existem algumas maneiras de fazermos tal filtragem. Antes disso, vamos carregar nosso dataset pré-processado que salvamos no item anterior."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "subject-rubber",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "southeast-undergraduate",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "plain-centre",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "altered-lafayette",
   "metadata": {},
   "source": [
    "#### **Selecionando apenas os preços dos Postos de São Paulo**"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "express-birmingham",
   "metadata": {},
   "source": [
    "##### **==> Alternativa 1: Seleção Condicional (Comparações diretas)**"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "balanced-executive",
   "metadata": {},
   "source": [
    "O código abaixo retorna uma ***Series ('array') de booleans***, com o número de linhas (amostras) do Data Frame, que informa os registros de preços dos postos do _estado de São Paulo_ (True)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "sufficient-providence",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "capable-congo",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cognitive-temperature",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "neural-crazy",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ideal-stand",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "overhead-portal",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "functional-affair",
   "metadata": {},
   "source": [
    "Para **filtrarmos** os registros de postos do estado de São Paulo:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "muslim-livestock",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "acute-smile",
   "metadata": {},
   "source": [
    "O resultado é um Data Frame com _apenas_ os registros desejados após a **filtragem**.<br/>\n",
    "Podemos ainda utilizar o método `loc` para o mesmo fim:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "several-heath",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "egyptian-schedule",
   "metadata": {},
   "source": [
    "##### **==> Alternativa 2: Utilizando o método `query`**"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "conventional-bathroom",
   "metadata": {},
   "source": [
    "`query` filtra linhas de um DataFrame baseado em uma **query (pergunta)**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "contrary-richards",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "extreme-jones",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "Uma boa prática é **salvar o Data Frame filtrado em uma nova variável**. Isso simplifica a complexidade do código para futuras análise feita para os postos de São Paulo."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "potential-treasure",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "union-diesel",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "british-vision",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "heard-consent",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "substantial-prevention",
   "metadata": {},
   "source": [
    "#### **Selecionando registros de postos do Rio de Janeiro com Preços acima de 2 reais**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "occupied-attitude",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "executed-colors",
   "metadata": {},
   "source": [
    "Note que o resultado da seleção continua sendo uma _Series de booleans_ com o _mesmo número de linhas/amostras do DataFrame_, de modo que cada linha possuirá um valor booleano indicando se o posto é do Rio de Janeiro e o preço aferido do combustível é maior que 2 reais (True) ou não.\n",
    "\n",
    "O símbolo **&** significa **AND** na comparação. Essa nomenclatura do python/pandas é diferente das nomenclaturas tradicionais (&&). <br/>\n",
    "Similarmente:\n",
    "- **|** representa o **OR** (não é ||)\n",
    "- **~** representa o **NOT** (não é !)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "civic-applicant",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "illegal-boards",
   "metadata": {},
   "source": [
    "Alternativamente, poderíamos usar o método `query` para fazermos tal seleção. Porém, isso não é possível especificamente para esse caso, pois o rótulo da coluna 'PREÇO MÉDIO REVENDA' possui caracteres inválidos para o método (cedilha, acentos) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "automotive-manitoba",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Não funciona\n",
    "# data.query('ESTADO==\"RIO DE JANEIRO\" and PREÇO MÉDIO REVENDA > 2')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "mexican-romania",
   "metadata": {},
   "source": [
    "**Aprofundando mais ainda**\n",
    "\n",
    "A primeira comparação `(data['ESTADO'] == 'RIO DE JANEIRO')` checa, linha a linha (amostra a amostra) do DataFrame, quais são aquelas cujo o estado é RIO DE JANEIRO. Nenhuma averiguação de preços é feita nesse momento. Como resultado, temos uma Series de booleans que responde **apenas** a essa \"pergunta\" feita.\n",
    "\n",
    "A segunda comparação `(data['PREÇO MÉDIO REVENDA'] > 2)` checa, linha a linha (amostra a amostra) do DataFrame, quais são os registro cujo preço do combustível é maior que 2 reais. Note que essa comparação checará os postos de **TODOS os estados**. Como resultado, temos uma Series de booleans que responde **apenas** a essa \"pergunta\" feita.\n",
    "\n",
    "Por fim, as duas \"perguntas\" são unidas pelo AND (&) que retorna a \"pergunta completa\" que fizemos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "worst-catholic",
   "metadata": {},
   "source": [
    "Alguns podem argumentar que tal abordagem é **ineficiente**, uma vez que, para cada condição (\"pergunta\"), estamos varrendo todas as linhas do DataFrame. <br/>\n",
    "O Pandas _tenta otimizar_ isso ao máximo por de trás dos panos. Mas, de fato, de tivermos um dataset **muito grande** (centenas de milhares de linhas), tal abordagem se tornará _lenta_."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "another-income",
   "metadata": {},
   "source": [
    "Assim, poderíamos fazer filtragem com múltiplos condicionais em partes:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "strong-nicholas",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "detailed-lyric",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "sapphire-gravity",
   "metadata": {},
   "source": [
    "#### **Selecionando registros de postos de São Paulo ou do Rio de Janeiro com Gasolina Comum acima de 2 reais**"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "genetic-rwanda",
   "metadata": {},
   "source": [
    "Podemos fazer a solução do \"jeito mais lento\", percorrendo o DataFrame inteiro _múltiplas vezes_:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "congressional-recorder",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fifth-catalog",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "built-asthma",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "productive-field",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "Alternativamente:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "australian-brother",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "toxic-mercy",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "secondary-premises",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "visible-setup",
   "metadata": {},
   "source": [
    "#### **Selecionando registros dos anos de 2008, 2010 e 2012**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "critical-mississippi",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "operational-border",
   "metadata": {},
   "source": [
    "**ALTERNATIVA 1**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "oriental-sitting",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "nonprofit-martin",
   "metadata": {},
   "source": [
    "**ALTERNATIVA 2**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "increased-agent",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "outside-central",
   "metadata": {},
   "source": [
    "### **Iterando com DataFrames**"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "psychological-hands",
   "metadata": {},
   "source": [
    "#### For-each `DataFrame.iterrows()` (LENTO ==> apenas indicado para iterar pequenos conjunto de dados)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "blank-gnome",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "treated-summer",
   "metadata": {},
   "source": [
    "<h2>2. Preparação dos dados</h2>\n",
    "<hr/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "enclosed-nicholas",
   "metadata": {},
   "source": [
    "### 2.1 Removendo amostras com valores vazios (null / nan) no dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "aware-shooting",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "determined-friendly",
   "metadata": {},
   "source": [
    "De um total de 106823 observações, **não há valores null** / nan para nenhum atributo. Mas, veremos que não é bem assim neste caso específico.<br/><br/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "graduate-charger",
   "metadata": {},
   "source": [
    "### 2.2 Conversão de tipos de atributos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "sharp-explanation",
   "metadata": {},
   "source": [
    "O pandas automaticamente reconhece os tipos de dados de cada coluna. <br/>\n",
    "Porém, existem alguns atributos que estão com seus tipos errados: P. ex., \"PREÇO MÉDIO DISTRIBUIÇÃO\" deveria ser ```float64``` e não ```object```.<br/>\n",
    "Nestes casos, muito provavelmente algumas amostras têm um string ao invés de um número para tais atributos. <br/>\n",
    "\n",
    "Os atributos *\"DATA INICIAL\"* e *\"DATA FINAL\"* deveriam ser do tipo `datetime`.\n",
    "\n",
    "Em outros casos, alguns **atributos categóricos** são ```objects```, mas poderiam ter o tipo ```category```, que é um tipo especial do pandas. <br/>\n",
    "Este tipo é necessário para se utilizar algumas funções específicas do pandas. <br/>\n",
    "**Não** converteremos para este tipo por ora."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "downtown-wiring",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "blank-monday",
   "metadata": {},
   "source": [
    "#### **Datas**\n",
    "Como os atributos de data do datset já estão em um formato de data aceitável (YYYY-MM-DD), não precisamos forçar nenhuma conversão nesse sentido."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fancy-copper",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "massive-draft",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "interim-elimination",
   "metadata": {},
   "source": [
    "#### **Dados Numéricos**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "about-membrane",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "expired-thumbnail",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "operating-library",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "Note que temos vários valores ***null*** agora **após a *conversão de tipos***. Vamos checá-los com mais cuidado nos dados originais e preprocessados."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "excess-smith",
   "metadata": {},
   "source": [
    "### 2.3 Limpeza de dados"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "turkish-borough",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "rapid-ceremony",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "residential-wallet",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "general-found",
   "metadata": {},
   "source": [
    "Várias amostras possuem a _string '-'_ em algumas colunas ao invés de um número de fato. Ou seja, não há aferições destes atributos para estas amostras. <br/>\n",
    "\n",
    "<br/>\n",
    "\n",
    "Poderíamos **preencher os valores NaN com um valor padrão**. Para isso, basta usar o método `.fillna`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "standing-significance",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fourth-smoke",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "specific-wings",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "hispanic-message",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "bulgarian-alabama",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "altered-compatibility",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "Por mais que a função `fillna` seja interessante e útil em muitos casos, no problema em questão estamos interessados em analisar precisamente, p. ex., o **'PREÇO MÉDIO DISTRIBUIÇÃO'**.<br/>\n",
    "A fim de não termos valores _sintéticos_ gerados pelo `fillna`, que possam atrapalhar nossa análise, iremos **remover (drop) todas as amostras que possuem qualquer valor NaN** para quaisquer atributos/colunas. <br/>\n",
    "\n",
    "Para isso, basta utilizarmos o método `dropna`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "inclusive-shopper",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "superb-french",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "bearing-peter",
   "metadata": {},
   "source": [
    "Nosso data frame agora, após essa _limpeza_, ficou mais enxuto, contentdo 103392 registros frente aos 106823 registros originais. <br/>\n",
    "\n",
    "Essas são apenas algumas das possíveis _técnicas de limpeza de dados_. Outras estratégias, p. ex., **confiam na detecção de outliers**, que não veremos neste curso."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bound-laser",
   "metadata": {},
   "source": [
    "#### **Salvando o Dataset Preprocessado**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "hungarian-fantasy",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "stock-cover",
   "metadata": {},
   "source": [
    "<h2>3. Estatísticas Descritivas</h2>\n",
    "<hr/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "removed-republic",
   "metadata": {},
   "source": [
    "O Pandas fornecem algumas funções/métodos ue computam certas estatísticas descritivas."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "contrary-heritage",
   "metadata": {},
   "source": [
    "`describe`: exibe várias **estatísticas descritivas** para os _atributos_ de um dataframe ou para uma _Series_."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "nasty-smart",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "second-approach",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "straight-hamburg",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "Como o resultado do `describe` de um _dataframe_ é outro _dataframe_, podemos filtrar apenas algumas colunas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "complete-calvin",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "varying-integrity",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "sensitive-ocean",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "innocent-democrat",
   "metadata": {},
   "source": [
    "**Acessando apenas algumas estatísticas**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "single-playlist",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cardiovascular-technology",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "built-congo",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "`mean`, `std`, `min`, etc: cada uma das estatísticas do `describe` podem ser computadas individualmente:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "forty-function",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "employed-teach",
   "metadata": {},
   "source": [
    "#### Qual é o menor preço mínimo de revenda?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "broken-genius",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "normal-claim",
   "metadata": {},
   "source": [
    "#### Qual é a média e desvio padrão dos preços mínimos de revenda?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "successful-release",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "qualified-family",
   "metadata": {},
   "source": [
    "#### Quais são os estados considerados?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "exciting-assembly",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "maritime-generic",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "occasional-mistake",
   "metadata": {},
   "source": [
    "#### Quantos registros (aferições) cada estado possui?"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "seven-atmosphere",
   "metadata": {},
   "source": [
    "`.value_counts()`:  Conta a frequência dos valores de uma dada variável (de preferência, _categórica_)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "adaptive-thumb",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "perfect-invasion",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "ongoing-packaging",
   "metadata": {},
   "source": [
    "<h2>4. Executando funções para cada item de um DataFrame ou Series</h2>\n",
    "<hr/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "necessary-start",
   "metadata": {},
   "source": [
    "Uma alternativa ao `for-loop` que vimos anteriormente e que é _lento_, é usarmos _funções próprias do pandas_ que **aplicam/mapeiam uma dada função a todos os elementos de um DataFrame ou Series**, retornando novos elementos \"transformados\".\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dutch-yugoslavia",
   "metadata": {},
   "source": [
    "<img src='./imagens/apply_map_applymap.png' width=300/>\n",
    "\n",
    "\n",
    "Fonte: https://towardsdatascience.com/introduction-to-pandas-apply-applymap-and-map-5d3e044e93ff"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "comparative-mexican",
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.DataFrame({ 'A': [1, 2, 3, 4], \n",
    "                    'B': [10, 20, 30, 40],\n",
    "                    'C': [100, 200, 300, 400]}, \n",
    "                     index=['Linha 1', 'Linha 2', 'Linha 3', 'Linha 4'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "spiritual-boutique",
   "metadata": {},
   "outputs": [],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "absent-salmon",
   "metadata": {},
   "source": [
    "`apply()`: usado para aplicar uma função ao longo de um eixo de um DataFrame ou em valores de uma Series."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "authorized-documentation",
   "metadata": {},
   "source": [
    "<img src='./imagens/pandas_axis.jpg' width=500/>\n",
    "\n",
    "Fonte: https://www.allthesnippets.com/browse/pandas/df_axis.html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "chronic-behavior",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "dangerous-adult",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "following-tuner",
   "metadata": {},
   "source": [
    "<img src='./imagens/apply_axis_1.png' width=250/>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "economic-conviction",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "psychological-acrobat",
   "metadata": {},
   "source": [
    "<img src='./imagens/apply_axis_0.png' width=250/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "pursuant-metallic",
   "metadata": {},
   "source": [
    "##### Usando `lambda` functions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "composed-summit",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "modified-timer",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "expensive-thunder",
   "metadata": {},
   "source": [
    "<img src='./imagens/apply_axis_1_mean.png' width=350/>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "included-realtor",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "respective-broadcasting",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "`applymap()`: usado para aplicar uma função para **cada elemento** (_element-wise_) de um DataFrame."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "hourly-affairs",
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.DataFrame({ 'A': [1, 2, 3, 4], \n",
    "                    'B': [10, 20, 30, 40],\n",
    "                    'C': [100, 200, 300, 400]}, \n",
    "                     index=['Linha 1', 'Linha 2', 'Linha 3', 'Linha 4'])\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "strong-subcommittee",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "close-female",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "`map()`: usado para aplicar uma função para **cada elemento** (_element-wise_) de uma _Series_."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "unknown-mining",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "exceptional-financing",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "velvet-moment",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "detected-tanzania",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "increasing-intersection",
   "metadata": {},
   "source": [
    "<h2>5. Agrupamento</h2>\n",
    "<hr/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "played-windsor",
   "metadata": {},
   "source": [
    "`groupby`: Usado para criar **grupo de elementos** (e.x., baseado nos valores de um atributo). <br/>\n",
    "**Funções** podem então ser aplicadas para os _elementos de cada grupo_, de modo que os **resultados de cada grupo são combinados**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "expensive-field",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "standard-finish",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "failing-blackjack",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "filled-encoding",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "charged-money",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "Também podemos ter agrupamentos por mais de um atributo."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "legitimate-webster",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "nuclear-quarter",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "future-tonight",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "guided-sleeping",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "assumed-detector",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "sonic-running",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "`.agg`: **agrega (roda)** uma série de funções para os elementos de um dataframe ou de grupos de um dataframe."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "challenging-stanford",
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.DataFrame([[1, 2, 3],\n",
    "                   [4, 5, 6],\n",
    "                   [7, 8, 9],\n",
    "                   [np.nan, np.nan, np.nan]],\n",
    "                  columns=['A', 'B', 'C'])\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "critical-analyst",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "wrong-handy",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "grave-massage",
   "metadata": {},
   "source": [
    "<h2>6. Ordenação</h2>\n",
    "<hr/>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "increasing-delicious",
   "metadata": {},
   "outputs": [],
   "source": [
    "notas = pd.DataFrame({\n",
    "    'nome': ['João', 'Maria', 'José', 'Alice'],\n",
    "    'idade': [20, 21, 19, 20],\n",
    "    'nota_final': [5.0, 10.0, 6.0, 10.0]\n",
    "})\n",
    "notas"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "harmful-director",
   "metadata": {},
   "source": [
    "`.sort_values()`: ordena valores ao longo de um eixo."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "whole-allowance",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "american-blues",
   "metadata": {},
   "source": [
    "Por padrão, o método retorna uma cópia dos dados ordenados em **ordem crescente (ascendente)**. Podemos alterar isso pelo argumento `ascending`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "comparative-burke",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "previous-polls",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "Podemos ordenar a partir de **mais de uma coluna**:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "derived-saying",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "experienced-husband",
   "metadata": {},
   "source": [
    "Ordena os registros, primeiramente, pela coluna 'nota_final' em **ordem descrente**. <br/>\n",
    "Então, reordena os registros _\"empatados\"_, ou seja, com a **mesma nota final**, em _ordem alfabética_ (ordem crescente)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "original-december",
   "metadata": {},
   "source": [
    "<br/>\n",
    "\n",
    "Note que o dataframe original **não foi alterado** após a ordenação."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "numeric-vietnam",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "focal-compact",
   "metadata": {},
   "source": [
    "Para alterá-lo, use o argumento `inplace=True`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "advanced-aberdeen",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "announced-genetics",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "functional-clark",
   "metadata": {},
   "source": [
    "<h2>7. Exercícios</h2>\n",
    "<hr/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "democratic-commonwealth",
   "metadata": {},
   "source": [
    "Vamos aplicar os conceitos que vimos em alguns exercícios. <br/>\n",
    "Para isso, utilizaremos o dataset de _preços de combustíveis no Brasil_.\n",
    "\n",
    "Como há apenas medições de janeiro a junho para o ano de 2019, resolvemos **remover os dados** deste ano da análise."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cardiovascular-daily",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "mexican-guinea",
   "metadata": {},
   "source": [
    "Note que temos um novo dataframe com 99739 linhas, mas com índices fora desse intervalo. <br/>\n",
    "Acontece que os registros mantiveram seus índices originais após a query. <br/>\n",
    "\n",
    "Para resetar os índices de _0 a num_linhas-1_, basta usarmos o método `.reset_index()`. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "combined-release",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "transparent-cannon",
   "metadata": {},
   "source": [
    "Os índices agora foram **resetados**. Porém, os índices antigos se transformaram em _uma nova coluna_ chamada 'index'. <br/>\n",
    "Para removê-la durante o _reset_, basta passarmos o argumento `drop=True`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "registered-walnut",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "jewish-cancer",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "worth-running",
   "metadata": {},
   "source": [
    "### 7.1 Qual a proporção de postos pesquisados para cada combustível em cada região"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "corrected-major",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "returning-premium",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "improving-corporation",
   "metadata": {},
   "source": [
    "### 7.2 Como os preços da Gasolina Comum em São Paulo variaram em 2018?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "damaged-horse",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "complicated-louis",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "ecological-pavilion",
   "metadata": {},
   "source": [
    "#### **Estatísticas Descritivas**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "scientific-acrylic",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "touched-irrigation",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "freelance-python",
   "metadata": {},
   "source": [
    "### 7.3 Como os preços da Gasolina Comum e do Etanol em São Paulo variaram em 2018?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "diagnostic-replacement",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "necessary-absolute",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "selected-confidentiality",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "minute-september",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "phantom-environment",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "phantom-focus",
   "metadata": {},
   "source": [
    "<h2>8. Assuntos para continuar os estudos</h2>\n",
    "<hr/>\n",
    "\n",
    "- join\n",
    "- concat\n",
    "- plot\n",
    "- data cleaning"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}