ModoApi_Data_Filter.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from urllib.request import urlopen\n",
    "import json\n",
    "import pandas as pd\n",
    "import datetime\n",
    "import pytz"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Código que tem como objetivo filtrar os dados brutos para futuras análises.\n",
    "Ele separa a partir de uma análise do tempo de captura, início e fim de disponibilidade os intervalos de reserva, ociosidade e momentos em que ocorreram cancelamentos para cada veículo."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Lendo dados coletados da API\n",
    "df = pd.read_csv('modo_data.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Funções utilizadas"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def Hour_Diff(h1,h2):\n",
    "    \"\"\"\n",
    "    Faz a diferença entre duas horas dadas e retorna em minutos\n",
    "    \n",
    "    Parameters\n",
    "    ----------\n",
    "    h1, h2 : unix timestamp\n",
    "        Hora inicio e fim para ser feito o cálculo da diferença\n",
    "        \n",
    "    Returns\n",
    "    ---------\n",
    "    diff : float\n",
    "        Diferença entre as duas horas dadas em minutos\n",
    "        \n",
    "    \"\"\"\n",
    "    \n",
    "    h1Aux = datetime.datetime.fromtimestamp(h1)\n",
    "    h2Aux = datetime.datetime.fromtimestamp(h2)\n",
    "    diff = abs((h1Aux - h2Aux)).total_seconds()/60\n",
    "    \n",
    "    return diff"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def str_to_datetime(df_time):\n",
    "    \"\"\" \n",
    "    Reformatando de string para datetime.\n",
    "    \n",
    "    Parameters\n",
    "    ----------\n",
    "    df_time : pandas.DataFrame, string\n",
    "        Dataframe com strings a serem convertidas para datetime.\n",
    "    \n",
    "    Returns\n",
    "    ----------\n",
    "    date_list : pandas.DataFrame, datetime\n",
    "        Dataframe com valores em datetime para possíveis fusos de Vancouver.\n",
    "    \n",
    "    \"\"\"\n",
    "    date_list = []\n",
    "    \n",
    "    # Formatos de fuso horário comum de Vancouver e \n",
    "    # fuso horário característico de horário de verão\n",
    "    format_string = ['%Y-%m-%d %H:%M:%S.%f-08:00', '%Y-%m-%d %H:%M:%S.%f-07:00',\n",
    "                     '%Y-%m-%d %H:%M:%S-08:00', '%Y-%m-%d %H:%M:%S-07:00']\n",
    "    \n",
    "    print('Begin: '+str(datetime.datetime.now()))\n",
    "    \n",
    "    for date in df_time:\n",
    "        for fmt in format_string:\n",
    "            try:\n",
    "                date_list.append(datetime.datetime.strptime(str(date), fmt))\n",
    "                break\n",
    "            except:\n",
    "                print('Error in : '+str(date))\n",
    "                pass\n",
    "            \n",
    "    print('End: '+str(datetime.datetime.now()))\n",
    "    return pd.DataFrame(date_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def get_car_ids(car_list):\n",
    "    \"\"\"\n",
    "    Coleta todos os IDs de carros coletados, sem repetições, de uma lista.\n",
    "    \n",
    "    Parameters\n",
    "    -----------\n",
    "    car_list : int list ou pandas.DataFrame\n",
    "        Lista de todos os IDs coletados.\n",
    "    \n",
    "    Returns\n",
    "    ----------\n",
    "    car_ids : int\n",
    "        Lista com todos os IDs já coletados, sem repetições.\n",
    "        \n",
    "    Notes\n",
    "    ---------\n",
    "    A coleta dos IDs é realizada de tal forma para obter IDs de veículos que \n",
    "    por utilização da API podem não ser retornados, como os que estão em manutenção\n",
    "    não estão na frota atual.\n",
    "    \"\"\"\n",
    "    \n",
    "    car_ids = []\n",
    "\n",
    "    for car in car_list:\n",
    "        if (car in car_ids):\n",
    "            continue\n",
    "        else:\n",
    "            car_ids.append(car)\n",
    "    \n",
    "    return car_ids"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Convertendo datetime strings para o tipo datetime\n",
    "df['Capture_time'] = str_to_datetime(df['Capture_time'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Coletando todos os IDs dos veículos\n",
    "car_ids = get_car_ids(df['CarID'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Inicio do filtro dos dados"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "É percorrido todos os dados registrados de cada veículo, sendo cada veículo por vez e os dados percorridos minuto a minuto.\n",
    "\n",
    "A partir de certas comparações podemos tirar conclusões de seu estado durante certos intervalos de tempo:<br><br>\n",
    "\n",
    ">Notas:<br>\n",
    "Inicio e fim de disponibilidade: Intervalo que dita quando o carro estará disponível<br><br>\n",
    "Hora atual: Momento em que foi efetuada a requisição<br><br>\n",
    "Parado: Está disponível a partir da hora atual<br><br>\n",
    "Andando: Estará disponível no futuro<br><br>\n",
    "\n",
    "-  Reservas:\n",
    "    1. Inicio de disponibilidade > hora atual & anteriormente estava Parado\n",
    "    2. Inicio de disponibilidade anterior < Inicio de disponibilidade atual\n",
    "-  Ociosidade:\n",
    "    1. Anteriormente estava Andando & Está Parado\n",
    "-  Cancelamento:\n",
    "    1. Anteriormente estava Andando & Está Parado & Intervalo de tempo de uso < 30 min\n",
    "    2. Anteriormente estava Andando & Está Parado & Terminou mais de 20 min antes do esperado\n",
    "    3. Inicio de dispoonibilidade anterior > Inicio de disponibilidade atual & Estava Andando"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true,
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "new_travel = []\n",
    "cancel = []\n",
    "parked = []\n",
    "\n",
    "# Percorrendo a cada carro\n",
    "for j in range(len(car_ids)):\n",
    "    carID = car_ids[j]\n",
    "    carDF = []\n",
    "    \n",
    "    carDF = df[df['CarID'] == carID]\n",
    "    # Eliminando intervalos de disponibilidade futuros\n",
    "    carDF.drop_duplicates(subset='Capture_time', keep='first', inplace=True)\n",
    "    carDF = carDF.sort_values(by=['Capture_time'])\n",
    "    carDF.index = range(len(carDF))\n",
    "    \n",
    "    i = 1\n",
    "    \n",
    "    while i < len(carDF):\n",
    "        try:\n",
    "            # Extração com base no Start Time\n",
    "            # Horarios estão no fuso horário de Vancouver\n",
    "            start_time_atual = int(carDF['StartTime'].iloc[i])\n",
    "\n",
    "            start_time_anterior = int(carDF['StartTime'].iloc[i-1])\n",
    "\n",
    "            request_start_atual = carDF['RequestStart'].iloc[i]\n",
    "\n",
    "            request_start_anterior = carDF['RequestStart'].iloc[i-1]\n",
    "\n",
    "            capture_timestamp = int(carDF['Capture_time'].iloc[i].timestamp())\n",
    "\n",
    "            # Verifica se a coleta começou com o carro parado\n",
    "            if (i == 1 and start_time_atual == request_start_atual):\n",
    "\n",
    "                # Variavel auxiliar para determinar se o veículo está ocioso e quando iniciou\n",
    "                start_parked = capture_timestamp                \n",
    "\n",
    "\n",
    "            # Verifica se a coleta começou com o carro andando\n",
    "            if (i == 1 and start_time_atual > request_start_atual): \n",
    "\n",
    "                # Registra uma nova viagem\n",
    "                new_travel.append([carID, capture_timestamp, start_time_atual, True])\n",
    "\n",
    "            # Se o inicio do tempo de disponibilidade > tempo de requisição E estava Parado temos uma nova viagem.  \n",
    "            elif (start_time_atual > request_start_atual and start_time_anterior == request_start_anterior):\n",
    "\n",
    "                # Registra uma nova viagem\n",
    "                new_travel.append([carID, capture_timestamp, start_time_atual, True])\n",
    "\n",
    "                # Registra o final do tempo em que estava estacionado\n",
    "                if (start_parked > 0):\n",
    "                    parked.append([carID, start_parked, capture_timestamp])\n",
    "                    start_parked = -1\n",
    "\n",
    "\n",
    "            # Se o inicio do tempo de disponibilidade anterior < tempo de disponibilidade atual E \n",
    "            # está andando temos uma nova viagem/extensão.\n",
    "            elif (start_time_anterior < start_time_atual and start_time_atual > request_start_atual):\n",
    "\n",
    "                new_travel.append([carID, capture_timestamp, start_time_atual, False])             \n",
    "\n",
    "\n",
    "            # Se estava andando e agora está parado.\n",
    "            if (start_time_atual == request_start_atual and start_time_anterior > request_start_anterior):\n",
    "\n",
    "                # Inicio do tempo estacionado\n",
    "                start_parked = capture_timestamp\n",
    "\n",
    "                if(new_travel != []):\n",
    "\n",
    "                    # Se a diferença entre hora atual e o inicio da ultima viagem < 30 min => cancelamento\n",
    "                    # Senão => Diminuição/Cancelamento\n",
    "                    if (Hour_Diff(capture_timestamp, new_travel[-1][1]) < 30):\n",
    "\n",
    "                        cancel.append([carID, capture_timestamp, start_time_anterior, True])\n",
    "\n",
    "                    # Tolerância de 20 min para dizer que foi uma diminuição ou \n",
    "                    # cancelamento em vez de um termino de viagem\n",
    "                    elif(Hour_Diff(capture_timestamp, new_travel[-1][2]) > 20):\n",
    "\n",
    "                        cancel.append([carID, capture_timestamp, start_time_anterior, False])\n",
    "\n",
    "\n",
    "            # Se acontecer um aumento do tempo de diponibilidade enquanto está andando, \n",
    "            # ocorreu um cancelamento ou diminuição\n",
    "            if (start_time_atual > request_start_atual and start_time_anterior > start_time_atual):\n",
    "\n",
    "                cancel.append([carID, capture_timestamp, start_time_anterior, False])             \n",
    "\n",
    "            \n",
    "            i += 1\n",
    "                \n",
    "                    \n",
    "        except Exception as e:\n",
    "            # Exception será gerada nos casos em que o carro não está disponível\n",
    "            print(e)\n",
    "            continue\n",
    "\n",
    "dfTravels = pd.DataFrame(new_travel,columns=['car_id', 'start', 'end', 'only_new_reserves'])\n",
    "dfCancel = pd.DataFrame(cancel, columns=['car_id', 'capture_time', 'previous_start', 'only_cancel'])\n",
    "dfParked = pd.DataFrame(parked, columns=['car_id', 'start', 'end'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "dfTravels.to_csv('travels.csv', index=False, encoding='utf-8')\n",
    "dfCancel.to_csv('cancel.csv', index=False, encoding='utf-8')\n",
    "dfParked.to_csv('parked.csv', index=False, encoding='utf-8')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}