PYSPARK BASIC INTRO.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {},
     "inputWidgets": {},
     "nuid": "4835a8e7-7487-4454-a1ad-948fd11f0d3b",
     "showTitle": false,
     "title": ""
    }
   },
   "source": [
    "#### Pyspark Basic Introduction"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {
      "byteLimit": 2048000,
      "rowLimit": 10000
     },
     "inputWidgets": {},
     "nuid": "2fc31347-36a9-4e51-aa35-e6fd14ae6f1d",
     "showTitle": false,
     "title": ""
    }
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Collecting pyspark\r\n  Downloading pyspark-3.5.1.tar.gz (317.0 MB)\r\n\u001B[?25l\r\u001B[K     |                                | 10 kB 20.1 MB/s eta 0:00:16\r\u001B[K     |                                | 20 kB 9.5 MB/s eta 0:00:34\r\u001B[K     |                                | 30 kB 7.5 MB/s eta 0:00:43\r\u001B[K     |                                | 40 kB 4.7 MB/s eta 0:01:08\r\u001B[K     |                                | 51 kB 5.6 MB/s eta 0:00:57\r\u001B[K     |                                | 61 kB 5.8 MB/s eta 0:00:55\r\u001B[K     |                                | 71 kB 6.2 MB/s eta 0:00:51\r\u001B[K     |                                | 81 kB 4.8 MB/s eta 0:01:06\r\u001B[K     |                                | 92 kB 5.4 MB/s eta 0:00:59\r\u001B[K     |                                | 102 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 112 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 122 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 133 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 143 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 153 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 163 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 174 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 184 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 194 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 204 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 215 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 225 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 235 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 245 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 256 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 266 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 276 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 286 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 296 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 307 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 317 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 327 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 337 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 348 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 358 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 368 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 378 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 389 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 399 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 409 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 419 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 430 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 440 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 450 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 460 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 471 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 481 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 491 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 501 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 512 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 522 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 532 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 542 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 552 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 563 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 573 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 583 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 593 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 604 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 614 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 624 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 634 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 645 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 655 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 665 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 675 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 686 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 696 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 706 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 716 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 727 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 737 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 747 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 757 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 768 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 778 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 788 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 798 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 808 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 819 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 829 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 839 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 849 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 860 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 870 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 880 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 890 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 901 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 911 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 921 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 931 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 942 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 952 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 962 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 972 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 983 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 993 kB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 1.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 1.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 1.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 1.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 1.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 1.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 1.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 1.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 1.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |                                | 1.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.7 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.7 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.7 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.7 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.7 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.7 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.7 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.7 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.7 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.8 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.8 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.8 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.8 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.8 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.8 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.8 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.8 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.8 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.8 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.9 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.9 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.9 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.9 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.9 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.9 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.9 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.9 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.9 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 1.9 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.0 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.1 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▏                               | 2.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.2 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.3 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.4 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.5 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.6 MB 5.7 MB/s eta 0:00:56\r\u001B[K     |▎                               | 2.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.7 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.7 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.7 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.7 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.7 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.7 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.7 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.7 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.7 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.7 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.8 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.8 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.8 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.8 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.8 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.8 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.8 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.8 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.8 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.8 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.9 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.9 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.9 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.9 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.9 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.9 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.9 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.9 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.9 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 2.9 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.0 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.0 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.0 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.0 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.0 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.0 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.0 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.0 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.0 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.1 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.1 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.1 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.1 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.1 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.1 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.1 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.1 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.1 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.1 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.2 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.2 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.2 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.2 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.2 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.2 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.2 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.2 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.2 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.2 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.3 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.3 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.3 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.3 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▎                               | 3.3 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.3 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.3 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.3 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.3 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.3 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.4 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.4 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.4 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.4 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.4 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.4 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.4 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.4 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.4 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.5 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.5 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.5 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.5 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.5 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.5 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.5 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.5 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.5 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.5 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍                               | 3.6 MB 5.7 MB/s eta 0:00:55\r\u001B[K     |▍   \n\n*** WARNING: max output size exceeded, skipping output. ***\n\n| 313.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 313.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 313.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 313.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 313.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 313.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 313.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 313.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 313.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▊| 314.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 314.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████▉| 315.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 315.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 315.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 315.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 315.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 315.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 315.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 315.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 315.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 315.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.0 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.1 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.2 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.3 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.4 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.5 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.6 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.7 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.8 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 316.9 MB 47.3 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 317.0 MB 12 kB/s \r\n\u001B[?25hCollecting py4j==0.10.9.7\r\n  Downloading py4j-0.10.9.7-py2.py3-none-any.whl (200 kB)\r\n\u001B[?25l\r\u001B[K     |█▋                              | 10 kB 34.9 MB/s eta 0:00:01\r\u001B[K     |███▎                            | 20 kB 36.8 MB/s eta 0:00:01\r\u001B[K     |█████                           | 30 kB 42.6 MB/s eta 0:00:01\r\u001B[K     |██████▌                         | 40 kB 44.3 MB/s eta 0:00:01\r\u001B[K     |████████▏                       | 51 kB 45.7 MB/s eta 0:00:01\r\u001B[K     |█████████▉                      | 61 kB 47.2 MB/s eta 0:00:01\r\u001B[K     |███████████▍                    | 71 kB 46.8 MB/s eta 0:00:01\r\u001B[K     |█████████████                   | 81 kB 46.9 MB/s eta 0:00:01\r\u001B[K     |██████████████▊                 | 92 kB 48.7 MB/s eta 0:00:01\r\u001B[K     |████████████████▍               | 102 kB 50.0 MB/s eta 0:00:01\r\u001B[K     |██████████████████              | 112 kB 50.0 MB/s eta 0:00:01\r\u001B[K     |███████████████████▋            | 122 kB 50.0 MB/s eta 0:00:01\r\u001B[K     |█████████████████████▎          | 133 kB 50.0 MB/s eta 0:00:01\r\u001B[K     |██████████████████████▉         | 143 kB 50.0 MB/s eta 0:00:01\r\u001B[K     |████████████████████████▌       | 153 kB 50.0 MB/s eta 0:00:01\r\u001B[K     |██████████████████████████▏     | 163 kB 50.0 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████▉    | 174 kB 50.0 MB/s eta 0:00:01\r\u001B[K     |█████████████████████████████▍  | 184 kB 50.0 MB/s eta 0:00:01\r\u001B[K     |███████████████████████████████ | 194 kB 50.0 MB/s eta 0:00:01\r\u001B[K     |████████████████████████████████| 200 kB 50.0 MB/s \r\n\u001B[?25hBuilding wheels for collected packages: pyspark\r\n  Building wheel for pyspark (setup.py) ... \u001B[?25l-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \bdone\r\n\u001B[?25h  Created wheel for pyspark: filename=pyspark-3.5.1-py2.py3-none-any.whl size=317488511 sha256=f2cff3946fe2d0e82663304ea7be6c68b7e1b3045ace34cfb2b306c63935d77e\r\n  Stored in directory: /root/.cache/pip/wheels/92/09/11/aa01d01a7f005fda8a66ad71d2be7f8aa341bddafb27eee3c7\r\nSuccessfully built pyspark\r\nInstalling collected packages: py4j, pyspark\r\nSuccessfully installed py4j-0.10.9.7 pyspark-3.5.1\r\n\u001B[33mWARNING: You are using pip version 21.2.4; however, version 24.2 is available.\r\nYou should consider upgrading via the '/local_disk0/.ephemeral_nfs/envs/pythonEnv-20c53852-c3b7-4a5c-ad03-d1d4d043c113/bin/python -m pip install --upgrade pip' command.\u001B[0m\r\n"
     ]
    }
   ],
   "source": [
    "!pip install pyspark"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {},
     "inputWidgets": {},
     "nuid": "eaba1e0d-c02d-4492-bed0-82cccc3c6f5c",
     "showTitle": false,
     "title": ""
    }
   },
   "source": [
    "Create A Session"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {
      "byteLimit": 2048000,
      "rowLimit": 10000
     },
     "inputWidgets": {},
     "nuid": "501a59ca-36ae-4665-81fd-5c69bd04e7e6",
     "showTitle": false,
     "title": ""
    }
   },
   "outputs": [],
   "source": [
    "import pyspark"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {
      "byteLimit": 2048000,
      "rowLimit": 10000
     },
     "inputWidgets": {},
     "nuid": "2a536937-ba2d-41a0-968f-dbd942fa75e6",
     "showTitle": false,
     "title": ""
    }
   },
   "outputs": [],
   "source": [
    "from pyspark.sql import SparkSession"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {
      "byteLimit": 2048000,
      "rowLimit": 10000
     },
     "inputWidgets": {},
     "nuid": "44a9ef4d-ac76-4aa3-a24e-959bca2aa4fb",
     "showTitle": false,
     "title": ""
    }
   },
   "outputs": [],
   "source": [
    "spark=SparkSession.builder.appName('Practise').getOrCreate()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {
      "byteLimit": 2048000,
      "rowLimit": 10000
     },
     "inputWidgets": {},
     "nuid": "a1f7e493-e80e-4b15-94e3-758352981f0f",
     "showTitle": false,
     "title": ""
    }
   },
   "outputs": [
    {
     "output_type": "display_data",
     "data": {
      "text/html": [
       "\n",
       "            <div>\n",
       "                <p><b>SparkSession - hive</b></p>\n",
       "                \n",
       "        <div>\n",
       "            <p><b>SparkContext</b></p>\n",
       "\n",
       "            <p><a href=\"/?o=2232930185716277#setting/sparkui/0807-050652-9cdwsuhg/driver-3268145547853644604\">Spark UI</a></p>\n",
       "\n",
       "            <dl>\n",
       "              <dt>Version</dt>\n",
       "                <dd><code>v3.3.2</code></dd>\n",
       "              <dt>Master</dt>\n",
       "                <dd><code>local[8]</code></dd>\n",
       "              <dt>AppName</dt>\n",
       "                <dd><code>Databricks Shell</code></dd>\n",
       "            </dl>\n",
       "        </div>\n",
       "        \n",
       "            </div>\n",
       "        "
      ]
     },
     "metadata": {
      "application/vnd.databricks.v1+output": {
       "addedWidgets": {},
       "arguments": {},
       "data": "\n            <div>\n                <p><b>SparkSession - hive</b></p>\n                \n        <div>\n            <p><b>SparkContext</b></p>\n\n            <p><a href=\"/?o=2232930185716277#setting/sparkui/0807-050652-9cdwsuhg/driver-3268145547853644604\">Spark UI</a></p>\n\n            <dl>\n              <dt>Version</dt>\n                <dd><code>v3.3.2</code></dd>\n              <dt>Master</dt>\n                <dd><code>local[8]</code></dd>\n              <dt>AppName</dt>\n                <dd><code>Databricks Shell</code></dd>\n            </dl>\n        </div>\n        \n            </div>\n        ",
       "datasetInfos": [],
       "metadata": {},
       "removedWidgets": [],
       "textData": null,
       "type": "htmlSandbox"
      }
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "spark"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {
      "byteLimit": 2048000,
      "rowLimit": 10000
     },
     "inputWidgets": {},
     "nuid": "83ac79d3-dcac-440d-9742-3f199551cefd",
     "showTitle": false,
     "title": ""
    }
   },
   "outputs": [],
   "source": [
    "#df_pyspark=spark.read.csv('test1.csv')\n",
    "df_pyspark=spark.read.csv('/FileStore/shared_uploads/astartupcto@gmail.com/test1.csv')\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {
      "byteLimit": 2048000,
      "rowLimit": 10000
     },
     "inputWidgets": {},
     "nuid": "6d4c762b-f003-4ed6-9205-09acfa7fcbe9",
     "showTitle": false,
     "title": ""
    }
   },
   "outputs": [],
   "source": [
    "df_pyspark=spark.read.option('header','true').csv('/FileStore/shared_uploads/astartupcto@gmail.com/test1.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {
      "byteLimit": 2048000,
      "rowLimit": 10000
     },
     "inputWidgets": {},
     "nuid": "c1b4e02d-1168-4334-8c5e-a7d8d663e4a8",
     "showTitle": false,
     "title": ""
    }
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Out[4]: pyspark.sql.dataframe.DataFrame"
     ]
    }
   ],
   "source": [
    "type(df_pyspark)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {
      "byteLimit": 2048000,
      "rowLimit": 10000
     },
     "inputWidgets": {},
     "nuid": "c226d550-507c-40fe-a14a-e8b5204f2cfb",
     "showTitle": false,
     "title": ""
    }
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "root\n |-- Name: string (nullable = true)\n |-- Age: string (nullable = true)\n |-- Experience: string (nullable = true)\n |-- Salary: string (nullable = true)\n\n"
     ]
    }
   ],
   "source": [
    "df_pyspark.printSchema()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "application/vnd.databricks.v1+cell": {
     "cellMetadata": {},
     "inputWidgets": {},
     "nuid": "808c42ef-389c-49b6-a1f4-aaa3fb7c5371",
     "showTitle": false,
     "title": ""
    }
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "application/vnd.databricks.v1+notebook": {
   "dashboards": [],
   "environmentMetadata": null,
   "language": "python",
   "notebookMetadata": {
    "pythonIndentUnit": 4
   },
   "notebookName": "PYSPARK BASIC INTRO",
   "widgets": {}
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}