Inteligência Artificial e Machine Learning

Primeira Atividade Avaliativa

🔰 Começando

Esse projeto foi criado para realizar um processo de ETL direto para uma base de dados MySQL, implementado na linguagem Python.

💾 Suporte de primeiro-nível

🤖 Tecnologias empregadas

📋 Pré-requisitos

• 🐋Docker
• 🐍Python
  • Pandas
  • PyMySQL
  • SQLAlchemy

💡Atenção

Existe um arquivo requirements.txt, onde todas as dependências estão listadas. Basta executar o script install_requirements.bat para instalar as dependências listadas no arquivo.

🎨 Funcionalidades

A aplicação conta com a seguinte funcionalidade:

🛠️ Processo de ETL para a base de dados

O processo irá carregar o arquivo em um dataframe, fazendo inferencia automatica (essa configuração consome MUITA RAM) de todas as colunas. Será feita uma conexão ao servidor de base de dados levantado pelo container docker, que está configurado no projeto e, então, criada uma base de dados "pnad" para que a tabela "pnad_2019_3" seja escrita.

O processo demora cerca de 25 minutos.

📑 Licenças

Distribuído sob a MIT License. Veja LICENSE para mais informações.