O objetivo do vídeo é mostrar que é possível criar e utilizar uma aplicação Spark Open Source e depois utilizar os mesmos scripts no ambiente Databricks e Fabric.
Tutorial
Stack Utilizada:
- Docker
- Spark
- Minio
- Databricks
- Fabric
Conteúdo abordado:
- Criação de uma aplicação Spark no Docker que gera dados fake de 10 em 10 segundos
- Verificando se arquivos foram escritos no data lake
- Criação de uma aplicação Spark no Docker que lê arquivos do Minio
- Criação de uma aplicação Spark no Docker que gera um gráfico de barras
- Executando as mesmas aplicações no Databricks
- Executando as mesmas aplicações no Fabric