2025¶

Informações Gerais¶

Data: 29 de abril de 2025
Horário: 20h às 20h40
Plataforma: app.gather.town
Próxima reunião: 06 de maio de 2025
Responsável pelo registro: Letícia Paiva

Participantes¶

Amanda Campos
Fause Carlos
Raissa Andrade
Luis Miranda
Vinicius Vieira
Vinicius Martins
Tiago Lima
Letícia Paiva
Philipe Barbosa

Pautas da Reunião¶

Reunião para esclarecimento de dúvidas com o monitor.

Acesso à infraestrutura: não será total, por se tratar de uma estrutura interna do laboratório. Permissões específicas serão concedidas conforme necessidade.
Apresentação da arquitetura geral do projeto.
Pontos discutidos:
Acesso ao Airflow (ainda pendente);
Elaboração de scripts para o pipeline de dados;
Ferramentas previstas: Spark ou Pandas.

Etapa Inicial¶

A primeira fase será focada em atividades de engenharia de dados.
Tarefas previstas: - Criação de scripts para extração de dados dos jornais; - Inserção dos dados crus no banco de dados; - Limpeza e tratamento dos dados; - Estruturação em formato JSON; - Armazenamento no MinIO; - Definição do método de extração; - Implementação de rotina de coleta diária (notícias do dia anterior).

Obs.: enquanto o Airflow não estiver operacional, os scripts serão executados localmente.

Ambiente de Desenvolvimento¶

Configuração do ambiente será realizada durante a semana, para uso pela equipe.

Próximos Passos¶

Liberação de acesso ao Airflow;
Organização das tasks e definição do método de extração;
Estudo e prática com as ferramentas definidas.