Sprint 12 - Vodka Natasha

Na Sprint 12, a equipe de Business Intelligence (BI) da JFRN, para o projeto da triagem automática de perícias, teve como missões os seguintes tópicos: criação de pipeline para treinamento de modelos; implementar testes na etapa de coleta; implementar classificação multirrótulo na pipeline de subsets; e ajustes na coleta de dados. Quanto ao projeto do Nísia Chatbot, as missões foram as seguintes: coleta de dados para refinamento do chatbot; documentar os históricos dos atendimentos das unidades de JEF na SJRN; implementar MVP para o chatbot; e validar MVP do chatbot.

Como mencionado anteriormente, a equipe de BI está desenvolvendo uma pipeline que possibilitará o treinamento dos modelos em qualquer computador, tendo acesso à VPN ou não. Nesta sprint, criou-se um script para upload de código ao GitJus sem VPN e a implementação de envio de arquivos via SFTP está sendo executada no presente momento.  

Ainda falando da triagem de perícias, foi finalizada a integração das validações do Great Expectations, ferramenta para controle de qualidade dos dados. Esse recurso permitiu detectar a presença de registros duplicados de petições iniciais, o que deve ser evitado nos dados de treinamento. A partir disso, foi feito um ajuste no código de pré-processamento para tratar esses casos, assim como a implementação de testes adicionais com o Pytest para garantir robustez. 

Também foi feito um ajuste na query de coleta de dados, com o objetivo de manter apenas os que são efetivamente usados para criação dos modelos de classificação. Tal mudança possibilita reduzir a quantidade de dados armazenados e o tempo de processamento.

Quanto ao projeto do Nísia Chatbot, nesta sprint foi expandida a coleta de dados para refinamento do chatbot, sendo feita a extração de textos do Whatsapp da 11ª vara. Considerando os dados até então extraídos, decidiu-se criar uma documentação com o intuito de obter métricas do atendimento efetuado pela JFRN. Diante disso, foi realizado o tratamento dos dados para adequá-los às ferramentas de análise que vão ser utilizadas futuramente.

Atentando ao objetivo de entregar o MVP do chatbot nesta sprint, além do menu principal, foram implementados os seguintes tópicos: “Consulta processual”; “Sistemas processuais”; “Atendimento”; “Certidões”; e “Demais serviços”. O próximo passo será validar esse MVP.

 

 

 

Datas

Início: 09/03/2023
Entrega: 29/03/2023

Missões

  • Criação de pipeline para treinamento de modelos;
  • Implementar testes na etapa de coleta;
  • Implementar classificação multirrótulo na pipeline de subsets;
  • Ajustes na coleta de dados;
  • Coleta de dados para refinamento do chatbot;
  • Documentar os históricos dos atendimentos das unidades de JEF na SJRN;
  • Implementar MVP para o chatbot;
  • Validar MVP do chatbot.

Tarefas

  • Configurar pipeline para rodar sem VPN;

  • Implementar validação de dados na pipeline usando Great Expectations;
  • Tratar duplicidade de documentos para processos diferentes;
  • Otimizar query de coleta de dados;
  • Extrair textos do WPP de atendimento;
  • Implementar MVP para o chatbot;
  • Criar documentação dos dados coletados de WPP.

Entregas

  • Script para upload de código ao GitJus sem VPN;

  • Integração das validações do Great Expectations na pipeline;
  • Código implementado para tratar duplicidade de petições;
  • Otimização da query de coleta de dados;
  • Tratamento dos dados de WPP;
  • Extração de dados do WPP da 11ª vara;

  • Entrega do MVP do chatbot.