Sprint 12 - Vodka Natasha
Na Sprint 12, a equipe de Business Intelligence (BI) da JFRN, para o projeto da triagem automática de perícias, teve como missões os seguintes tópicos: criação de pipeline para treinamento de modelos; implementar testes na etapa de coleta; implementar classificação multirrótulo na pipeline de subsets; e ajustes na coleta de dados. Quanto ao projeto do Nísia Chatbot, as missões foram as seguintes: coleta de dados para refinamento do chatbot; documentar os históricos dos atendimentos das unidades de JEF na SJRN; implementar MVP para o chatbot; e validar MVP do chatbot.
Como mencionado anteriormente, a equipe de BI está desenvolvendo uma pipeline que possibilitará o treinamento dos modelos em qualquer computador, tendo acesso à VPN ou não. Nesta sprint, criou-se um script para upload de código ao GitJus sem VPN e a implementação de envio de arquivos via SFTP está sendo executada no presente momento.
Ainda falando da triagem de perícias, foi finalizada a integração das validações do Great Expectations, ferramenta para controle de qualidade dos dados. Esse recurso permitiu detectar a presença de registros duplicados de petições iniciais, o que deve ser evitado nos dados de treinamento. A partir disso, foi feito um ajuste no código de pré-processamento para tratar esses casos, assim como a implementação de testes adicionais com o Pytest para garantir robustez.
Também foi feito um ajuste na query de coleta de dados, com o objetivo de manter apenas os que são efetivamente usados para criação dos modelos de classificação. Tal mudança possibilita reduzir a quantidade de dados armazenados e o tempo de processamento.
Quanto ao projeto do Nísia Chatbot, nesta sprint foi expandida a coleta de dados para refinamento do chatbot, sendo feita a extração de textos do Whatsapp da 11ª vara. Considerando os dados até então extraídos, decidiu-se criar uma documentação com o intuito de obter métricas do atendimento efetuado pela JFRN. Diante disso, foi realizado o tratamento dos dados para adequá-los às ferramentas de análise que vão ser utilizadas futuramente.
Atentando ao objetivo de entregar o MVP do chatbot nesta sprint, além do menu principal, foram implementados os seguintes tópicos: “Consulta processual”; “Sistemas processuais”; “Atendimento”; “Certidões”; e “Demais serviços”. O próximo passo será validar esse MVP.
Datas
Início: 09/03/2023
Entrega: 29/03/2023
Missões
- Criação de pipeline para treinamento de modelos;
- Implementar testes na etapa de coleta;
- Implementar classificação multirrótulo na pipeline de subsets;
- Ajustes na coleta de dados;
- Coleta de dados para refinamento do chatbot;
- Documentar os históricos dos atendimentos das unidades de JEF na SJRN;
- Implementar MVP para o chatbot;
- Validar MVP do chatbot.
Tarefas
Configurar pipeline para rodar sem VPN;
- Implementar validação de dados na pipeline usando Great Expectations;
- Tratar duplicidade de documentos para processos diferentes;
- Otimizar query de coleta de dados;
- Extrair textos do WPP de atendimento;
- Implementar MVP para o chatbot;
- Criar documentação dos dados coletados de WPP.
Entregas
Script para upload de código ao GitJus sem VPN;
- Integração das validações do Great Expectations na pipeline;
- Código implementado para tratar duplicidade de petições;
- Otimização da query de coleta de dados;
- Tratamento dos dados de WPP;
Extração de dados do WPP da 11ª vara;
Entrega do MVP do chatbot.