Sprint 13 - IPA

Na Sprint 13, a equipe de Business Intelligence (BI) da JFRN, para o projeto da triagem automática de perícias, teve como missões os seguintes tópicos: criação de pipeline para treinamento dos modelos; implementar testes na etapa de coleta da triagem de perícias; e implementar classificação multirrótulo na pipeline de subsets. Quanto ao projeto do Nísia Chatbot, as missões foram as seguintes: extrair textos do WhatsApp; implementar MVP para o chatbot; validar MVP do chatbot; correção de bugs do chatbot; e documentar os históricos dos atendimentos das unidades de JEF na SJRN.

Retomando o esforço de criar uma pipeline para treinamento dos modelos, a qual tem como propósito permitir executar o treinamento em qualquer computador, de forma segura com ou sem VPN, nesta sprint foi feito o teste para transferência de dados via SSH. O resultado foi positivo, o que possibilita passar para a para a próxima e última etapa, a criação de um bash para dar push dos arquivos no GitJus.

Quanto aos testes que têm sido desenvolvidos ao longo das últimas sprints, foi detectado uma necessidade de criar objetos mock ao longo do código para garantir que os testes sejam executados automaticamente sem causar interrupções no processamento. Isso foi implementado com êxito.

Passando para o Nísia Chatbot, nesta sprint foram feitas as seguintes entregas: criação de uma mensagem de fim de atendimento e configuração de um banco de dados para salvar as conversas. No quesito de melhorias do que já havia sido implementado, pode-se mencionar as seguintes: correções nos botões; adição de novas seleções, por exemplo, escolha de cidade; e direcionamento para o balcão de atendimento no menu de atendimento.

Foram realizadas novas extrações de dados do WhatsApp das unidades de atendimento. Desta vez as varas contempladas foram a 12ª e 15ª vara. Além da extração, foi feita a limpeza dos dados e análise de sentimentos, através da implementação de um modelo do Hugging Face, com o intuito de detectar mensagens positivas ou negativas com relação ao atendimento virtual da JFRN. Também, após essa limpeza dos dados, foi realizada a clusterização para determinar o tema das mensagens.

A extração e tratamento desses dados de atendimento inspirou a idealização de um novo projeto, a elaboração de painéis BI, no Qlik, para analisar os atendimentos. Como ponto de partida, a equipe definiu métricas e gráficos para compor essa análise. Em seguida, iniciou-se a construção dos dashboards. Ao total, são sete dashboards, os quais são divididos da seguinte forma: dois  são respectivos à análise temporal dos atendimentos; três compõem a visualização da análise de sentimentos mencionada anteriormente; um apresenta a análise de temas provenientes da clusterização; e um entrega a visualização dos dados brutos. Todos os dashboards foram finalizados e entregues nesta sprint, assim como a documentação dos dados, métricas e análises realizadas.

Datas

Início: 30/03/2023
Entrega: 26/04/2023

Missões

  • Criação de pipeline para treinamento dos modelos;
  • Implementar testes na etapa de coleta da triagem de perícias;
  • Implementar classificação multirrótulo na pipeline de subsets;
  • Extrair textos do WhatsApp; implementar MVP para o chatbot;
  • Validar MVP do chatbot;
  • Correção de bugs do chatbot;
  • Documentar os históricos dos atendimentos das unidades de JEF na SJRN.

Tarefas

  • Teste para transferência de dados via SSH;

  • Adicionar objetos mock na avaliação dos modelos;

  • Adicionar wrapper com as probabilidades das especialidades;

  • Extrair, limpar e clusterizar textos do WPP da 9ª, 12ª e 15ª vara;

  • Implementar mensagem de fim de atendimento;

  • Configurar banco de dados para salvar conversas;

  • Ajustar botões do chatbot;

  • Realizar análise de sentimento;

  • Definir métricas e gráficos para análise dos dados do WPP;
  • Criar dashboards no Qlik;
  • Documentar o pré-processamento e análise dos dados coletados do WPP.

Entregas

  • Execução bem sucedida de transferência de dados via SSH;

  • Implementação de objetos mock na avaliação dos modelos;
  • Adição de resposta com probabilidades de cada especialidade na API da triagem;
  • Extração, limpeza e clusterização de dados do WPP de atendimento da 12ª e 15ª vara;
  • Adição de mensagem no fim de atendimento;
  • Configuração de um banco de dados para salvar as conversas do chatbot;
  • Correção de botões do chatbot;
  • Análise de sentimento de mensagens do WPP de atendimento, com modelo do Hugging Face;
  • Definição de métricas, índices e gráficos para os painéis BI;
  • Criação de dashboards para visualização do atendimento, sentimento e tema das mensagens;
  • Documentação da análise de atendimento;
  • Documentação das colunas e métricas utilizadas nos painéis BI.