Na Sprint 5, a equipe de Business Intelligence (BI) teve como missões: Usar o ambiente de homologação do PJe/CNJ e estudar implantação da triagem de perícias, fazer ajustes na extração de dados do CRETA, alterações no Identificador automático de petições iniciais, pipeline de retreinamento do modelo binário do Classificador da versão 1 com os novos dados, continuar com a implementação do Classificador multirrótulo, testagem do Classificador com a versão atualizada da base de dados, finalizar pipeline de versionamento, estudar Projeto Chatbot, testes de uso do CEOS com os servidores, análise exploratória dos rótulos de especialidades em cada subseção.  

Continuando da Sprint anterior, foi aprofundado um pouco mais o estudo sobre o PDPJ, reuniões foram realizadas com o TRF5 e TJMT para conhecer os requisitos e condições de uso do ambiente de desenvolvimento do PJe a ser disponibilizado no TRF, e discutir o modelo de negócio pretendido. Devido ser um processo com muitas etapas, a homologação ainda está para ser concluída mais adiante, o TRF ficou de estudar a melhor maneira de fazer a integração levando em consideração a arquitetura já existente e o fluxo de operações. Quanto aos ajustes na extração dos dados do CRETA foi feita a criação do banco para a inserção dos dados já processados, devido à grande quantidade de informações os dados ainda não foram extraídos completamente.  

Foi necessário programar um identificador de petições iniciais com o intuito de verificar nos processos judiciais se o primeiro documento é uma petição inicial, sendo necessário primeiramente extrair e rotular manualmente alguns arquivos da base antiga e da nova identificando se são petições iniciais. Após a validação, os dados foram utilizados para treinamento do modelo binário e posterior avaliação com uma assertividade de 99% em vários dos algoritmos utilizados. Quanto à missão relacionada à pipeline de retreinamento do modelo binário com os novos dados ainda está pausada devido à extração dos dados do CRETA estar em andamento.  

No classificador multirrótulo algumas mudanças foram realizadas e com isso passados os códigos de coleta, tratamento, treinamento e avaliação do modelo multirrótulo para o padrão de versionamento do DVC que definimos para os projetos de Machine Learning. Quanto à testagem do classificador foram realizadas avaliações dos modelos implementados no projeto de triagem automática de perícias, esta avaliação foi feita com os dados de julho de 2019 a fevereiro de 2022, esses dados ainda não tinham sido incorporados no treinamento desses modelos. Essa avaliação deu-se por meio do cálculo de métricas com o conjunto completo e, também, com os dados divididos em conjuntos mensais, tendo como objetivo observar o desempenho dos modelos ao longo do tempo.  

O estudo acerca do Nisia ChatBot foi iniciado tendo como base o trabalho realizado pelo ex-residente José Wadson Oliveira Silva. Primeiramente foi feita uma reunião com o mesmo para busca de mais informações sobre o projeto e realizado documentação inicial que ainda não tinha sido feita, assim como iniciado planejamento dos proximos passos. As reuniões com os servidores para coleta dos feedbacks continuaram tendo uma taxa de assertividade próxima dos 80%. Uma particularidade ocorreu em algumas varas nos processos judiciais, aonde a especialidade de Médico do Trabalho e Clinico Geral tem grande recorrência acarretando novos encontros para tentar esclarecer os motivos pelos quais tais especialidades são tão frequentes, até o momento foi constatado ser uma ação do servidor que faz a triagem, levando em consideração a seguinte prioridade na escolha respectivamente: Especialista, Médico do trabalho e por último Clínico Geral, motivados pela disponibilidade de especialistas e demanda no momento da seleção.