Como descrito a seguir, no Algoritmo [alg:aprendizado_reforco], o processo de aprendizado é iterativo, envolvendo múltiplos episódios.

1. Inicialização do agente e do ambiente: O algoritmo inicia configurando o agente e preparando o ambiente para o estado inicial, estabelecendo as condições necessárias para o começo do primeiro episódio.

2. Laço principal (enquanto t ≤ maxTimeStep): Este laço externo controla a execução de múltiplos episódios, garantindo que o aprendizado ocorra por um número predefinido de iterações. Cada iteração deste laço representa um episódio completo.

3. Inicialização do episódio: Antes de cada episódio, o ambiente é reinicializado, e os valores iniciais do estado (s_t) e da recompensa (r_t) são definidos para dar início às interações dentro do episódio.

4. Laço interno de execução do episódio (enquanto o ambiente não finalizar): O laço interno controla as interações entre o agente e o ambiente durante um episódio, repetindo as ações até que o critério de término do episódio seja atingido.

5. Atualização da política: Com base no estado atual (s_t) e na recompensa recebida (r_t), o agente ajusta sua política. Essa atualização visa aprimorar a tomada de decisão para interações futuras.

6. Escolha e execução da ação: O agente seleciona a próxima ação (a_t) de acordo com a política atual e executa essa ação no ambiente, o que resulta na modificação do estado do mesmo.

7. Execução no ambiente: Ao executar a ação, o ambiente sofre uma alteração que leva à transição para um novo estado.

8. Observação do ambiente: Após a execução da ação, o agente observa o novo estado (s_t + 1) e a recompensa resultante (r_t + 1), informações que serão utilizadas na próxima iteração.

9. Atualização das variáveis: Os valores do estado e da recompensa são atualizados: s_t passa a assumir o valor de s_t + 1 e r_t o de r_t + 1.

10. Incremento do contador de tempo: O contador t é incrementado, sinalizando o avanço para a próxima interação.

11. Finalização do episódio: Ao atingir o critério de término, o episódio é finalizado. O ambiente é encerrado e os recursos utilizados são liberados, preparando o sistema para o início de um novo episódio.

12. Retorno do agente treinado: Após a conclusão de todos os episódios, o algoritmo retorna o agente treinado, que agora possui uma política ajustada para tomar decisões de forma otimizada.

AMBIENTE DE APRENDIZADO

O ambiente no AR define o espaço onde o agente interage, determinando os estados, ações e recompensas que guiam sua aprendizagem. Segundo , sua modelagem deve representar com precisão as dinâmicas do sistema analisado, garantindo que as transições de estado e os efeitos das ações sejam condizentes com o problema estudado.

Uma abordagem para estruturar essas interações de forma controlada e replicável é a Simulação de Eventos Discretos (SED). Essa técnica permite representar a evolução do sistema por meio de mudanças discretas no tempo, possibilitando a análise de cenários dinâmicos sem necessidade de intervenção direta em um sistema real. Como a SED é amplamente utilizada para modelar processos produtivos , sua integração com AR permite que o agente aprenda a tomar decisões a partir de uma representação estruturada do ambiente, onde cada evento influencia a transição entre estados.

SIMULAÇÃO DE EVENTOS DISCRETOS

A Simulação de Eventos Discretos (SED) é uma técnica utilizada para modelar sistemas nos quais as mudanças de estado ocorrem em momentos específicos, desencadeadas por eventos discretos. Diferentemente de sistemas contínuos, onde as variáveis evoluem de forma ininterrupta ao longo do tempo, na SED as transições acontecem em pontos bem definidos, como a chegada de um cliente a um serviço ou a conclusão de uma etapa em um processo produtivo. A simulação rastreia essas mudanças e avalia seu impacto no desempenho do sistema, permitindo a análise de cenários sob diferentes condições operacionais.

De acordo com , a SED é amplamente utilizada em setores como manufatura, logística, sistemas de saúde, telecomunicações e redes de computadores. Muitos processos produtivos podem ser modelados como uma sequência de eventos discretos interdependentes, influenciando variáveis como tempo de espera, alocação de recursos e eficiência operacional. Essa característica torna a SED uma alternativa viável para representar o ambiente de aprendizado no AR, permitindo que o agente interaja com uma modelagem estruturada do sistema.

O processo de modelagem em SED envolve a definição de eventos, entidades, atributos e recursos do sistema. Um evento é qualquer ocorrência que altera o estado do sistema, como a chegada de um cliente ou a conclusão de um processamento. As entidades representam os objetos de interesse (clientes, produtos, máquinas), enquanto os atributos descrevem suas características, como o tempo de serviço ou prioridade na fila. Os recursos são os elementos necessários para a execução das atividades, como operadores ou equipamentos.

A análise dos modelos de eventos discretos é realizada por meio de simulações numéricas, em vez de soluções analíticas exatas. O modelo é executado várias vezes por meio de um software, registrando os resultados para posterior análise estatística. Essa abordagem permite avaliar o desempenho do sistema sob diferentes condições de incerteza, possibilitando a identificação de padrões e a tomada de decisões informadas para aprimorar a eficiência operacional.

O FlexSim, por sua vez, é um software construído sob a programação orientada a objetos, utilizado para modelar, simular, visualizar e monitorar processos de fluxo dinâmico. Ele permite a obtenção de dados simulados, validados estatisticamente, aplicados a sistemas complexos e incertos, possibilitando a identificação de melhorias por meio de simulações detalhadas e experimentação virtual. O FlexSim é amplamente empregado em setores como manufatura, logística, manuseio de materiais e controle de processos. Além disso, o software oferece suporte à criação de modelos em 2D, 3D e realidade virtual, facilitando a análise visual e o entendimento das operações simuladas .

Dentro do software, temos o FlexScript, uma biblioteca baseada em C++ pré-compilada, que permite que o usuário desenvolva aplicações completas e customize interfaces gráficas de usuário e bibliotecas de objetos específicos.

Graças ao seu grau de liberdade para customização, é possível estabelecer conexões externas ao software, de envio e recebimento de dados, com o Python, por exemplo, expandindo a capacidade analítica das modelagens. Para tal, a comunicação com sockets, que será explorada ao longo do trabalho, é utilizada.

PRECISÃO ESTATÍSTICA NA SED

A precisão estatística dos resultados de uma simulação depende da quantidade de réplicas e da variabilidade dos dados obtidos . Em contextos como a mistura de algodão na fiação têxtil, a variabilidade das propriedades dos fardos e das condições operacionais pode impactar diretamente a qualidade final do fio. Assim, definir corretamente o número de réplicas na Simulação de Eventos Discretos (SED) é essencial para garantir que as estimativas reflitam adequadamente o comportamento do processo produtivo.

Para estimar a média de uma métrica de interesse, como a refletância total (RD) de um lote de algodão após a mistura, o número mínimo de réplicas n pode ser calculado por:

$$n = \left( \frac{Z_{\alpha/2} \, S}{E} \right)^2 \label{eq:n_replicas}$$

Onde:

• Z_α/2 é o valor crítico da distribuição normal (ex.: 1, 96 para um nível de confiança de 95%);

• S é o desvio padrão estimado da variável analisada a partir de uma fase piloto;

• E é a margem de erro desejada na estimativa da média.

Por exemplo, suponha-se que uma execução piloto com 10 réplicas forneceu um desvio padrão de S = 2, 3 para a refletância total (RD) da mistura, e deseja-se uma margem de erro E = 0, 5 com nível de confiança de 95% (Z_0, 025 = 1, 96). Aplicando na equação:

$$n = \left( \frac{1{,}96 \times 2{,}3}{0{,}5} \right)^2 = \left( \frac{4{,}508}{0{,}5} \right)^2 \approx (9{,}016)^2 \approx 81{,}3$$

Arredondando, são necessárias 82 réplicas para garantir que a média da refletância total seja estimada com a precisão desejada.

Quando o número de réplicas é pequeno, o intervalo de confiança para a média utiliza a distribuição t de Student, dada por:

$$\bar{X} \pm t_{\alpha/2,\, n-1}\frac{S}{\sqrt{n}} \label{eq:ci_t}$$

Onde t_{α/2, n − 1} é o valor crítico para n − 1 graus de liberdade. Suponha que n = 10, S = 2, 3 e o nível de confiança seja 95%, resultando em t_{0, 025, 9} ≈ 2, 262:

$$E = 2{,}262 \times \frac{2{,}3}{\sqrt{10}} \approx 2{,}262 \times 0{,}727 \approx 1{,}645$$

Ou seja, com apenas 10 réplicas, a incerteza da estimativa é maior, exigindo um intervalo de confiança mais amplo.

Além da média, a variância da métrica também pode ser analisada. O intervalo de confiança para a variância σ² é expresso como:

$$\left( \frac{(n-1)S^2}{\chi^2_{1-\alpha/2,\, n-1}}, \frac{(n-1)S^2}{\chi^2_{\alpha/2,\, n-1}} \right) \label{eq:ci_variancia}$$

Onde χ_{α/2, n − 1}² e χ_{1 − α/2, n − 1}² são quantis da distribuição qui-quadrado com n − 1 graus de liberdade. Para n = 10 e S² = (2, 3)² ≈ 5, 29, considerando um nível de confiança de 95% com χ_{0, 025, 9}² ≈ 19, 0 e χ_{0, 975, 9}² ≈ 2, 7, os limites do intervalo são:

$$\begin{aligned} \text{Limite inferior} &= \frac{9 \times 5{,}29}{19{,}0} \approx 2{,}505, \\ \text{Limite superior} &= \frac{9 \times 5{,}29}{2{,}7} \approx 17{,}63. \end{aligned}$$

Isso significa que a variância real da refletância total (rd) da mistura está entre 2,505 e 17,63, com 95% de confiança.

A importância da aplicação rigorosa desses métodos estatísticos para a validação dos resultados da simulação é enfatizada em e , os quais reforçam o uso de análises estatísticas robustas na determinação do número de réplicas e na avaliação de medidas de desempenho.

SIMULAÇÃO DE EVENTOS DISCRETOS E APRENDIZADO POR REFORÇO

A integração entre AR e SED tem se mostrado uma abordagem promissora para resolver problemas complexos em ambientes estocásticos, como pôde-se observar na alocação de itens para armazenagem . A SED oferece uma representação precisa das operações produtivas, permitindo a simulação do fluxo de produtos, dados e recursos em um sistema. Quando integrada ao AR, essa abordagem possibilita que agentes aprendam estratégias de controle e tomada de decisão por meio de interações iterativas com o ambiente simulado, ajustando suas políticas conforme a resposta do sistema.

Um exemplo dessa abordagem é apresentado por , onde um Gêmeo Digital baseado em SED foi utilizado como ambiente de treinamento para um agente de Aprendizado por Reforço em um sistema de produção. O estudo abordou o problema de alocação de processos em linhas de produção paralelas, onde a sequência de execução dos produtos impacta diretamente na eficiência operacional. O modelo desenvolvido permitiu que o agente, treinado com os algoritmos Asynchronous Advantage Actor–Critic (A3C) e Proximal Policy Optimization (PPO), interagisse com o ambiente simulado para aprimorar a alocação de tarefas.

Os resultados mostraram que a política aprendida superou regras tradicionais de despacho, melhorando o balanceamento de carga entre as linhas e reduzindo tempos ociosos. Além disso, a estrutura baseada em Gêmeo Digital permitiu a adaptação do modelo a diferentes condições operacionais, garantindo maior flexibilidade na resposta a variações da demanda e na disponibilidade de recursos.

A comunicação entre um ambiente de simulação e um sistema de treinamento de AR requer a troca contínua de informações, permitindo que o agente interaja com o modelo simulado e ajuste suas decisões com base no comportamento observado. Para viabilizar essa interação, utilizam-se sockets, que estabelecem canais de comunicação entre diferentes processos ou aplicações. Esses canais operam sobre protocolos como TCP/IP, garantindo a transmissão de dados de forma estruturada e bidirecional.

No contexto da integração entre AR e SED, a implementação de um socket permite que o agente receba o estado do ambiente simulado, tome decisões e envie as ações de volta ao simulador. Essa estrutura viabiliza o treinamento em tempo real, onde as políticas são ajustadas iterativamente à medida que novas interações ocorrem. Além disso, a separação entre ambiente de simulação e algoritmo de aprendizado proporciona flexibilidade na modelagem do problema, possibilitando a substituição ou ajuste de componentes sem comprometer a estrutura geral do sistema.

O uso dessa abordagem é particularmente relevante em cenários onde a modelagem direta do ambiente real não é viável, seja por questões operacionais, custos ou riscos associados à experimentação.

Na Figura 2.2, há uma representação visual de como essa conexão ocorre, orientada ao AR.

GÊMEO DIGITAL

O conceito de Gêmeo Digital foi originalmente proposto por Michael Grieves em 2002, durante uma apresentação na Universidade de Michigan sobre Product Lifecycle Management (PLM), onde foi denominado como "Mirrored Spaces Model" e, posteriormente, "Information Mirroring Model" . Desde então, esse conceito evoluiu significativamente e passou a ser amplamente adotado em diversas indústrias. Inicialmente, o Gêmeo Digital foi aplicado em áreas como militar e aeroespacial, sendo adotado pela NASA em projetos de exploração espacial e veículos de próxima geração. Atualmente, o conceito é amplamente utilizado em setores como manufatura, energia e infraestrutura urbana, integrando o mundo físico e digital de maneira robusta.

Essa tecnologia permite a criação de uma réplica digital de um sistema físico, possibilitando monitoramento, simulação e otimização em tempo real, o que resulta em maior eficiência operacional e redução de custos. Nos últimos anos, a relevância do Gêmeo Digital tem sido amplamente reconhecida, sendo destacada como uma das principais tendências tecnológicas estratégicas.

Em relação à sua caracterização, podemos pensá-lo em relação à sua dimensão, assim como é proposto por :

• Dimensão Geométrica: Representa a forma, o tamanho e a estrutura do objeto no ambiente virtual;

• Dimensão Física: Inclui as propriedades físicas do objeto, como massa, resistência e outras características relacionadas ao desempenho no mundo real;

• Dimensão Comportamental: Refere-se à resposta do sistema a estímulos e eventos, tanto em condições normais quanto em situações não usuais;

• Dimensão de Regras: Baseia-se em dados históricos e conhecimento acumulado, permitindo ao Gêmeo Digital identificar padrões, prever eventos e otimizar processos.

A funcionalidade de um Gêmeo Digital, entretanto, não se limita à sua representação geométrica, física, comportamental ou lógica. Seu impacto depende do nível de integração com o sistema físico e da capacidade de interpretar dados para gerar insights relevantes. Nesse sentido, sua aplicabilidade é determinada pelo grau de maturidade do modelo, que define a extensão da conectividade e do controle sobre o ambiente real.

MATURIDADE DO GÊMEO DIGITAL

Os níveis de maturidade de um Gêmeo Digital variam conforme o desenvolvimento das capacidades associadas ao uso de dados e ao controle do processo físico representado. De acordo com , esses níveis estão estruturados de forma progressiva, indo de uma fase inicial, onde há pouca ou nenhuma conexão entre o sistema físico e o digital, até um estágio avançado de autonomia total. São cinco os níveis principais de maturidade que descrevem a evolução de um Digital Twin.

O conceito de Gêmeo Digital é comumente descrito como uma representação virtual de um ativo físico, integrando dados e processos bidirecionais entre ambos . Essa definição reforça a ideia de um ciclo contínuo de coleta, processamento e aplicação de informações, destacando os níveis progressivos de maturidade.

No nível 0, "No Twin", o Gêmeo Digital não está implementado. Há medições disponíveis, mas elas são isoladas e sem integração entre sensores e dados do mundo físico. Modelos teóricos ou físicos podem existir, mas sem conexão com dados reais, limitando sua aplicabilidade operacional.

No nível 1, "Status", o Gêmeo Digital é descritivo, coletando dados em tempo real e apresentando informações sobre o estado atual do ativo físico. Essa fase limita-se à visualização de dados, sem análise avançada.

No nível 2, "Informativo", o Gêmeo Digital combina dados históricos e em tempo real. Essa integração permite identificar tendências e comparar o desempenho com padrões ou metas previamente estabelecidas, fornecendo mais contexto para a tomada de decisão.

No nível 3, "Preditivo", o Gêmeo Digital utiliza modelos matemáticos ou de aprendizado de máquina para prever o comportamento futuro do ativo com base em dados coletados. Essa etapa permite antecipar falhas e aprimorar, ou otimizar, decisões por meio de simulações.

No nível 4, "Exploratório", o Gêmeo Digital avalia cenários hipotéticos, ajudando a analisar o impacto de diferentes decisões. Nesta fase, o sistema suporta a escolha das melhores ações, ajustando parâmetros operacionais conforme necessário.

No nível 5, "Autônomo", o Gêmeo Digital atua de forma independente, realizando previsões, aprimorando ou otimizando processos e executando ações automaticamente para atingir os melhores resultados. Essa fase elimina a necessidade de intervenção humana direta no controle do processo de tomada de decisão.

SISTEMA DE INFORMAÇÕES GERENCIAIS

A fim de centralizar, automatizar e atualizar as informações dos fardos em estoque e as misturas passadas e futuras, um Sistema de Informações Gerenciais é proposto. Este sistema integra os processos de registro, análise e distribuição das informações.

Sistemas de informações gerenciais representam uma abordagem centrada na arquitetura para o desenvolvimento de sistemas de informações empresariais. Eles incorporam três principais visões: funcional, estrutural e comportamental. A visão funcional descreve o comportamento externo do sistema, enquanto a visão estrutural representa os componentes internos do sistema e suas inter-relações. A visão comportamental captura os aspectos dinâmicos do sistema, demonstrando como os objetos e componentes interagem para realizar os processos de negócios .

DIAGRAMA SEQUENCIAL

Os diagramas de sequência representam a interação temporal entre os componentes de um sistema em um cenário específico. Para o Sistema de Informações Gerenciais, o diagrama sequencial desempenha as seguintes funções:

• Representar as trocas de informações entre os componentes do sistema (ex.: Banco de Dados, FlexSim, SIG e Misturador);

• Demonstrar o fluxo operacional, do registro de fardos até a atualização dos estoques;

• Identificar gargalos ou falhas na comunicação entre os sistemas, como atrasos na transmissão de dados via protocolos como MODBUS ou SQLAPI++;

• Alinhar os aspectos funcionais, estruturais e comportamentais do sistema, garantindo a modelagem de acordo com os requisitos do negócio.

O diagrama sequencial para o Sistema de Informações Gerenciais está apresentado na Figura 6.1. Ele mostra o ciclo completo de operações, desde o registro dos fardos pelo funcionário até a execução da mistura no misturador e a subsequente atualização dos estoques no Banco de Dados.

Os Diagramas Sequenciais permitem aos analistas representarem o comportamento dinâmico de um sistema, enfocando a interação temporal entre os objetos envolvidos. Eles são utilizados para modelar a colaboração entre atores e objetos, facilitando a validação de casos de uso e requisitos funcionais .

Um diagrama de sequência, no contexto do trabalho, é composto por:

• Atores e objetos: representam as entidades que participam da interação. No sistema, incluem-se o Funcionário, o Banco de Dados Central, o FlexSim, o SIG e o Misturador;

• Mensagens: indicam as interações entre os componentes, como consultas ao Banco de Dados ou comandos enviados via protocolo MODBUS;

• Linha de Vida: denota a existência de um objeto durante a sequência de interações;

• Retângulos de Execução: indicam quando um objeto está ativo, enviando ou processando mensagens.

As etapas representadas são:

1. O funcionário registra os fardos no Sistema de Gestão de Fardos;

2. O sistema atualiza o Banco de Dados Central com as informações dos fardos;

3. O Banco de Dados transmite os dados atualizados para o FlexSim, que processa a solução de mistura usando AR;

4. A solução é enviada ao SIG, que é consultado para arranjar o Misturador, que executará a mistura;

5. Após a execução, o FlexSim atualiza os estoques no Banco de Dados, reiniciando o ciclo.

PROTOCOLOS DE COMUNICAÇÃO EM GÊMEOS DIGITAIS

O protocolo MODBUS, por exemplo, é amplamente utilizado em indústrias para facilitar a comunicação entre dispositivos, como Controladores Lógicos Programáveis (CLPs) e sistemas de supervisão. Ele é um protocolo de comunicação serial aberto, desenvolvido em 1979, que se destaca por ser simples de implementar e por ser compatível com diversas mídias de comunicação, como RS-232, RS-485, Ethernet e até mesmo redes sem fio .

A comunicação MODBUS pode ser realizada de duas formas principais: MODBUS RTU e MODBUS TCP. O MODBUS RTU opera em redes seriais, utilizando geralmente RS-232 ou RS-485 como meio físico. No RS-232, a comunicação ocorre de maneira duplex (envio e recebimento simultâneos), enquanto no RS-485, a comunicação é half-duplex, ou seja, envio e recebimento ocorrem de forma alternada. Já o MODBUS TCP, aplicado no trabalho, utiliza o protocolo TCP/IP sobre redes Ethernet, permitindo uma comunicação mais rápida e eficiente, especialmente em grandes redes industriais.

Um aspecto importante da implementação do MODBUS é o modelo cliente-servidor. No MODBUS TCP, o cliente é quem solicita informações ou envia comandos, enquanto o servidor responde a essas solicitações. Essa relação pode ser flexível e, em muitos casos, reversível, dependendo do contexto de uso. Como dito, essa relação será explorada em ambas as vias.

MÉTODO DE PESQUISA

A pesquisa deste trabalho fundamenta-se na abordagem de Modelagem e Simulação, amplamente aplicada na Engenharia de Produção e na Gestão de Operações . Esta metodologia permite analisar, projetar e aprimorar sistemas produtivos de bens e serviços, garantindo robustez e flexibilidade na tomada de decisão.

Para representar as etapas do processo de pesquisa empregados no presente trabalho, etapas exclusivas do Método de Modelagem foram usadas em conjunto com etapas exclusivas do Método de Simulação:

1. Definição do Problema: um dos objetivos é propor um método alternativo à programação matemática para resolver o problema da mistura de algodão na fiação têxtil. Para isso, algoritmos de Aprendizado por Reforço (AR) como DQN, A3C e TRPO foram considerados, mas, devido à sua robustez em ambientes incertos, o PPO foi o escolhido. Sabe-se que, quando o PPO é aplicado em ambientes estáticos, seu desempenho é inferior ao observado em ambientes dinâmicos.

2. Coleta de Dados e Definição do modelo Conceitual: os dados usados no modelo estático são aqueles do trabalho de . Para o modelo dinâmico, os mesmos dados foram usados, porém incorporando aleatoriedades de diferentes naturezas.

3. Construção do modelo: as restrições do modelo matemático original foram incorporadas implicitamente ao AR, direcionando o comportamento do agente por meio das recompensas, que por sua vez foram definidas com base na função objetivo do problema analisado. A simulação, por sua vez, foi construída incorporando características comuns à organização do processo produtivo.

4. Solução do modelo: o PPO, utilizando o modelo de simulação como ambiente de aprendizado, resolve o problema de forma iterativa.

5. Validação do modelo: o modelo matemático apresenta soluções ótimas para o problema, é possível comparar diretamente o desempenho do AR e avaliar sua performance em relação ao modelo exato.

6. Implementação da Solução: no protocolo de Gêmeo Digital Autônomo proposto, a implementação final consiste na inferência do modelo de AR treinado, processando novos fardos de algodão registrados no sistema.

MODELO MATEMÁTICO

A fim de validar o método alternativo de aprimoramento a ser proposto, emprega-se o modelo matemático desenvolvido por como parâmetro de comparação. Esse modelo fornece soluções ótimas ao problema e será usado como benchmark para avaliar a eficácia da abordagem alternativa proposta.

Entre as diversas formulações apresentadas no referido trabalho, opta-se especificamente por aquela dedicada a auxiliar a decisão na escolha de fardos em estoque com base em características não categorizáveis. Essa seleção justifica-se porque tais características exercem impacto direto na qualidade final do produto e exigem maior precisão no momento da mistura.

Em seguida, detalham-se os tipos de características do algodão classificados como não categorizáveis. Cada uma dessas propriedades deve ser considerada e respeitada em sua média na mistura, de modo que o resultado atenda às especificações pré-estabelecidas pela empresa.

O objetivo consiste em fazer com que a média de cada característica atinja um valor-alvo específico, de forma a minimizar a diferença entre as médias obtidas na mistura e o alvo, garantindo que o produto atenda aos padrões de qualidade definidos.

Considerando as características +b, rd e Micronaire a serem controladas, definem-se os seguintes elementos do modelo:

Parâmetros:

• +b_p = valor de +b nos fardos da procedência p.

• rd_p = valor de rd nos fardos da procedência p.

• m_p = valor de m (Micronaire) nos fardos da procedência p.

• E_p = quantidade de fardos de procedência p em estoque.

• D_k = número total de fardos utilizados na mistura k.

• Q_k = quantidade de repetições na mistura k.

• (+b) = valor-alvo para a característica +b na mistura.

• (rd) = valor-alvo para a característica rd na mistura.

• (m) = valor-alvo para a característica m (Micronaire) na mistura.

• λ^+b = peso de normalização da característica +b.

• λ^rd = peso de normalização da característica rd.

• λ^m = peso de normalização da característica m.

Variáveis de decisão:

• X_pk = quantidade de fardos de procedência p utilizados na mistura k.

• A_k = diferença absoluta entre a média de +b na mistura k e o valor-alvo.

• B_k = diferença absoluta entre a média de rd na mistura k e o valor-alvo.

• C_k = diferença absoluta entre a média de m na mistura k e o valor-alvo.

A seguir, apresentam-se as diferenças entre as médias de cada característica para uma mistura k. O termo dentro do valor absoluto é a subtração entre a média da nova mistura (primeiro termo) e o valor-alvo que se deseja atingir (segundo termo).

$$\left| \frac{\sum_{p=1}^{P} (+b_p * X_{pk})}{D_k} - (+b) \right| = A_k$$

$$\left| \frac{\sum_{p=1}^{P} (rd_p * X_{pk})}{D_k} - (rd) \right| = B_k$$

$$\left| \frac{\sum_{p=1}^{P} (m_p * X_{pk})}{D_k} - (m) \right| = C_k$$

Como A_k, B_k e C_k são resultados de grandezas distintas, torna-se imprescindível ponderar cada diferença para evitar que uma característica sobreponha as outras na busca pela solução ótima. Para tanto, atribuem-se pesos de normalização, conforme segue:

• λ^+b = peso para normalizar a grandeza +b.

• λ^rd = peso para normalizar a grandeza rd.

• λ^m = peso para normalizar a grandeza m.

Para definição desses pesos, utiliza-se a média da característica observada nos fardos em estoque:

$$\lambda = \frac{1}{\text{média da característica nos fardos em estoque}}$$

A função objetivo minimiza as diferenças absolutas entre as médias das características +b, rd e m nas misturas e os valores-alvo, ponderadas pelos pesos normalizadores λ. É definida como:

$$\text{Minimizar } \sum_{k=1}^{K} \left( \lambda^{+b} \cdot A_k + \lambda^{rd} \cdot B_k + \lambda^{m} \cdot C_k \right) \cdot Q_k$$

As diferenças absolutas das características +b, rd e m em relação aos valores-alvo são definidas pelas seguintes restrições:

$$A_k \geq \frac{\sum_{p=1}^{P} (+b_p \cdot X_{pk})}{D_k} - (+b), \quad \forall k$$

$$A_k \geq (+b) - \frac{\sum_{p=1}^{P} (+b_p \cdot X_{pk})}{D_k}, \quad \forall k$$

A_k ≥ 0,  ∀k

$$B_k \geq \frac{\sum_{p=1}^{P} (rd_p \cdot X_{pk})}{D_k} - (rd), \quad \forall k$$

$$B_k \geq (rd) - \frac{\sum_{p=1}^{P} (rd_p \cdot X_{pk})}{D_k}, \quad \forall k$$

B_k ≥ 0,  ∀k

$$C_k \geq \frac{\sum_{p=1}^{P} (m_p \cdot X_{pk})}{D_k} - (m), \quad \forall k$$

$$C_k \geq (m) - \frac{\sum_{p=1}^{P} (m_p \cdot X_{pk})}{D_k}, \quad \forall k$$

C_k ≥ 0,  ∀k

As restrições de demanda e estoque garantem que o total de fardos utilizados satisfaça a demanda e respeite os limites do estoque disponível:

$$\sum_{p=1}^{P} X_{pk} = D_k, \quad \forall k$$

$$\sum_{k=1}^{K} (X_{pk} \cdot Q_k) \leq E_p, \quad \forall p$$

Por fim, o domínio das variáveis define que X_pk, a quantidade de fardos de procedência p na mistura k, seja um número inteiro não negativo:

X_pk ∈ ℤ⁺,  ∀p, ∀k

ATUALIZAÇÃO DO ESTOQUE

No modelo matemático empregado, a otimização busca determinar a mistura ideal com base exclusivamente no estoque disponível no momento da resolução, sem considerar a evolução dos estoques ou decisões em períodos futuros.

Em cada iteração, o modelo resolve o problema de mistura, calculando as quantidades de fardos X_pk a serem utilizados. Após a obtenção da solução, os estoques são ajustados, subtraindo-se os fardos consumidos, e o processo é repetido até que não haja mais uma solução factível, com os resultados sendo registrados a cada etapa.

REPETIÇÃO DAS MISTURAS

O parâmetro Q_k define o número de vezes que uma determinada mistura k deve ser repetida. Alterar o valor de Q_k possibilita diferentes estratégias de otimização. Por exemplo, ao definir Q_k > 1, impõe-se uma repetição fixa para cada mistura, o que pode ser útil em cenários onde se busca uniformidade na produção ou quando há restrições logísticas que favoreçam um número constante de misturas. Por outro lado, valores menores de Q_k, como Q_k = 1, flexibilizam a abordagem, permitindo maior variação nas combinações e adaptando as misturas conforme a disponibilidade de estoque e as condições de qualidade exigidas.

Além disso, controlar Q_k pode impactar diretamente na estabilidade das características médias ao longo do processo produtivo. Um Q_k maior tende a gerar lotes mais homogêneos ao custo de reduzir a diversidade de misturas. Já Q_k menores promovem maior variação, o que pode ser vantajoso em situações onde a prioridade é atender à demanda com máxima eficiência no uso dos estoques disponíveis.

Na solução alternativa proposta, bem como na configuração do modelo matemático, opta-se por definir Q_k = 1. Dessa forma, não se estabelece um número fixo de repetições para as misturas, permitindo que estas possam se repetir, mas sem que isso seja uma restrição no modelo.

ESTOQUE INICIAL E VALOR-ALVO

A Tabela 4.1 apresenta a média aritmética para todas as procedências em estoque, para cada característica estudada (rd, +b e Micronaire), o valor-alvo adotado (definido internamente pela empresa estudada, no trabalho de ) e os respectivos pesos normalizadores, obtidos a partir do inverso das médias de cada uma das características, a fim de remover as diferentes ordens de grandeza para a formulação da função objetivo.

MODELO DE APRENDIZADO POR REFORÇO

Diferentemente da programação matemática, o AR resolve problemas explorando o ambiente por tentativa e erro, sem restrições explícitas. O comportamento do agente é guiado por uma função de recompensa, que avalia suas ações com base em condições pré-estabelecidas e atribui um feedback correspondente. As restrições do problema são implicitamente representadas pela função de recompensa: ações que levam a soluções infactíveis recebem feedbacks negativos, enquanto as factíveis são positivamente recompensadas, proporcionalmente ao objetivo do problema.

A função objetivo de um modelo matemático pode ser representada na função de recompensa do AR, retornando valores que reflitam o objetivo do problema. Embora o AR não exija estritamente que esses valores sejam contínuos, ele se beneficia significativamente dessa característica. Por exemplo, em um problema de otimização de custos, uma função de recompensa que atribui valores proporcionais ao custo total da solução — quanto menor o custo, maior a recompensa — facilita que o agente ajuste suas ações progressivamente, identificando políticas mais eficientes ao longo do tempo.

Se a recompensa for discretizada, como ao atribuir "1" para ações viáveis e "0" para inviáveis, o agente ainda pode aprender, mas sua capacidade de distinguir soluções boas de ótimas será reduzida, potencialmente retardando a convergência para uma solução de alta qualidade.

DISCRETIZAÇÃO

Por ser um método iterativo de melhoria que utiliza a simulação de eventos discretos como ambiente de aprendizado, a demanda computacional é significativa. Para isso, testes computacionais foram realizados para encontrar o valor mínimo de discretização viável.

O problema, em sua forma integral, considera 150 fardos em cada mistura, resultando em 150 variáveis de decisão no campo das ações e, para cada uma delas, 60 valores de procedências possíveis. Para reduzir a demanda computacional, foram testadas discretizações reduzindo a quantidade de fardos por mistura, com valores de 75 fardos (D = 2), 50 fardos (D = 3), 30 fardos (D = 5), 25 fardos (D = 6) e 15 fardos (D = 10). Para preservar a natureza do problema, a quantidade de itens em estoque para cada procedência também foi proporcionalmente reduzida, dividindo-a pelo valor de D.

ABORDAGEM ESTÁTICA E DETERMINÍSTICA

Para validar diretamente as soluções encontradas pelo AR em relação ao modelo matemático, o problema é modelado com premissas estáticas e determinísticas.

Nesse cenário, o estoque inicial é fixo, sem renovação, e todas as variáveis do processo são consideradas conhecidas e imutáveis, eliminando incertezas. Os mesmos dados utilizados no modelo matemático são reaproveitados, incluindo os valores de estoque das procedências, suas respectivas características e os valores-alvo previamente definidos.

Dito isso, o problema é tratado, inicialmente, da seguinte forma:

• Ações: escolha das procedências dos fardos a serem misturados (150 no total) no período t.

• Observações: registro dos fardos escolhidos no período anterior (t − 1).

• Recompensa: valor inversamente proporcional à função objetivo, variando entre 0 e 1.

A recompensa é definida como:

$$R = \frac{1}{1 + \text{FO}}$$

FO representa o valor da função objetivo, calculado com base na diferença do valor das propriedades rd, +b e Micronaire em relação aos valores-alvo. Quando FO é igual a zero, as propriedades atingem exatamente os valores-alvo, resultando no valor máximo de R = 1. À medida que FO aumenta, indicando desvios crescentes em relação aos alvos, o valor de R tende a zero, desincentivando soluções distantes dos objetivos estabelecidos.

Do ponto de vista das restrições do problema, no AR, não se pode impô-las diretamente ao agente, como ocorre em modelos matemáticos. Ao contrário disso, a função de recompensa e o ambiente de aprendizado devem ser construídos para representar as limitações e requisitos do problema real.

Em um modelo matemático, as restrições são definidas de forma exata: soluções que violam essas restrições são automaticamente descartadas pelo otimizador, garantindo que apenas resultados factíveis sejam considerados. Por exemplo, se uma restrição determina que a soma das variáveis deve ser menor ou igual a um limite específico, qualquer solução que exceda esse limite será rejeitada sem uma avaliação gradual.

No AR, adotar essa abordagem direta é contraproducente para o aprendizado do agente. Se todas as violações forem tratadas como igualmente infactíveis, atribuindo-se um mesmo valor de punição a todas elas, o agente não consegue distinguir entre violações graves e leves. Isso dificulta sua capacidade de ajustar as ações para se aproximar de soluções factíveis.

Para contornar esse problema, a função de recompensa deve incluir incentivos graduais que penalizem o agente proporcionalmente à gravidade das violações das restrições.

RL I: FUNÇÃO DE RECOMPENSA PADRÃO

Nesta abordagem inicial, a recompensa é definida como inversamente proporcional à função objetivo (FO), que mede os desvios das características rd, +b, e Micronaire em relação aos valores-alvo. Adicionalmente, uma penalização fixa de −1 é aplicada quando a mistura contém menos fardos do que o esperado (D_k < Esperado). A recompensa é representada por:

$$R = \frac{1}{1 + \text{FO}} - \delta(D_k < \text{Esperado})$$

O termo δ(D_k < Esperado) é definido como: $$\delta(D_k < \text{Esperado}) = \begin{cases} 1, & \text{se } D_k < \text{Esperado}, \\ 0, & \text{caso contrário.} \end{cases}$$

A natureza binária da penalização reflete diretamente a implementação no código, onde uma instrução condicional (if) avalia se a quantidade de fardos na mistura está abaixo do valor esperado.

RL II: PUNIÇÃO PROPORCIONAL ÀS PROPRIEDADES DISTANTES DO ALVO E OBSERVAÇÃO DO ESTOQUE

Nesta versão, além das características do RL I, é adicionada uma penalização proporcional à distância percentual de cada propriedade (+b, rd e Micronaire) em relação aos valores-alvo. Adicionalmente, o agente recebe como observação a quantidade de fardos restantes no estoque para cada procedência, permitindo melhores ajustes considerando o horizonte de planejamento, de forma que irá associar determinadas ações às condições do estoque após o treinamento. A recompensa é reformulada como:

$$R = \frac{1}{1 + \text{FO}} - \delta(D_k < \text{Esperado}) - \sum_{i \in \{rd, +b, m\}} \Delta_i$$

Onde: $$\Delta_i = \begin{cases} \frac{x}{100}, & \text{se } \left| \text{Propriedade}_{\text{atual}} - \text{Propriedade}_{\text{alvo}} \right| > x\%, \\ 0, & \text{caso contrário.} \end{cases}$$

Essa modificação incentiva o agente a minimizar gradativamente os desvios das propriedades-alvo e a respeitar os limites de quantidade de fardos esperados, enquanto a observação do estoque possibilita decisões mais informadas. Ademais, ainda é possível definir qual o melhor valor de x para o aprendizado do agente.

RL III: AUMENTO DA PUNIÇÃO PARA SOLUÇÕES INFACTÍVEIS

Com base no RL II, esta versão aumenta a penalização para misturas que contenham menos fardos do que o esperado, passando de −1 para −2. Esse ajuste reforça a importância de atender à restrição de quantidade total de fardos, diferenciando-a das penalizações proporcionais associadas aos desvios das características rd, +b e Micronaire. A recompensa é reformulada como:

$$R = \frac{1}{1 + \text{FO}} - \delta(D_k < \text{Esperado}) \cdot 2 - \sum_{i \in \{rd, +b, m\}} \Delta_i$$

A principal modificação em relação ao RL II é o aumento da penalização fixa para soluções infactíveis relacionadas à quantidade total de fardos. Essa distinção atribui maior prioridade a essa restrição, indicando que, no contexto do problema, soluções com menos fardos que o esperado são significativamente mais prejudiciais ao sistema do que desvios moderados nas características-alvo.

RL IV: INCLUSÃO DE DOIS PERÍODOS DE DEFASAGEM NAS OBSERVAÇÕES

Neste modelo, o histórico de decisões do agente é expandido para incluir informações do período anterior (t − 2), além do período mais recente (t − 1). Isso permite que o agente aprenda padrões mais complexos e ajuste ações com base em decisões passadas.

RL V: AUMENTO EXTREMO DAS PUNIÇÕES EM SOLUÇÕES INFACTÍVEIS

Nesta versão, a penalização fixa para misturas com menos fardos do que o esperado é elevada de −2 para −33. Esse valor é suficientemente alto para que soluções infactíveis com relação à quantidade de fardos no misturador neutralizem todas as recompensas acumuladas em outras soluções factíveis. O objetivo é forçar o agente a evitar completamente soluções que violem esta restrição crítica. A recompensa é formulada como:

$$R = \frac{1}{1 + \text{FO}} - \delta(D_k < \text{Esperado}) \cdot 33 - \sum_{i \in \{rd, +b, m\}} \Delta_i$$

RL VI: RECOMPENSA EXTRA PARA FO = 0

Nesta versão, um incentivo adicional é introduzido para reforçar soluções que atingem exatamente os valores-alvo das propriedades (rd, +b e Micronaire), ou seja, quando FO = 0. Este incremento adiciona uma recompensa fixa de +2, criando um estímulo significativo para que o agente priorize a busca por soluções ótimas nas misturas iniciais. A recompensa é formulada como:

$$R = \frac{1}{1 + \text{FO}} + \beta(\text{FO} = 0) \cdot 2 - \delta(D_k < \text{Esperado}) \cdot 2 - \sum_{i \in \{rd, +b, m\}} \Delta_i$$

O incentivo adicional para FO = 0 diferencia soluções ótimas de outras factíveis, incentivando o agente a maximizar a qualidade das misturas.

RL VII: OBSERVAÇÃO BINÁRIA DO ESTOQUE

Nesta versão, a observação do ambiente foi ajustada para incluir uma variável binária associada a cada procedência, indicando a presença (1) ou ausência (0) de fardos em estoque. Esse ajuste foi implementado para comparar o desempenho do modelo ao utilizar essa representação binária com a abordagem anterior, que fornecia as quantidades de fardos restantes em valores inteiros.

A estrutura da recompensa segue a mesma do RL VI, com o incentivo para soluções ótimas e penalizações por desvios e soluções infactíveis.

TESTES COM O HIPERPARÂMETRO clip_range

No PPO, o hiperparâmetro clip_range, correlato à técnica de clipping, influencia diretamente a estabilidade e a eficiência do treinamento. Este parâmetro controla o tamanho máximo da atualização permitida na política do agente, evitando alterações que poderiam levar a instabilidades ou perda de desempenho durante o aprendizado .

O clip_range define o intervalo permitido para o valor da razão entre as probabilidades da política atual e da política anterior para as ações realizadas. Se essa razão ultrapassar o limite definido (1 ± ϵ, onde ϵ é o valor de clip_range), a atualização é truncada para evitar mudanças excessivas.

Para avaliar o impacto do clip_range no desempenho do agente, testes foram realizados utilizando o modelo RL III com os seguintes valores: 0, 1, 0, 2 (padrão), 0, 5 e 1, 0.

ABORDAGEM DINÂMICA E ESTOCÁSTICA

O estoque inicial, anteriormente conhecido, passa a ser construído de forma aleatória. As quantidades totais de fardos em estoque permanecem inalteradas; no entanto, as proporções de cada procedência são definidas por meio de um sorteio. Além disso, é estabelecido um tempo de processamento para o processo de mistura, que consome o estoque disponível, bem como um intervalo entre cada reposição desse estoque. Ambas as taxas são fictícias, sendo modeladas por uma distribuição Normal de probabilidade, com o mesmo desvio padrão e uma média ajustada de modo a manter o equilíbrio do sistema ao longo do tempo, considerando misturas com quantidades factíveis de fardos.

O equilíbrio do sistema é definido por:

• C – número fixo de fardos consumidos por mistura;

• T_m – tempo médio de processamento de uma mistura;

• T_r – tempo médio entre reposições do estoque;

• R – número de fardos repostos por chegada.

Embora R seja sorteado a cada reposição, a longo prazo, sua média tende a uma expectativa estatística baseada na distribuição do estoque inicial. Assim, o equilíbrio é expresso por:

$$\frac{C}{T_m} = \frac{\mathbb{E}[R]}{T_r}$$

Isolando T_r, obtém-se:

$$T_r = \frac{\mathbb{E}[R]}{C} \cdot T_m$$

Logo, para manter o sistema balanceado, o tempo entre reposições T_r deve ser ajustado proporcionalmente ao tempo de mistura T_m, levando em conta a expectativa da quantidade de fardos repostos.

Assumindo que R segue uma distribuição normal 𝒩(μ_R, σ²), a relação esperada entre os tempos é:

$$\mu_{T_r} = \frac{\mu_R}{C} \cdot \mu_{T_m}$$

Onde μ_Tr representa a média do tempo entre reposições e μ_Tm a média do tempo de mistura.

A chegada de novos fardos, por sua vez, utiliza a distribuição do estoque inicial como referência para definir as probabilidades de seleção das procedências. No modelo estático e determinístico, o estoque inicial era previamente conhecido, contendo 60 procedências, cada uma com quantidades distintas. No entanto, no modelo atual, a chegada de fardos é aleatória, sorteando-se X procedências e suas respectivas quantidades a cada chegada.

A quantidade de procedências X sorteadas em cada chegada é definida de modo a respeitar o equilíbrio do sistema a longo prazo, conforme estabelecido pela relação entre o tempo de processamento das misturas T_m e o tempo entre reposições T_r.

As propriedades dos fardos escolhidos, como rd, +b e Micronaire, são ajustadas de forma aleatória dentro de uma faixa de variação de −10% a +10% em relação aos valores originais.

P = P₀ + U(−0.1P₀, 0.1P₀)

Onde:

• P – valor ajustado da propriedade do fardo;

• P₀ – valor original da propriedade;

• U(−0.1P₀, 0.1P₀) – variação aleatória uniforme de até ±10% do valor original.

MODELO DE SIMULAÇÃO

A fim de integrar todas as premissas propostas para o ambiente de aprendizado, bem como outras ferramentas de conectividade de dados, o simulador de eventos discretos e gêmeo digital FlexSim é utilizado.

Por se tratar de um software com permissividade de representação gráfica tridimensional do processo, é possível incorporar customizações visuais que aproximam a simulação do contexto real, facilitando a compreensão das soluções propostas a posteriori.

Nesta seção, será tratado apenas do modelo de simulação referente à segunda abordagem discutida, que incorpora a aleatoriedade ao processo.

Na Figura 5.1 temos a representação de um fardo de algodão e de parte do processo de fiação têxtil, considerando 34 baias de estoque (Box) e um misturador.

O simulador se divide em duas partes distintas: Model 3D e Process Flow. Ambas seguem os princípios da Programação Orientada a Objetos , sendo a primeira voltada a objetos físicos tridimensionalmente representados e conectados por um fluxo, enquanto a segunda é abstrata, organizada por blocos e complementar à primeira.

Dado que o Process Flow permite maior liberdade para a modelagem da simulação, o Model 3D se restringe apenas para às lógicas de direcionamento do fluxo visto na Figura 5.2.

Para dar início ao fluxo, os fardos são gerados a partir do Process Flow, onde lógicas de sorteio e atribuição de propriedades são ativadas por um token circulante. O fluxo é estruturado em duas partes principais: a primeira reproduz o estoque inicial da abordagem estática e determinística, além de gerar novas chegadas ao longo do tempo, realizando o sorteio dos fardos e de suas respectivas propriedades; a segunda gerencia as portas de entrada e saída dos boxes e do misturador, garantindo a sincronização do fluxo sequencial dos estados do sistema e sua integração com os gatilhos do AR. Na Figura 5.3, isso pode ser observado.

Assim que os fardos são gerados como objetos na simulação, eles são alocados nas baias de armazenamento de acordo com uma lógica que busca racionalizar a organização dos boxes de estoque e seus respectivos fardos.

Inicialmente, verifica-se se existe uma baia que já contenha itens da mesma procedência do novo item. Caso exista e a quantidade de itens nessa baia esteja dentro do limite permitido, o item é alocado nela. Caso contrário, busca-se uma baia vazia para armazená-lo. Se não houver baias vazias disponíveis, o item é direcionado para a baia que possui a menor quantidade de itens, garantindo uma distribuição equilibrada da carga de armazenamento. O Algoritmo [alg:alocacao_balanceada] evidencia essas relações.

O algoritmo recebe um item it e uma lista de baias bx, retornando o índice do box selecionado selBx. Inicialmente, são definidas as seguintes variáveis:

• nBx: número total de boxes contidos na lista bx;

• selBx: inicialmente definido como 0, indicando que nenhum box foi escolhido;

• limite: calculado como o dobro do número total de boxes, estabelecendo o teto de ocupação aceitável para um box;

• proc: procedência do item it;

• minQtd: inicializado com ∞, utilizado para identificar o box com a menor quantidade de itens.

Em seguida, o algoritmo utiliza três critérios para selecionar a baia:

• Critério 1 – Alocação por procedência: O algoritmo percorre a lista de boxes e, para cada box b, verifica se ela já contém itens com a mesma procedência do item (através da função possuiProc(b, proc)) e se a quantidade de itens no box, obtida por tamanho(b), é inferior ao limite estabelecido. Se ambas as condições forem satisfeitas, o box é imediatamente selecionado e seu índice é retornado.

• Critério 2 – Busca por box vazio: Se nenhum box atender ao Critério 1, o algoritmo procura por um box que esteja completamente vazio, isto é, para o qual tamanho(bx[i]) = 0. A escolha de um box vazio permite iniciar a alocação sem interferência de itens previamente alocados.

• Critério 3 – Seleção pela menor ocupação: Caso os dois primeiros critérios não resultem na seleção de um box, o algoritmo percorre novamente todos os boxes para identificar aquele com a menor quantidade de itens. Durante essa etapa, a variável minQtd é atualizada e o box com a menor carga é selecionado.

Por fim, o algoritmo retorna o índice da baia selecionada (selBx), determinando assim onde o item it deverá ser alocado. As funções tamanho(bx[i]) e possuiProc(b, proc) são responsáveis, respectivamente, por retornar a quantidade de itens presentes em uma baia e por verificar se a procedência proc já se encontra na baia b.

SISTEMA DE INFORMAÇÕES GERENCIAIS

O sistema de informações gerenciais desempenha um papel essencial neste protocolo, pois, após o treinamento do agente por meio da simulação para tomar decisões informadas, busca-se a incorporação de dados reais do sistema. Nesse estágio, a aleatoriedade inerente à simulação é substituída pelo comissionamento virtual, permitindo uma operação baseada em informações concretas e representativas do ambiente real.

Como visto na Figura 6.1, o SIG se relaciona com o protocolo como uma interface entre o ambiente físico e o digital, sendo por ele que se introduz e recebe as informações pertinentes ao auxílio na tomada de decisão.

O sistema em Python utiliza Flask, SQLAlchemy e um servidor MODBUS para gerenciar procedências e estoques. Uma aplicação web recebe inserções de dados, consolidando ocorrências de mesma procedência em uma estrutura de Banco de Dados PostgreSQL. O servidor MODBUS, executado em paralelo, disponibiliza um conjunto de registros para troca de informações, sendo o SIG desempenhando papel de cliente e o modelo de simulação o servidor. Os dados entram no FlexSim a partir da sincronização do Banco de Dados PostgreSQL com o modelo de simulação, por meio da SQLAPI++. Conectado via protocolo MODBUS, o FlexSim obtém os valores necessários do sistema e retorna resultados de simulações ou execuções associadas às procedências.

Em paralelo, ocorre a execução do modelo treinado por AR, que ajusta a tomada de decisão a partir das interações com o ambiente simulado no FlexSim, atualizado pelo ambiente real.

ENTRADA DE DADOS

Em um contexto operacional, no qual novos fardos chegam periodicamente e se deseja registrá-los de maneira simplificada, o colaborador responsável abriria a aplicação web (Figura 6.2) em qualquer dispositivo. Nessa aplicação, ele selecionaria as procedências e a quantidade de fardos a serem adicionados ao Banco de Dados. Ainda nessa interface, existe a opção de zerar todos os registros ou, por fins didáticos, replicar o perfil de estoque ilustrado na Tabela 9.1.

BANCO DE DADOS RELACIONAL

Para armazenar as informações de estoque e registrar quais fardos foram efetivamente utilizados em cada mistura, concebe-se um esquema de Banco de Dados relacional que se baseia em três tabelas interligadas. A tabela Estoque armazena as procedências e suas características (como quantidade, rd, +b, Micronaire), enquanto a tabela Mistura identifica cada evento ou processo de mistura que ocorre ao longo do tempo (com data, observações e demais atributos). Para relacionar os fardos escolhidos a cada mistura, define-se uma terceira tabela, MisturaEstoque, que funciona como uma ligação entre Mistura e Estoque, descrevendo quantos fardos de determinada procedência foram aplicados em cada mistura.

No script em Python, cada uma dessas tabelas é criada com o SQLAlchemy. A Estoque guarda o estado atual de cada procedência (por exemplo, quantos fardos existem de uma dada origem, quais os valores de rd e +b). A Mistura representa o evento em si (data e observações). Por fim, a MisturaEstoque define quantos fardos de cada procedência foram empregados em determinada mistura, ligando Mistura (por meio de mistura_id) à Estoque (via estoque_id).

SAÍDA DE DADOS

As decisões produzidas pelo FlexSim e obtidas por meio do protocolo MODBUS são apresentadas em uma interface web, por intermédio do mesmo script em Python. Na aplicação desenvolvida com Flask, o servidor MODBUS executa em paralelo, armazenando em registros específicos as informações retornadas pelo FlexSim, como a procedência selecionada, eventuais ajustes na quantidade de fardos ou outra variável operacional. Esses registros são atualizados constantemente, de modo que a aplicação consiga refletir o estado atual do sistema.

A Figura 6.3 ilustra a tela de saída, onde as soluções provenientes do FlexSim são exibidas. Cada atualização no FlexSim escreve valores nos registradores MODBUS, e o script em Python coleta esses valores e os organiza em elementos de visualização. Dessa forma, o colaborador consegue acompanhar a evolução das variáveis de interesse, além de verificar possíveis ajustes sugeridos pelo AR.

De forma prática, foi construída uma rota /output, na aplicação baseada em Flask, que consiste em exibir os dados lidos do servidor MODBUS. O script utiliza o objeto DataBank para armazenar valores nos registros holding. Assim, cada nova decisão ou resultado de simulação, enviados pelo FlexSim, é gravado na forma de inteiros ou pontos flutuantes. Uma thread no Python lê periodicamente esses valores, atualiza uma estrutura de dados e fornece as informações em formato JSON para a interface web. A página de saída, por sua vez, processa esse JSON e exibe as decisões do sistema, permitindo a visualização consolidada das soluções advindas do FlexSim e do algoritmo de AR.

RESULTADOS

No presente capítulo, serão apresentados os resultados computacionais do trabalho, podendo afirmar sua robustez, justificar as afirmações feitas e responder às questões de pesquisa previamente levantadas.

Para executar os modelos e scripts citados, foi utilizado o CPU Intel(R) Core(TM) i5-11400F, com 6 núcleos físicos e 12 threads, com clock base de 2,60 GHz e máximo de 4,40 GHz (stock); 16 GB de memória RAM DDR4 2666 MHz; e GPU Nvidia GeForce RTX 3060 TI 8 GB GDDR6.

MODELO MATEMÁTICO

Devido à alta demanda computacional dos modelos de AR, o problema teve de ser discretizado, ou seja, dividido em partes menores, preservando seus princípios comportamentais, mas com menos dados. Sob fins de comparação, o modelo matemático, sem discretização (MIP D1), que resolve o problema ao otimizar as misturas a partir de um estoque inicial fixo, de maneira iterativa e sem restrições para repetições de misturas, tem seus valores ótimos representados na Figura 7.1.

O tempo computacional, especialmente no caso do modelo matemático, é pouco afetado pelas discretizações. A soma dos objetivos e sua variação ao longo das misturas são representados na Tabela 7.1 e na Figura 7.2, respectivamente.

Como o AR e o modelo matemático são comparados sob as mesmas premissas de discretização, as posteriores análises são válidas e viabilizam os testes computacionais, porém divergem da situação real.

APRENDIZADO POR REFORÇO

A fim de tornar a solução viável computacionalmente e escolher o melhor modelo para a aplicação final no Gêmeo Digital Autônomo, uma série de testes e comparações foram feitos, entre diferentes discretizações, modelos de simulação e funções de recompensa.

ABORDAGEM ESTÁTICA E DETERMINÍSTICA

A Tabela 7.2 apresenta o impacto das diferentes discretizações propostas no tempo necessário para processar os 18.432.000 de timesteps (iterações do modelo de simulação) definidos.

Os resultados mostram que o esforço computacional diminui significativamente com o aumento da discretização (D), à medida que o problema se simplifica. A discretização D = 6 foi escolhida como padrão para os experimentos, pois apresentou um tempo computacional aceitável e não comprometeu a qualidade das soluções encontradas, como visto na Figura 7.2 e reafirmado pela Figura 7.3.

No ambiente estático e sem aleatoriedade, os modelos de AR, que são inexatos na tratativa do problema, convergiram a um mesmo conjunto de soluções, após o treinamento, para todos os testes.

A fim de encontrar a melhor função de recompensa, dentre aquelas propostas, para implementar no modelo dinâmico, testes foram feitos sob as mesmas condições de tempo de treino: 18.432.000 timesteps.

Como dito anteriormente, no modelo matemático, as restrições são explicitamente impostas e qualquer solução infactível é descartada, garantindo, assim, mistura factível e performance próxima do ótimo global. Já no Aprendizado por Reforço (RL), as restrições são convertidas em recompensas e punições, o que, embora traga flexibilidade, pode levar a explotação local caso as penalizações não sejam bem calibradas, ou caso o tempo de treinamento não seja suficiente, resultando em buscas por recompensas imediatas e menor consistência de soluções.

Os resultados da Tabela 7.3 indicam que o modelo matemático atingiu o melhor desempenho como referência. O RL I, com penalização fixa, apresentou um gap elevado devido à falta de flexibilidade na adaptação às restrições. O RL II, ao incorporar penalizações proporcionais e considerar o estoque, melhorou o equilíbrio entre qualidade e factibilidade, embora a adaptação tenha ocorrido de forma gradual. No RL III, o ajuste da penalização e do cliprange trouxe um melhor equilíbrio, mas valores excessivos comprometeram a estabilidade da política. O RL IV, com histórico de decisões, não trouxe ganhos significativos, sugerindo que a inclusão de dados temporais não foi suficiente para melhorar o desempenho. Já o RL V, com penalização extrema, comprometeu severamente o aprendizado, resultando em baixa factibilidade e alto gap.

Os modelos RL VI e RL VII apresentaram os melhores desempenhos. O RL VI, com incentivo adicional para soluções ótimas, obteve 31 misturas e reduziu o gap para 21,5%, sugerindo que recompensas positivas melhoram a convergência para soluções de alta qualidade. Já o RL VII, utilizando observação binária do estoque, alcançou 30 misturas e o menor gap de 17,0%, indicando que uma representação simplificada do ambiente contribui para um aprendizado mais eficiente e robusto.

O modelo matemático resolve as misturas encontrando soluções ótimas para a mistura instantânea, sem considerar períodos futuros. Em contrapartida, o AR aprimora o conjunto das misturas ao longo do tempo, maximizando a soma das recompensas. Conforme observado a partir da Mistura 23 na Figura 7.4, o modelo matemático seleciona os melhores fardos para o momento presente, sem antecipar as necessidades futuras. Isso resulta na acumulação de fardos cujas características, em média, desviam significativamente do alvo ao longo do tempo. Já no modelo RL VII, com o AR, essa situação é atenuada, pois a diferença entre as propriedades das misturas e o alvo se mantém mais equilibrada ao longo do tempo.

ABORDAGEM DINÂMICA E ESTOCÁSTICA

A Figura 7.5 explicita que o modelo dinâmico de aprendizado por reforço (RL VII DIN) apresenta um desempenho mais consistente ao longo do tempo, resultando em menores variações nos valores do objetivo e uma melhor aderência aos parâmetros desejados. Como foram definidas múltiplas réplicas para o modelo dinâmico, a média dos valores do objetivo foi representada. Esse comportamento pode ser explicado pelo fato de o modelo considerar continuamente a chegada de novos fardos, ajustando as decisões com base nas condições futuras.

Em contraste, o modelo estático (RL VII), que opera com um estoque fixo e não se renova, tende a apresentar um aumento progressivo dos desvios das propriedades da mistura em relação ao alvo. À medida que os fardos mais adequados são utilizados, restam opções com características menos favoráveis, resultando em uma degradação gradual da qualidade das misturas.

A abordagem dinâmica permite uma gestão mais eficiente dos recursos ao distribuir de forma equilibrada os fardos ao longo do horizonte de planejamento. Isso se reflete em uma menor dispersão nos valores do objetivo e uma menor ocorrência de picos abruptos de erro, como evidenciado na comparação gráfica. Já o modelo estático, por não incorporar novas informações, apresenta uma variabilidade maior e um desempenho que se deteriora conforme o estoque disponível se reduz.

Como foram definidas múltiplas réplicas para o modelo dinâmico, a média dos valores do objetivo foi representada graficamente ao longo das misturas.

ANÁLISE ESTATÍSTICA DO MODELO DINÂMICO (RL VII DIN)

Devido à incorporação de variabilidades inerentes ao processo real, no modelo de simulação, as soluções propostas não convergem para uma mesma escolha de fardos em todas as réplicas, como acontecera no modelo estático. Essa dispersão nos resultados mostra a importância de se quantificar a precisão estatística das réplicas, permitindo avaliar a robustez das estimativas obtidas, como a média e os intervalos de confiança.

Foram previamente definidas 10 misturas e, para cada réplica, o valor do objetivo médio de cada mistura foi calculado. Em seguida, os dados foram agregados por réplica (calculando-se a média dos valores de objetivo médio para cada grupo).

Os resultados obtidos são resumidos na Tabela 7.4.

Observa-se que os 10 grupos de réplicas resultaram em uma média de 0.2265 para o objetivo médio, com um desvio padrão de 0.0080, indicando baixa variabilidade entre os grupos. A aplicação da fórmula para o número mínimo de réplicas, dada a margem de erro E = 0.5, resultou em um valor inferior a 1 (arredondado para 1), evidenciando que o conjunto de 10 réplicas utilizado excede amplamente a quantidade mínima necessária para obter uma estimativa precisa da média.

O intervalo de confiança para a média, calculado com a distribuição t de Student, foi estimado como (0.2207, 0.2322), enquanto o intervalo de confiança para a variância, com base na distribuição qui-quadrado, foi determinado como (0.0000, 0.0002).

Na Figura 7.6, a variação do objetivo ao longo das misturas pode ser observada ao longo das 10 réplicas:

Na Tabela 7.5 são apresentados os resultados dos testes estatísticos realizados. Cada réplica contém os valores de objetivo para diversas misturas. Para cada réplica foram calculadas a média dos valores, que serviram de insumo para os testes a seguir.

O teste de Shapiro–Wilk apresentou um p-valor de 0.0254, indicando a rejeição da hipótese de normalidade das médias das réplicas ao nível de 5%. Em contrapartida, o teste de Levene obteve um p-valor de 0.9750, confirmando a homogeneidade das variâncias entre as réplicas, o que valida o uso de testes paramétricos, mesmo que os dados não sejam normalmente distribuídos. Tanto a ANOVA quanto o teste de Kruskal–Wallis não detectaram diferenças significativas entre as réplicas (p-valores de 0.8624 e 0.6607, respectivamente), demonstrando a consistência dos resultados do modelo. A análise de correlação de Pearson revelou uma correlação positiva moderada (r = 0.3114, p < 0.0001) entre o ID da mistura e o valor do objetivo, tendência esta confirmada pela regressão linear, que apontou uma inclinação de 0.0014, indicando que conforme as misturas são feitas e a incerteza propagada para as misturas à frente, o valor do objetivo aumenta gradativamente.

PARÂMETROS DE TREINAMENTO

A Figura [fig:Recompensa] apresenta a evolução da recompensa nos modelos estático e dinâmico. No modelo estático (Figura 7.7), observa-se um crescimento gradual e previsível da recompensa, com oscilações reduzidas e estabilização rápida. Esse comportamento evidencia a capacidade do agente de aprender eficientemente em um ambiente sem incertezas, convergindo para uma característica mais explotatória de aprendizado.

No modelo dinâmico (Figura 7.9), a recompensa cresce menos rapidamente, demorando mais para chegar na política ótima local, acompanhada por oscilações significativas na tentativa de encontrar uma melhor. Esse padrão reflete a necessidade de constante adaptação do agente diante das incertezas do ambiente, exigindo certo balanço entre exploração e explotação para lidar com a variabilidade das chegadas e propriedades dos itens.

A Figura [fig:ClipFraction] apresenta a evolução do parâmetro clip_fraction durante o treinamento nos modelos estático e dinâmico. Esse parâmetro representa a fração de atualizações de política que foram limitadas pelo hiperparâmetro de clipping, influenciando diretamente a estabilidade do aprendizado, de forma que um valor maior de clip_fraction indica uma maior divergência entre políticas naquele instante.

No modelo estático (Figura 7.10), observa-se uma queda acentuada do valor do clip_fraction no início do treinamento, seguida de oscilações esporádicas em estágios posteriores. Isso indica que, impulsionado pela previsibilidade do ambiente, as políticas são mais próximas entre si, conforme o treinamento ocorre.

No modelo dinâmico (Figura 7.12), o clip_fraction apresenta uma redução mais gradual, com oscilações intensas e frequentes após alcançar valores mínimos. Essa tendência indica que o agente tem maior dificuldade em encontrar estabilidade entre as políticas, quando comparada com a anterior.

A Figura [fig:AproxKL] apresenta a evolução da divergência KL aproximada durante o treinamento nos modelos estático e dinâmico. Esse parâmetro avalia a proximidade entre distribuições de probabilidade das políticas sucessivas, refletindo a magnitude das mudanças na estratégia do agente.

No modelo estático (Figura 7.13), a divergência KL aumenta no início do treinamento, estabiliza-se e depois apresenta uma redução gradual. Isso sugere que as atualizações de política se tornam progressivamente menores conforme o agente converge para uma solução.

No modelo dinâmico (Figura 7.15), a divergência KL permanece em níveis mais elevados por mais tempo e exibe picos frequentes. Isso indica que o agente realiza ajustes mais frequentes devido às mudanças constantes no ambiente.

CONCLUSÃO

O trabalho propõe um método alternativo para a mistura de algodão na fiação têxtil, avançando na implementação do Gêmeo Digital Autônomo por meio de ferramentas analíticas e de conectividade. O protocolo desenvolvido integra dados reais e modelos de Aprendizado por Reforço, permitindo uma abordagem adaptativa diante da variabilidade do algodão e das condições operacionais do processo produtivo. Diferente dos métodos tradicionais que oferecem soluções determinísticas e estáticas, o AR possibilita ajustes contínuos conforme novas informações se tornam disponíveis.

Ao atingir o nível 5 de maturidade do Gêmeo Digital, a solução proposta automatiza o processo ao conectar ferramentas complementares. A integração entre dados operacionais e o modelo de AR garante a replicação das dinâmicas do sistema, caracterizando a Dimensão Comportamental do Gêmeo Digital. Já a Dimensão Física é representada de forma simplificada, proporcionando rastreabilidade e controle das operações. Essa estrutura possibilita atualizações contínuas das decisões, operando tanto a montante, ao considerar as características dos fardos disponíveis, quanto a jusante, ao garantir que as misturas atendam às exigências da produção.

A validação do protocolo envolveu a análise de diferentes configurações do modelo de simulação, funções de recompensa e observações, resultando em uma abordagem que equilibra restrições operacionais e eficiência na resolução das misturas. Nos testes realizados, o AR apresentou um gap de otimalidade de 17% (em experimentos pareados ao modelo matemático) que, mesmo demonstrando viabilidade no planejamento das misturas, melhores resultados poderiam ter sido encontrados, caso mais poder computacional estivesse disponível. A aplicação em um cenário dinâmico evidenciou a capacidade do AR em ajustar a tomada de decisão progressivamente diante da chegada de novos fardos, mesmo sem informações exatas sobre suas propriedades e procedências.

A conectividade estabelecida pelo Sistema de Informações Gerenciais, aliada ao Banco de Dados Relacional e à transmissão eficiente de dados, amplia a aplicabilidade do protocolo em ambientes reais. Novos fardos registrados no sistema atualizam automaticamente o Banco de Dados, refletindo mudanças no modelo de simulação. O agente de AR ajusta a alocação dos fardos e antecipa decisões conforme as expectativas futuras de estoque. Após definir a mistura, os dados são transmitidos via protocolo MODBUS ao Sistema de Informações Gerenciais, permitindo que a solução seja visualizada e implementada na operação.

Esse fluxo contínuo, conectando o ambiente físico e virtual, consolida um protocolo de Gêmeo Digital Autônomo de ponta a ponta.