Introdução

A produção de fios de algodão exige a mistura de fardos de matéria-prima com propriedades físico-químicas (+b, rd e Micronaire) que variam segundo origem, clima, e armazenamento. Pressões por menores custos, padronização e redução de desperdício tornam as decisões de mistura mais complexas.

Modelos de Programação Matemática, tradicionalmente utilizados, como em , assumem estoques fixos e dados determinísticos, oferecendo suporte limitado em ambientes com entradas contínuas e perturbações estocásticas no estoque de algodão. A demanda por integração de sensores e simulação reforça essa limitação.

Este artigo propõe um protocolo de Gêmeo Digital Autônomo que integra: (i) um Sistema de Informações Gerenciais em PostgreSQL e Flask, para registrar o estoque e transmitir as informações informadas à operação; (ii) modelagem do fluxo produtivo no simulador FlexSim, para incorporar as incertezas do processo; e (iii) tomada de decisão em tempo real com Aprendizado por Reforço (Proximal Policy Optimization). A transmissão de dados para o ambiente físico é proposta pelo protocolo MODBUS.

Revisão de Literatura

A seguir, são apresentadas as propriedades do algodão como matéria-prima e sua relevância para o processo de fiação. Na sequência, introduzem-se os conceitos de Aprendizado por Reforço e Simulação de Eventos Discretos. Por fim, discute-se a definição de Gêmeo Digital Autônomo e seus requisitos.

Processo de fiação na Indústria Têxtil

O algodão apresenta propriedades que impactam diretamente o desempenho da fiação e a qualidade do fio, como o Micronaire (finura e maturidade), comprimento, resistência, tonalidade de cor, grau de amarelamento (+b) e refletância (rd) . Entre essas propriedades, destaca-se o Micronaire, por combinar dois aspectos fundamentais da fibra.

O teste Micronaire mede a permeabilidade ao ar e reflete a interação entre finura e maturidade . Fibras finas e maduras favorecem a fiação, enquanto fibras imaturas aumentam a irregularidade.

Considerando a variabilidade dessas propriedades entre lotes, a mistura de algodões torna-se uma prática essencial para equilibrar custo e qualidade, além de reduzir incertezas no processo produtivo . Nesse contexto, introduziram um modelo de programação linear que leva em conta o valor, as propriedades das fibras e sua disponibilidade em estoque, assumindo linearidade nas características das misturas .

Aprendizado por Reforço

O Aprendizado por Reforço (AR) é um paradigma de aprendizado baseado em tentativa e erro, no qual um agente interage com o ambiente para maximizar recompensas ao longo do tempo. Diferentemente do aprendizado supervisionado, o AR ajusta suas ações de acordo com o sinal de recompensa recebido . Nesse contexto, o agente observa o estado do ambiente (s_t), executa uma ação (a_t) e recebe uma recompensa (r_t + 1); o ambiente devolve o novo estado e o feedback numérico que avalia a qualidade da ação. A estratégia que mapeia estados em ações é chamada de política (π), enquanto a função de valor estima o benefício esperado de determinados estados ou ações, servindo de orientação para aprimorar a política ao longo de episódios — sequências de interações encerradas por uma condição de término.

Esse processo de trial-and-error está sujeito ao dilema exploração–explotação: balancear a busca por novas ações promissoras com a utilização das melhores ações já conhecidas. Para aplicações em sistemas produtivos, dois aspectos são cruciais: (i) estabilidade durante o treinamento e (ii) eficiência no uso de amostras. Entre os algoritmos que endereçam esses pontos, destacam-se os baseados em valor, como DQN e DDQN, que reutilizam experiências e mitigam superestimações , e os baseados em gradiente de política, como o Proximal Policy Optimization (PPO) .

O PPO, derivado do Trust Region Policy Optimization, impõe limites à variação da política a cada iteração, evitando oscilações abruptas, preservando estabilidade no aprendizado e mantendo baixo custo computacional, o que o torna particularmente atrativo para ambientes industriais em que interrupções de produção são críticas.

Simulação de Eventos Discretos

A Simulação de Eventos Discretos (SED) modela sistemas em que mudanças de estado ocorrem em momentos específicos, como a chegada de clientes ou a conclusão de operações. Diferentemente de sistemas contínuos, as transições na SED são pontuais e permitem avaliar impactos sob diferentes condições. Segundo , a SED é amplamente utilizada em manufatura, logística, saúde, telecomunicações e redes, sendo uma ferramenta eficaz para estruturar ambientes de aprendizado em AR.

O modelo de SED define eventos, entidades, atributos e recursos, e sua análise ocorre por meio de simulações numéricas voltadas à identificação de padrões e suporte à decisão. Entre os principais softwares para essa finalidade destaca-se o FlexSim, uma plataforma orientada a objetos para modelagem, visualização e monitoramento de processos dinâmicos em 2D, 3D e realidade virtual . O FlexSim valida dados estatisticamente e disponibiliza o FlexScript, linguagem baseada em C++ que permite a customização de objetos e a integração externa via sockets, o que viabiliza a conexão com ambientes como o Python.

A integração entre AR e SED possibilita que agentes aprendam estratégias de controle em ambientes estocásticos, ajustando políticas conforme as respostas do sistema . Com SED, pode-se modelar operações produtivas realistas e fornecer o contexto necessário para o treinamento dos agentes, enquanto a separação entre ambiente e algoritmo preserva a flexibilidade da implementação. Por exemplo, demonstrou essa aplicação ao utilizar um Gêmeo Digital baseado em SED como ambiente de treinamento para algoritmos A3C (Asynchronous Advantage Actor Critic) e PPO, aplicados à alocação de processos em linhas paralelas. Os agentes superaram regras tradicionais, melhoraram o balanceamento de carga e reduziram a ociosidade, adaptando-se a diferentes condições operacionais.

No FlexSim, a comunicação entre o simulador e o agente de AR ocorre por sockets, com transmissão estruturada de estados e ações sobre TCP/IP. Essa arquitetura viabiliza ajustes e validações em ambientes controlados, especialmente em contextos nos quais a experimentação direta é inviável. Na Figura 1 tem-se uma representação da conexão entre AR e o simulador FlexSim.

Gêmeo Digital

O conceito de Gêmeo Digital, proposto em , refere-se à criação de uma réplica digital de sistemas físicos para monitoramento, simulação e otimização em tempo real. Inicialmente aplicado em projetos da NASA, expandiu-se para setores como manufatura, energia e infraestrutura urbana.

Segundo , o Gêmeo Digital abrange dimensões geométrica, física, comportamental e de regras, permitindo a representação do objeto e sua resposta a estímulos. Os níveis de maturidade e eficácia de um Gêmeo Digital refletem o grau de integração entre dados e controle do processo físico . A evolução é descrita em cinco estágios: o nível 0 (No Twin) corresponde à ausência de integração entre medições e o modelo digital; o nível 1 (Status) refere-se à coleta de dados em tempo real para visualização do estado atual; o nível 2 (Informativo) combina dados históricos e atuais para identificar tendências; o nível 3 (Preditivo) emprega modelos matemáticos ou técnicas de aprendizado de máquina para previsão de comportamento futuro; o nível 4 (Exploratório) permite a avaliação de cenários para apoiar decisões; e o nível 5 (Autônomo) realiza a execução automática de ações sem intervenção humana.

Por outro lado, quando tratamos de maiores capacidades de comunicação, protocolos como o MODBUS são amplamente utilizados em indústrias para facilitar a comunicação entre dispositivos, como Controladores Lógicos Programáveis (CLPs) e sistemas de supervisão. Ele é um protocolo de comunicação serial aberto, desenvolvido em 1979, que se destaca por ser simples de implementar e por ser compatível com diversas mídias de comunicação, como RS-232, RS-485, Ethernet e até mesmo redes sem fio .

Método de Pesquisa

O artigo fundamenta-se na abordagem de Modelagem e Simulação, amplamente aplicada na Engenharia de Produção e na Gestão de Operações . Essa metodologia permite analisar, projetar e aprimorar sistemas produtivos, conferindo robustez e flexibilidade à tomada de decisão. As etapas da pesquisa foram desenvolvidas da seguinte forma: i) Definição do problema: propõe-se um método alternativo à programação matemática para resolver o problema da mistura de algodão na fiação têxtil, adotando o algoritmo PPO em razão de sua robustez em ambientes dinâmicos, embora seu desempenho seja inferior em ambientes estáticos; ii) Coleta de dados e definição do modelo conceitual: utiliza-se a base de dados de para o modelo estático, incorporando variações aleatórias para a construção do modelo dinâmico; iii) Construção do modelo: as restrições do modelo matemático original são incorporadas implicitamente por meio das recompensas no AR, definidas a partir da função objetivo, enquanto a simulação replica características comuns do processo produtivo; iv) Solução do modelo: o algoritmo PPO resolve o problema de forma iterativa utilizando o ambiente de simulação; v) Validação do Modelo: o desempenho do agente de AR é comparado às soluções ótimas obtidas pelo modelo matemático, permitindo avaliar sua eficácia; vi) Implementação da solução em ambiente simulado: a inferência do modelo treinado é aplicada no protocolo de Gêmeo Digital Autônomo, processando dados reais de novos fardos registrados no sistema.

Modelo Matemático

O modelo de programação inteira-mista apresentado em visa selecionar fardos das procedências (p = 1, …, P) para formar misturas (k = 1, …, K) que atinjam valores-alvo nas características luminosidade (+b), grau de reflexão (rd) e Micronaire (m). Cada mistura utiliza D_k fardos e pode repetir-se Q_k vezes; fixa-se Q_k = 1 para manter flexibilidade logística. O estoque inicial é E_p, os valores das características nos fardos são +b_p, rd_p e m_p e os valores-alvo são +b^⋆, rd^⋆ e m^⋆. Diferenças de ordem de grandeza são eliminadas pelos pesos $\boldsymbol{\lambda}^{+b}=1/\overline{+b}$, $\boldsymbol{\lambda}^{rd}=1/\overline{rd}$ e $\boldsymbol{\lambda}^{m}=1/\overline{m}$.

As variáveis de decisão: X_pk ∈ Z⁺ indica número de fardos da procedência p na mistura k, e A_k, B_k, C_k ≥ 0 indicam os desvios absolutos de +b, rd e m em cada mistura k, respectivamente. Os desvios são definidos pelas equações ([eq:Ak]–[eq:Ck]):

$$\label{eq:Ak} \left|\frac{\sum_{p=1}^{P} (+b_p\,X_{pk})}{D_k}-+b^{\!\star}\right| = A_k, \qquad \forall k$$

$$\label{eq:Bk} \left|\frac{\sum_{p=1}^{P} (rd_p\,X_{pk})}{D_k}-rd^{\!\star}\right| = B_k, \qquad \forall k$$

$$\label{eq:Ck} \left|\frac{\sum_{p=1}^{P} (m_p\,X_{pk})}{D_k}-m^{\!\star}\right| = C_k, \qquad \forall k$$

Para linearizar o valor absoluto basta exigir, por exemplo, $A_k \ge \tfrac{\sum_p (+b_p X_{pk})}{D_k}-+b^{\!\star}$ e $A_k \ge +b^{\!\star}-\tfrac{\sum_p (+b_p X_{pk})}{D_k}$. Restrições análogas são impostas a B_k e C_k.

A função objetivo visa minimizar a soma ponderada dos desvios:

$$\label{eq:obj} \min \sum_{k=1}^{K} \bigl(\boldsymbol{\lambda}^{+b}A_k+\boldsymbol{\lambda}^{rd}B_k+\boldsymbol{\lambda}^{m}C_k\bigr)Q_k$$

A alocação dos fardos de algodão da mistura e o limite de estoque são controlados por

$$\sum_{p=1}^{P} X_{pk} = D_k, \qquad \forall k\label{eq:mix}$$

$$\label{eq:stock} \sum_{k=1}^{K} X_{pk}Q_k \le E_p, \qquad \forall p$$

Após a seleção dos fardos e sua implementação na produção, obtidos de cada solução, os estoques são atualizados, subtraindo-se os fardos consumidos. O processo repete-se até que não haja solução factível, registrando-se os resultados em cada etapa. Desta forma, obtemos todas as possíveis misturas de fardos de algodão e seus respectivos desvios nos valores-alvo das características.

Modelo de Aprendizado por Reforço

Diferentemente da programação matemática, o Aprendizado por Reforço (AR) resolve problemas por tentativa e erro, sem restrições explícitas. A função de recompensa guia o agente, atribuindo feedback positivo ou negativo conforme o atendimento às condições do problema. A função objetivo é incorporada à recompensa, favorecendo ações progressivamente melhores.

Abordagem Estática e Determinística

Inicialmente, o problema foi analisado considerando os dados estáticos e determinísticos: o estoque é fixo e as propriedades de interesse dos fardos são conhecidas, os mesmos utilizados no modelo matemático da seção anterior. O objetivo é modelar o problema de maneira diretamente comparável à modelagem apresentada em , a fim de encontrar boas extrapolações para cenários incertos.

A formulação base, do ponto de vista do Aprendizado por Reforço (AR), consiste na seleção de 150 fardos de algodão no tempo t como ações; no registro das escolhas já realizadas no tempo t − 1 como observações; e na definição da recompensa como (R = 1/(1 + FO)), em que FO representa a função objetivo.

A partir da formulação base, funções de recompensas alternativas foram testadas, a fim de encontrar aquela com a melhor performance: RL I: recompensa inversamente proporcional à função objetivo (FO), com penalização fixa para misturas com menos fardos do que o esperado; RL II: adição de penalização proporcional aos desvios percentuais das propriedades (rd, +b e Micronaire), e inclusão da observação da quantidade de estoque por procedência; RL III: aumento da penalização para soluções infactíveis de −1 para −2; RL IV: expansão da observação para incluir dois períodos anteriores, t − 1 e t − 2; RL V: penalização extrema (−33) para misturas com quantidade de fardos insuficiente, forçando o respeito à restrição; RL VI: incentivo adicional de +2 para soluções onde FO = 0, reforçando a busca por soluções ótimas; RL VII: alteração da observação do estoque para formato binário, indicando apenas presença ou ausência de fardos.

Abordagem Dinâmica e Estocástica

O modelo dinâmico parte de um estoque inicial conhecido (usado na abordagem estática e determinística), mas as novas chegadas após o gradativo consumo são aleatórias. Os tempos de mistura (T_m) e de reposição (T_r) são assumidos normais e ajustados para preservar o equilíbrio do sistema, expresso por $$\frac{C}{T_m} \;=\; \frac{\mathbb{E}[R]}{T_r},$$ em que, C é a capacidade do misturador, e R ∼ 𝒩(μ_R, σ²) representa o tamanho do lote reposto, sob incertezas.

A chegada de novos fardos respeita as proporções iniciais do estoque, convergindo ao longo do tempo em termos de quantidades e procedências. Para representar a variabilidade nas propriedades de interesse dos fardos (rd, +b e Micronaire), cada valor é ajustado individualmente dentro de uma faixa de ±10% em torno de seu valor médio. Assim, para cada procedência, a propriedade P é dada por P = P₀ + U(−0, 1P₀, 0, 1P₀) em que P₀ representa o valor médio da propriedade e U indica uma variação aleatória uniforme dentro do intervalo definido.

Modelo de Simulação

Para integrar as premissas do ambiente de aprendizado e as ferramentas de conectividade, foi utilizado o simulador de eventos discretos e Gêmeo Digital FlexSim. O FlexSim permite a representação gráfica tridimensional do processo, aproximando a simulação do contexto real e facilitando a interpretação dos resultados. O simulador é dividido em duas partes: o Model 3D, que representa fisicamente o fluxo de fardos no sistema, e o Process Flow, que organiza logicamente os eventos e ações do processo por meio de blocos. O Model 3D é utilizado apenas para visualização e lógicas básicas de fluxo, enquanto o Process Flow gerencia o comportamento dinâmico dos fardos, a geração de novas chegadas e a integração com os gatilhos de Aprendizado por Reforço (AR).

A Figura [figure:modelo3d] ilustra o modelo tridimensional do processo com 34 baias de estoque e um misturador, e o fluxo de eventos construído no Process Flow para controle e atualização do ambiente de simulação, na Figura 2.

Inicialmente, o Process Flow gera os fardos e sorteia suas propriedades, reproduzindo o estoque inicial e controlando as novas chegadas aleatórias ao longo do tempo. Em paralelo, gerencia o direcionamento dos fardos entre as baias de estoque e o misturador, sincronizando as operações e mantendo o ambiente atualizado para a interação com o agente de AR.

Sistema de Informações Gerenciais

Um Sistema de Informações Gerenciais (SIG) conecta o ambiente físico ao digital no protocolo proposto, substituindo a aleatoriedade da simulação por dados reais por meio do comissionamento virtual, como ilustrado na Figura 3.

Desenvolvido em Python com Flask, SQLAlchemy e MODBUS, o SIG gerencia procedências e estoques, consolidando dados em um Banco de Dados PostgreSQL. A aplicação web permite a inserção e atualização de registros por meio de uma interface simples, conforme ilustrado nas Figuras [figure:TelaInput] e 4.

No registro de entrada, o operador seleciona a procedência e a quantidade de fardos a serem adicionados ao Banco de Dados. Na tela de saída, exibem-se as decisões do agente de Aprendizado por Reforço (AR) recebidas via protocolo MODBUS.

A sincronização entre o Banco de Dados e o modelo de simulação utiliza a biblioteca SQLAPI++, enquanto o servidor MODBUS transmite comandos e estados entre o SIG e o FlexSim. Os dados são armazenados nos registros holding do DataBank e disponibilizados em formato JSON para a aplicação web.

Resultados

As simulações e execuções dos modelos foram realizadas com processador i5-11400F, 16 GB de memória RAM e GPU Nvidia GeForce RTX 3060 Ti.

Abordagem Estática e Determinística

Devido à alta demanda computacional, o problema foi discretizado quanto ao número de fardos usados na mistura e às disponibilidades das procedências em estoque, a fim de viabilizar a aplicação do AR, reduzindo o peso computacional sem alterar a natureza do sistema. A Tabela 2 mostra o impacto da discretização dos modelos de AR no tempo necessário para processar os 18.432.000 timesteps (sendo D = 1 o modelo sem discretização, com 150 fardos na mistura; e D = 2 o modelo discretizado, com 75 fardos na mistura, e assim para as demais discretizações).

Com o aumento de D, o esforço computacional diminui. A discretização D = 6 (25 fardos, ao invés de 150) foi adotada por reduzir o tempo de simulação sem comprometer a qualidade das soluções, conforme mostrado na Figura [figure:DiscD1D6RLI] (compara-se o modelo matemático sem discretização, discretizado e o modelo de AR discretizado).

No ambiente estático, os modelos de Aprendizado por Reforço (RL) convergiram para soluções semelhantes após o treinamento. A Tabela 3 compara o desempenho dos modelos.

O MIP apresentou o melhor desempenho (quanto a soma dos valores da função objetivo das misturas) como referência. O RL VII obteve a menor variabilidade e maior consistência ao longo das misturas. Enquanto o MIP prioriza o instante atual, o RL distribui melhor os fardos ao longo do tempo, mantendo o desvio mais equilibrado, como mostrado na Figura 5. Essa uniformidade nas metas de mistura ao longo do tempo contribui para maior previsibilidade operacional, estabilidade na qualidade do fio produzido e menor necessidade de ajustes frequentes no processo produtivo.

Abordagem Dinâmica e Estocástica

A Figura [figure:DINRLVII] compara os modelos estático (RL VII) e dinâmico (RL VII DIN). Considerando a chegada contínua de novos fardos, o modelo dinâmico apresenta menor variação nos valores do objetivo, melhor aderência aos parâmetros desejados e redução da variabilidade e dos picos de erro. Essa estabilidade contribui para um processo produtivo mais previsível e menos sujeito a ajustes corretivos, o que é desejável em ambientes industriais. Além disso, como o modelo dinâmico é treinado sob condições com maior aleatoriedade, ele desenvolve maior robustez e generalização, tornando-se mais adequado para aplicação em cenários reais com incertezas operacionais. A Figura 6 apresenta a variabilidade das soluções propostas pelo agente de AR ao longo das misturas, resultante das diferentes réplicas do modelo de simulação e do consumo progressivo do estoque inicial.

Parâmetros de Treinamento

A Figura [fig:Recompensa] apresenta a evolução da recompensa nos treinamentos estático e dinâmico. No modelo estático (Figura 7), a recompensa cresce de forma gradual, com oscilações reduzidas e rápida estabilização, refletindo a previsibilidade do ambiente. No modelo dinâmico (Figura 9), o crescimento é mais lento, acompanhado de oscilações intensas, o que evidencia a necessidade de adaptação contínua do agente às variações no ambiente.

A Figura [fig:ClipFraction] mostra a evolução do parâmetro clip_fraction, que indica a fração de atualizações de política limitadas pelo mecanismo de clipping. No modelo estático (Figura 10), o valor cai rapidamente no início e se mantém baixo, com oscilações esporádicas. No modelo dinâmico (Figura 12), a redução é mais lenta, e as oscilações são mais frequentes e intensas, sugerindo maior dificuldade de estabilização das políticas.

Conclusão

O artigo propõe um método alternativo para a mistura de algodão na fiação têxtil, desenvolvendo um protocolo de Gêmeo Digital Autônomo que integra dados reais e Aprendizado por Reforço (AR). A abordagem permite ajustes contínuos frente à variabilidade do algodão e das condições operacionais, superando limitações de métodos determinísticos, como o alto tempo de processamento e a dificuldade de adaptação a cenários estocásticos. O AR, por sua vez, apresenta decisões instantâneas e robustas diante de incertezas.

O protocolo atinge o nível 5 de maturidade do Gêmeo Digital, automatizando decisões por meio da integração entre dados operacionais e AR, caracterizando as Dimensões Física e Comportamental. As decisões são continuamente atualizadas a montante e a jusante no processo.

A validação considerou diferentes configurações de simulação e funções de recompensa. O AR apresentou um gap de otimalidade de 17% em relação ao modelo matemático, mostrando viabilidade para o planejamento das misturas, apesar de limitações computacionais. Em cenário dinâmico, o AR ajustou progressivamente as decisões conforme novos fardos chegavam no estoque, mesmo sem conhecimento prévio e exato de suas propriedades.

A integração com o Sistema de Informações Gerenciais e Banco de Dados Relacional viabiliza a atualização automática do ambiente simulado e a transmissão de decisões via protocolo MODBUS, permitindo a aplicação prática do protocolo no chão de fábrica.

Para avanços futuros, é desejável incorporar de forma mais precisa as incertezas presentes no processo produtivo, bem como viabilizar a execução das inferências diretamente em CLPs industriais.