Esta IA aprende continuamente com novas experiências, sem esquecer seu passado

Nossos cérebros estão constantemente aprendendo. Aquele novo sanduíche deli arrasa. Aquele posto de gasolina? Melhor evitá-lo no futuro.

Memórias como essas religam fisicamente as conexões na região do cérebro que suporta o novo aprendizado. Durante o sono , as memórias do dia anterior são transportadas para outras partes do cérebro para armazenamento de longo prazo, liberando células cerebrais para novas experiências no dia seguinte. Em outras palavras, o cérebro pode absorver continuamente nossa vida cotidiana sem perder o acesso às memórias do que veio antes.

IA, nem tanto. GPT-4 e outros grandes modelos de linguagem e multimodais, que tomaram o mundo de assalto, são construídos usando aprendizado profundo, uma família de algoritmos que imitam vagamente o cérebro. O problema? “Sistemas de aprendizado profundo com algoritmos padrão perdem lentamente a capacidade de aprender”, disse recentemente o Dr. Shibhansh Dohare da Universidade de Alberta à Nature .

A razão para isso está em como eles são configurados e treinados. O aprendizado profundo depende de várias redes de neurônios artificiais que são conectados uns aos outros. Alimentar dados nos algoritmos — digamos, resmas de recursos online como blogs, artigos de notícias e comentários do YouTube e Reddit — muda a força dessas conexões, de modo que a IA eventualmente “aprende” padrões nos dados e usa esses padrões para produzir respostas eloquentes.

Mas esses sistemas são basicamente cérebros congelados no tempo. Lidar com uma nova tarefa às vezes requer uma rodada totalmente nova de treinamento e aprendizado, o que apaga o que veio antes e custa milhões de dólares . Para o ChatGPT e outras ferramentas de IA, isso significa que elas se tornam cada vez mais desatualizadas com o tempo.

Esta semana, Dohare e colegas encontraram uma maneira de resolver o problema. A chave é redefinir seletivamente alguns neurônios artificiais após uma tarefa, mas sem alterar substancialmente toda a rede — um pouco como o que acontece no cérebro enquanto dormimos.

Quando testados com uma tarefa de aprendizado visual contínua — digamos, diferenciar gatos de casas ou distinguir placas de parada de ônibus escolares — algoritmos de aprendizado profundo equipados com redefinição seletiva mantiveram facilmente alta precisão em mais de 5.000 tarefas diferentes. Algoritmos padrão, em contraste, deterioraram-se rapidamente, seu sucesso eventualmente caindo para cerca de cara ou coroa.

Chamada de propagação contínua de volta, a estratégia está “entre as primeiras de um grande e crescente conjunto de métodos” para lidar com o problema de aprendizagem contínua , escreveram os Drs. Clare Lyle e Razvan Pascanu do Google DeepMind, que não estavam envolvidos no estudo.

Mente de Máquina

Deep learning é uma das formas mais populares de treinar IA. Inspirados no cérebro, esses algoritmos têm camadas de neurônios artificiais que se conectam para formar redes neurais artificiais.

À medida que um algoritmo aprende, algumas conexões se fortalecem, enquanto outras diminuem. Esse processo, chamado plasticidade, imita como o cérebro aprende e otimiza redes neurais artificiais para que elas possam fornecer a melhor resposta para um problema.

Mas algoritmos de aprendizado profundo não são tão flexíveis quanto o cérebro. Uma vez treinados, seus pesos ficam presos. Aprender uma nova tarefa reconfigura pesos em redes existentes — e no processo, a IA “esquece” experiências anteriores. Geralmente não é um problema para usos típicos como reconhecimento de imagens ou processamento de linguagem (com a ressalva de que eles não podem se adaptar a novos dados rapidamente). Mas é altamente problemático ao treinar e usar algoritmos mais sofisticados — por exemplo, aqueles que aprendem e respondem a seus ambientes como humanos.

Usando um exemplo clássico de jogo, “uma rede neural pode ser treinada para obter uma pontuação perfeita no videogame Pong , mas treinar a mesma rede para jogar Space Invaders fará com que seu desempenho no Pong caia consideravelmente”, escreveram Lyle e Pascanu.

Apropriadamente chamado de esquecimento catastrófico, cientistas da computação têm lutado contra o problema por anos. Uma solução fácil é limpar a lousa e retreinar uma IA para uma nova tarefa do zero, usando uma combinação de dados antigos e novos. Embora recupere as habilidades da IA, a opção nuclear também apaga todo o conhecimento anterior. E embora a estratégia seja factível para modelos de IA menores, não é prática para os enormes, como aqueles que alimentam grandes modelos de linguagem.

Faça backup

O novo estudo acrescenta a um mecanismo fundamental do aprendizado profundo, um processo chamado retropropagação. Simplificando, a retropropagação fornece feedback para a rede neural artificial. Dependendo de quão próxima a saída está da resposta correta, a retropropagação ajusta as conexões internas do algoritmo até que ele aprenda a tarefa em questão. Com o aprendizado contínuo, no entanto, as redes neurais perdem rapidamente sua plasticidade e não conseguem mais aprender.

Aqui, a equipe deu o primeiro passo para resolver o problema usando uma teoria de 1959 com o nome impressionante de “ Pandemônio de Selfridge ”. A teoria captura como processamos continuamente informações visuais e influenciou fortemente a IA para reconhecimento de imagem e outros campos.

Usando o ImageNet , um repositório clássico de milhões de imagens para treinamento de IA, a equipe estabeleceu que os modelos de aprendizado profundo padrão perdem gradualmente sua plasticidade quando desafiados com milhares de tarefas sequenciais. Elas são ridiculamente simples para humanos — diferenciar gatos de casas, por exemplo, ou placas de pare de ônibus escolares.

Com essa medida, qualquer queda no desempenho significa que a IA está gradualmente perdendo sua capacidade de aprendizado. Os algoritmos de aprendizado profundo foram precisos até 88% do tempo em testes anteriores. Mas na tarefa 2.000, eles perderam plasticidade e o desempenho caiu para perto ou abaixo da linha de base.

O algoritmo atualizado teve um desempenho muito melhor.

Ele ainda usa retropropagação, mas com uma pequena diferença. Uma pequena porção de neurônios artificiais é apagada durante o aprendizado em cada ciclo. Para evitar a interrupção de redes inteiras, apenas neurônios artificiais que são menos usados ​​são redefinidos. A atualização permitiu que o algoritmo lidasse com até 5.000 tarefas diferentes de reconhecimento de imagem com mais de 90 por cento de precisão.

Em outra prova de conceito, a equipe usou o algoritmo para conduzir um robô simulado, semelhante a uma formiga, por vários terrenos para ver o quão rápido ele poderia aprender e se ajustar com o feedback.

Com a propagação contínua para trás, a criatura simulada navegou facilmente por uma estrada de videogame com atrito variável — como caminhar na areia, no pavimento e nas pedras. O robô conduzido pelo novo algoritmo continuou por pelo menos 50 milhões de passos. Aqueles movidos por algoritmos padrão quebraram muito antes, com o desempenho caindo para zero cerca de 30 por cento antes.

O estudo é o mais recente a abordar o problema da plasticidade do aprendizado profundo.

Um estudo anterior descobriu que os chamados neurônios dormentes — aqueles que não respondem mais aos sinais de sua rede — tornam a IA mais rígida e reconfigurá-los durante o treinamento melhorou o desempenho. Mas eles não são a história toda, escreveram Lyle e Pascanu. Redes de IA que não conseguem mais aprender também podem ser devido a interações de rede que desestabilizam a maneira como a IA aprende. Os cientistas ainda estão apenas arranhando a superfície do fenômeno.

Enquanto isso, para usos práticos, quando se trata de IAs, “você quer que elas acompanhem os tempos”, disse Dohare. O aprendizado contínuo não é apenas sobre diferenciar gatos de casas. Também pode ajudar carros autônomos a navegar melhor em novas ruas em condições climáticas ou de iluminação variáveis ​​— especialmente em regiões com microambientes, onde a neblina pode mudar rapidamente para luz solar intensa.

Lidar com o problema “apresenta uma oportunidade empolgante” que pode levar a uma IA que retém conhecimento passado enquanto aprende novas informações e, como nós, humanos, se adapta de forma flexível a um mundo em constante mudança. “Essas capacidades são cruciais para o desenvolvimento de sistemas de IA verdadeiramente adaptáveis ​​que podem continuar a treinar indefinidamente, respondendo a mudanças no mundo e aprendendo novas habilidades e capacidades”, escreveram Lyle e Pascanu.

Crédito da imagem: Jaredd Craig /  Unsplash