Investigadores do Instituto de Automação da Academia Chinesa de Ciências, em Pequim, desenvolveram um novo sistema de Inteligência Artificial (IA), o SpikingBrain 1.0, que descrevem como um modelo de linguagem de grande escala “semelhante ao cérebro”, concebido para a eficiência e independência do hardware externo. Ao contrário dos sistemas tradicionais baseados em Transformers, como o ChatGPT, que exigem um enorme poder computacional e memória, o SpikingBrain 1.0 emprega um método chamado computação de picos. Inspirada no funcionamento dos neurónios biológicos, esta abordagem activa apenas partes específicas da rede em resposta à entrada, em vez de manter todo o sistema em actividade. O resultado é um consumo de energia significativamente mais baixo e tempos de processamento mais rápidos. De acordo com a equipa de investigação, o sistema executou determinadas tarefas até 100 vezes mais rápido do que os modelos convencionais, exigindo menos de 2% dos dados de treino habituais. Para demonstrar a tecnologia, os investigadores construíram duas versões: uma com 7 mil milhões de parâmetros e outra com 76 mil milhões. Ambas foram treinadas com aproximadamente 150 mil milhões de tokens — um conjunto de dados modesto para os padrões da indústria. Os ganhos de eficiência foram especialmente notáveis ​​​​ao lidar com sequências de dados extremamente longas. Numa experiência, o modelo mais pequeno processou um prompt de 4 milhões de tokens mais de 100 vezes mais rápido do que um Transformer padrão. Outro teste mostrou uma melhoria de velocidade de 26,5 vezes ao gerar o primeiro token a partir de um contexto de um milhão de tokens. “Os principais modelos de linguagem baseados no Transformer enfrentam estrangulamentos de eficiência significativos”, observaram os investigadores Os investigadores destacaram também a estabilidade do modelo. O SpikingBrain 1.0 correu durante semanas centenas de chips MetaX, produzidos internamente pela MetaX Integrated Circuits Co., sediada em Xangai, marcando um passo importante para reduzir a dependência da empresa americana Nvidia, actual líder global em chips de IA. Segundo o portal Interesting Engineering, as potenciais aplicações para o sistema incluem a análise de documentos jurídicos e médicos extensivos, a investigação em física de altas energias e a sequenciação de ADN. Todos estes campos exigem a gestão de vastos conjuntos de dados de forma rápida e eficiente. “Os principais modelos de linguagem baseados no Transformer enfrentam estrangulamentos de eficiência significativos”, observaram os investigadores. “O nosso trabalho inspira-se em mecanismos cerebrais.” Os investigadores concluíram que o SpikingBrain 1.0 “não só demonstra a viabilidade do treino eficiente de modelos de grande escala em plataformas não NVIDIA, como também delineia novas direcções para a implantação e aplicação escaláveis ​​​​de modelos inspirados no cérebro em futuros sistemas de computação”.