Tech

Meta está construindo um supercomputador de IA

A tecnologia terá a potência de 100 mil PCs e será capaz de executar 5 quintilhões de operações por segundo.

A Meta anunciou nesta segunda-feira seu novo SuperCluster de Pesquisa IA (RSC), um supercomputador projetado para ser usado em projetos de pesquisa de IA.

O supercomputador, que está em operação há dois anos, pode acabar ajudando a Meta a desenvolver um software de IA muito mais poderoso – potencialmente útil para tarefas complicadas, tais como a detecção de discursos de ódio em postagens.

Leia também: Meta quer melhorar rastreamento ocular e facial

“Com o RSC, podemos treinar mais rapidamente modelos [de IA] que usam sinais multimodais – por exemplo, para entender o contexto de um post, incluindo linguagem, imagens e tom”, disse Shubho Sengupta, engenheiro de software da Meta (FB).

Os-supercomputadores, que apresentam muitos processadores interconectados agrupados nos chamados nós, têm se tornado cada vez mais populares e poderosos nos últimos anos para a pesquisa de IA.

O Summit, do Departamento de Energia dos EUA, que é o supercomputador mais rápido dos Estados Unidos e o segundo mais rápido do mundo, tem sido usado para auxiliar as investigações sobre coisas como proteínas desconhecidas.

Algumas grandes empresas de tecnologia, como Microsoft e Nvidia, também possuem supercomputadores para seu próprio uso.

Em um post de blog, publicado na segunda-feira, em co-autoria com Sengupta, a Meta disse que, desde janeiro, seu supercomputador inclui 6.080 GPUs divididos entre 760 nós, o que potencialmente o torna um dos mais poderosos do mundo.

Em seu tamanho atual, disse Sengupta, está no mesmo nível do supercomputador Perlmutter do National Energy Research Scientific Computing Center, que ocupa o quinto lugar no mundo.

Quando estiver concluído no final deste ano, porém, a Meta disse que terá 16.000 GPUs, e a empresa espera que seja capaz de quase cinco exaflops de desempenho de computação – ou seja, 5 quintilhões de operações por segundo.

“Quando estiver totalmente pronto, o conjunto quase triplicará de tamanho, o que, pelo que sabemos, o tornará o supercomputador de IA mais rápido do mundo”, disse Sengupta.

A Meta disse que seus pesquisadores começaram a usar o supercomputador para treinar grandes modelos relacionados ao processamento de linguagem natural e visão computadorizada, e que os pesquisadores poderão usar o supercomputador para “analisar texto, imagens e vídeo juntos sem problemas” e criar novas ferramentas de realidade aumentada.

Com o passar do tempo, a Meta espera que ele permita à empresa “construir sistemas de IA inteiramente novos” que possam fazer tarefas computacionalmente difíceis, como traduções em tempo real para um grande grupo de pessoas que falam idiomas diferentes.

A empresa disse que os primeiros testes mostraram que o supercomputador podia treinar grandes modelos de linguagem três vezes mais rápido do que o sistema que usa atualmente. Isso significa que um modelo de IA que levaria nove semanas para treinar com o sistema existente poderia ser treinado em três semanas com o supercomputador.

A Meta também espera que seu novo supercomputador seja capaz de algum dia treinar modelos de IA com trilhões de parâmetros – há apenas alguns poucos modelos de IA conhecidos existentes nessa escala.

Ele também seria muitas vezes maior do que o GPT-3, que é um modelo de linguagem grande do OpenAI que pode gerar texto sonoro para humanos e está sendo usado para aplicações como aprendizado de idiomas e software tributário para freelancers.

No futuro, disse a Meta, o supercomputador levará às tecnologias necessárias para construir um chamado “metaverso” – um mundo virtual amplo e interconectado que as pessoas podem andar dentro dele, através de avatares digitais, e interagir com outros que também estão lá virtualmente.

O Facebook posicionou o metaverso como o futuro da empresa, mas hoje, apenas alguns fragmentos dessa visão foram concretizados.