O problema das necessidades de processamento: IA e a exigência computacional crescente

A Inteligência Artificial fomenta a inovação, mas exige um poder de processamento cada vez maior.

A IA promove a inovação, impulsiona o crescimento e apresenta uma série de possibilidades interessantes. No entanto, um desafio crítico esconde-se por detrás das cortinas dos algoritmos e dos cálculos: a crescente procura por poder de processamento. À medida que os modelos de IA crescem em complexidade, a necessidade de um poder de computação robusto intensifica-se, levando ao limite as capacidades de hardware existentes.

Existe, contudo, uma solução!

Vais precisar de um computador maior!

É bem sabido que gigantes como Nvidia e AMD dominaram o mercado de unidades de processamento gráfico (GPU). Graças à sua capacidade de realizar biliões de cálculos simples em paralelo, essas GPUs também são amplamente utilizadas no desenvolvimento de IA. Tornaram-se tão essenciais para o desenvolvimento da IA ​​que as empresas tecnológicas chinesas lutaram recentemente para adquirir mais de 5 mil milhões de dólares em chips Nvidia, devido ao receio de que os EUA impusessem controlos de exportação para enfraquecer a indústria de IA da China. Outro exemplo aqui é o sucesso da arrecadação de fundos de US$ 1,3 mil milhões de startup de aprendizagem de máquina Inflection AI, que é indiscutivelmente o resultado da Nvidia ter dado a eles acesso a 22.000 das suas GPUs H100.

Isto pode parecer muito, mas é uma gota no oceano comparando à quantidade de poder de processamento que a indústria necessita. O problema é que os modelos de IA estão a crescer exponencialmente, mas o hardware para treinar esses gigantes e executá-los não avançaram tão rapidamente. Isto é agravado pelo facto de que, até agora, quanto maior e mais profundos forem estes modelos, melhor será o seu desempenho.

Este desafio tem duas vertentes. Por um lado, o desenvolvimento da IA ​​requer uma enorme capacidade de processamento. Para treinar um modelo de 65 mil milhões de parâmetros, seriam precisos dez GPU’s A100 de 80GB. O ChatGPT possui 100 biliões de parâmetros. Com toda uma série de LLMs a serem desenvolvidos atualmente, juntamente com outros modelos generativos de IA, a procura está a ultrapassar a oferta.

Sendo assim, há outro desafio!

Conhecimento é poder

Há uma tendência para imaginar o mundo digital como separado do físico, mas o desenvolvimento da IA ​​necessita de centros de dados, hardware e infraestruturas energéticas que acarretam um elevado custo ambiental. Precisamos de energia para alimentar os centros, de água para os arrefecer e de matérias-primas com elevado teor de carbono para os construir.

Foi estimado que o consumo de energia do Chat-GPT em janeiro de 2023 foi de 23 milhões de kWh. À medida que os LLMs são incorporados aos motores de busca, isso pode significar um aumento até 5x. Em outro estudo, os pesquisadores estimaram que para cada 20 a 50 perguntas do Chat-GPT, uma garrafa de 500ml de água seria “bebida” ao arrefecer um data center.

Não se deve permitir que a IA se torne outro motor das alterações climáticas e da degradação ambiental, mas como podemos escapar às crescentes exigências de energia e poder de processamento?

Inovações abertas, possíveis soluções

No desenvolvimento de IA, o ajuste fino é um processo em que um modelo pré-treinado é ainda mais treinado posteriormente num conjunto de dados menor para executar funções mais específicas. Para LLMs, isso significa que eles podem se especializar numa tarefa ou domínio.

Existem duas principais vantagens no ajuste fino:

1. Permite que os investigadores aproveitem as grandes quantidades de dados que um LLM aprendeu, evitando a necessidade de começar do zero;
2. Requer menos poder de processamento, tornando-o mais acessível.

Mesmo assim, ajuste fino de LLMs requer acesso a hardware de última geração. Mas diversas soluções e inovações de código aberto estão a trabalhar para resolver este problema. Um deles é a Quantised Low Rank Adapters (QLoRa). As etapas inovadoras da QLoRa, como a quantização NormalFloat de 4 bits e a quantização dupla, reduzem significativamente o consumo de memória de grandes modelos de linguagem (LLMs), tornando possível o ajuste fino mesmo em hardware de consumo elevado.

Porque isto importa?

Estamos a navegar em tempos emocionantes, repletos de oportunidades, desafios e um momento crítico no crescimento da IA. Inovações como QLoRa e outras estão a abrir possibilidades e a preparar o terreno para o que vem a seguir.

A necessidade de um crescimento responsável que não dependa excessivamente de empresas ou soluções específicas é clara. Ao abraçar um amplo espectro de técnicas, estamos a promover um ambiente onde a criatividade prospera e o futuro da IA ​​é acessível a todos, sem sacrificar a saúde do nosso planeta.

Este momento crucial no desenvolvimento da IA ​​suscita grande expectativa, não apenas pelo que está no horizonte, mas pela incrível jornada que nos levará até lá.

Originalmente publicado em https://fetch.ai.

O problema das necessidades de processamento: IA e a exigência computacional crescente was originally published in Fetch.ai on Medium, where people are continuing the conversation by highlighting and responding to this story.