Introdución

Cres que Grok3 será o "punto final" dos modelos preadestrados?

Elon Musk e o equipo de xAI lanzaron oficialmente a última versión de Grok, Grok3, durante unha transmisión en directo. Antes deste evento, unha cantidade significativa de información relacionada, xunto coa publicidade de Musk as 24 horas do día, os 7 días da semana, elevaron as expectativas globais para Grok3 a niveis sen precedentes. Hai só unha semana, Musk afirmou con confianza durante unha transmisión en directo mentres comentaba sobre DeepSeek R1: "xAI está a piques de lanzar un mellor modelo de IA". Segundo os datos presentados en directo, Grok3 superou todos os modelos convencionais actuais en puntos de referencia para matemáticas, ciencia e programación, e Musk incluso afirmou que Grok3 se usará para tarefas computacionais relacionadas coas misións a Marte de SpaceX, predicindo "avances ao nivel do Premio Nobel dentro de tres anos". Non obstante, estas son actualmente só afirmacións de Musk. Despois do lanzamento, probei a última versión beta de Grok3 e plantexei a clásica pregunta con trampa para modelos grandes: "Cal é máis grande, 9,11 ou 9,9?". Lamentablemente, sen ningún tipo de cualificacións nin cualificacións, o chamado Grok3 máis intelixente aínda non puido responder a esta pregunta correctamente. Grok3 non conseguiu identificar con precisión o significado da pregunta.

Esta proba chamou rapidamente a atención de moitos amigos e, casualmente, varias probas similares no estranxeiro mostraron a Grok3 loitando con preguntas básicas de física/matemáticas como "Que bóla cae primeiro da Torre Inclinada de Pisa?". Polo tanto, foi cualificado humorísticamente como "un xenio que non está disposto a responder preguntas sinxelas".

Grok3 é bo, pero non é mellor que R1 ou o1-Pro.

Grok3 experimentou "fallos" en moitas probas de coñecemento común na práctica. Durante o evento de lanzamento de xAI, Musk demostrou o uso de Grok3 para analizar as clases e os efectos dos personaxes do xogo Path of Exile 2, ao que afirmaba xogar a miúdo, pero a maioría das respostas proporcionadas por Grok3 eran incorrectas. Musk non se decatou deste problema obvio durante a transmisión en directo.

Este erro non só proporcionou máis probas para que os internautas estranxeiros se burlasen de Musk por "atopar un substituto" nos videoxogos, senón que tamén xerou importantes preocupacións sobre a fiabilidade de Grok3 en aplicacións prácticas. Para un "xenio" así, independentemente das súas capacidades reais, a súa fiabilidade en escenarios de aplicacións extremadamente complexos, como tarefas de exploración de Marte, segue estando en dúbida.

Actualmente, moitos dos probadores que recibiron acceso a Grok3 hai semanas e os que probaron as capacidades do modelo durante unhas horas onte chegan a unha conclusión común: "Grok3 é bo, pero non é mellor que R1 ou o1-Pro".

Unha perspectiva crítica sobre a "disrupción de Nvidia"

Na presentación de PowerPoint presentada oficialmente durante o lanzamento, mostrábase que Grok3 estaba "moi por diante" na Chatbot Arena, pero isto empregou técnicas gráficas intelixentes: o eixo vertical da táboa de clasificación só listaba resultados no rango de puntuación de 1400 a 1300, o que facía que a diferenza orixinal do 1 % nos resultados das probas parecese excepcionalmente significativa nesta presentación.

Nos resultados reais da puntuación do modelo, Grok3 só está entre un 1 e un 2 % por diante de DeepSeek R1 e GPT-4.0, o que se corresponde coas experiencias de moitos usuarios en probas prácticas que non atoparon "ningunha diferenza notable". Grok3 só supera os seus sucesores entre un 1 % e un 2 %.

Aínda que Grok3 obtivo puntuacións máis altas que todos os modelos probados publicamente na actualidade, moitos non o toman en serio: despois de todo, a xAI xa foi criticada por "manipulación de puntuacións" na era Grok2. A medida que a táboa de clasificación penalizaba o estilo de lonxitude das respostas, as puntuacións diminuíron considerablemente, o que levou a expertos da industria a criticar a miúdo o fenómeno de "alta puntuación pero baixa capacidade".

Xa sexa mediante a "manipulación" da táboa de clasificación ou mediante trucos de deseño nas ilustracións, revelan a xIA e a obsesión de Musk coa noción de "liderar o grupo" nas capacidades dos modelos. Musk pagou un prezo elevado por estas marxes: durante o lanzamento, gabouse de usar 200.000 GPU H100 (afirmando que usaba "máis de 100.000" durante a transmisión en directo) e de acadar un tempo total de adestramento de 200 millóns de horas. Isto levou a algúns a crer que representa outra gran vantaxe para a industria das GPU e a considerar o impacto de DeepSeek no sector como "unha parvada". Cabe destacar que algúns cren que a pura potencia computacional será o futuro do adestramento de modelos.

Non obstante, algúns internautas compararon o consumo de 2000 GPU H800 durante dous meses para producir DeepSeek V3, calculando que o consumo de enerxía real de adestramento de Grok3 é 263 veces maior que o de V3. A diferenza entre DeepSeek V3, que obtivo 1402 puntos, e Grok3 é de pouco menos de 100 puntos. Tras a publicación destes datos, moitos decatáronse rapidamente de que detrás do título de Grok3 como o "máis forte do mundo" agochase un claro efecto de utilidade marxinal: a lóxica de que os modelos máis grandes xeran un rendemento máis forte comezou a mostrar rendementos decrecentes.

Mesmo con "alta puntuación pero baixa capacidade", Grok2 tiña grandes cantidades de datos propios de alta calidade da plataforma X (Twitter) para apoiar o uso. Non obstante, no adestramento de Grok3, xAI atopouse naturalmente co "teito" ao que se enfronta OpenAI actualmente: a falta de datos de adestramento premium expón rapidamente a utilidade marxinal das capacidades do modelo.

Os desenvolvedores de Grok3 e Musk son probablemente os primeiros en comprender e identificar estes feitos en profundidade, razón pola cal Musk mencionou continuamente nas redes sociais que a versión que os usuarios están a experimentar agora "aínda é só a versión beta" e que "a versión completa publicarase nos próximos meses". Musk asumiu o papel de xestor de produtos de Grok3, suxerindo que os usuarios proporcionen comentarios sobre os diversos problemas atopados na sección de comentarios. Pode ser o xestor de produtos máis seguido do mundo.

Con todo, nun día, o rendemento de Grok3 sen dúbida fixo saltar as alarmas para aqueles que esperaban confiar nun "músculo computacional masivo" para adestrar modelos grandes máis fortes: segundo a información de Microsoft dispoñible publicamente, o GPT-4 de OpenAI ten un tamaño de parámetro de 1,8 billóns de parámetros, máis de dez veces maior que o GPT-3. Os rumores suxiren que o tamaño dos parámetros do GPT-4.5 podería ser aínda maior.

A medida que o tamaño dos parámetros do modelo se dispara, os custos de adestramento tamén se disparan. Coa presenza de Grok3, os competidores como GPT-4.5 e outros que desexan seguir "queimando cartos" para lograr un mellor rendemento do modelo a través do tamaño dos parámetros deben considerar o teito que agora está claramente á vista e contemplar como superalo. Neste momento, Ilya Sutskever, ex xefe científico de OpenAI, declarara anteriormente o pasado decembro: "O adestramento previo co que estamos familiarizados chegará ao seu fin", o que volveu xurdir nos debates, o que provocou esforzos para atopar o verdadeiro camiño para adestrar modelos grandes.

O punto de vista de Ilya fixo soar as alarmas na industria. Previu con precisión o esgotamento inminente dos novos datos accesibles, o que levaría a unha situación na que o rendemento non podería seguir mellorándose mediante a adquisición de datos, comparándoo co esgotamento dos combustibles fósiles. Indicou que «como o petróleo, o contido xerado por humanos en Internet é un recurso limitado». Segundo as predicións de Sutskever, a próxima xeración de modelos, despois do adestramento previo, posuirá «verdadeira autonomía» e capacidades de razoamento «similares ao cerebro humano».

A diferenza dos modelos preadestrados actuais, que se basean principalmente na correspondencia de contido (baseada no contido do modelo aprendido previamente), os futuros sistemas de IA poderán aprender e establecer metodoloxías para resolver problemas dun xeito semellante ao "pensamento" do cerebro humano. Un ser humano pode alcanzar un dominio fundamental nunha materia con só literatura profesional básica, mentres que un modelo de IA de gran tamaño require millóns de puntos de datos para alcanzar só a eficacia de nivel inicial máis básica. Mesmo cando se cambia lixeiramente a redacción, estas preguntas fundamentais poden non entenderse correctamente, o que ilustra que o modelo non mellorou realmente en intelixencia: as preguntas básicas pero irresolubles mencionadas ao comezo do artigo representan un claro exemplo deste fenómeno.

Conclusión

Non obstante, máis alá da forza bruta, se Grok3 consegue revelarlle á industria que "os modelos preadestrados están a chegar ao seu fin", iso tería implicacións significativas para o campo.

Quizais despois de que o frenesí que rodea a Grok3 remate gradualmente, sexamos testemuñas de máis casos como o exemplo de Fei-Fei Li de "axustar modelos de alto rendemento nun conxunto de datos específico por só 50 dólares", descubrindo finalmente o verdadeiro camiño cara á AGI.