Introdución

Cres que GROK3 será o "punto final" dos modelos pre-adestrados?

Elon Musk e o equipo de Xai lanzaron oficialmente a última versión de Grok, Grok3, durante unha transmisión en directo. Antes deste evento, unha cantidade importante de información relacionada, xunto co hype promocional 24/7 de Musk, elevou as expectativas globais de GROK3 a niveis sen precedentes. Hai só unha semana, Musk afirmou con confianza durante un streaming en directo mentres comentaba Deepseek R1, "Xai está a piques de lanzar un modelo AI mellor". A partir dos datos presentados en directo, GROK3 superou todos os modelos principais actuais en puntos de referencia para matemáticas, ciencias e programación, con Musk incluso alegando que GROK3 se empregará para tarefas computacionais relacionadas coas misións de Marte de SpaceX, predicindo "os avances no nivel do Nobel dentro dos tres anos". Non obstante, actualmente son só as afirmacións de Musk. Despois do lanzamento, probei a última versión beta de GROK3 e plantexei a pregunta clásica de trucos para modelos grandes: "Cal é maior, 9.11 ou 9.9?" Lamentablemente, sen cualificadores nin marcas, o chamado GROK3 máis intelixente aínda non podería responder correctamente a esta pregunta. GROK3 non puido identificar con precisión o significado da pregunta.

Esta proba rápidamente chamou a atención considerable de moitos amigos e, casualmente, varias probas similares no exterior amosaron a Grok3 loitando con preguntas básicas de física/matemáticas como "¿Que balón cae primeiro da Torre inclinada de Pisa?" Así, foi etiquetado con humor como "un xenio que non quere responder a preguntas sinxelas".

GROK3 é bo, pero non é mellor que R1 ou O1-Pro.

GROK3 experimentou "fracasos" en moitas probas comúns de coñecemento na práctica. Durante o evento de lanzamento de XAI, Musk demostrou usar GROK3 para analizar as clases de personaxes e os efectos da ruta do xogo do exilio 2, que afirmou xogar a miúdo, pero a maioría das respostas proporcionadas por GROK3 foron incorrectas. Musk durante a transmisión en directo non notou este problema obvio.

Este erro non só proporcionou máis probas para que os internautas no exterior se burlan de Musk por "atopar un substituto" no xogo, senón que tamén suscitou importantes preocupacións sobre a fiabilidade de GROK3 nas aplicacións prácticas. Para un "xenio", independentemente das súas capacidades reais, segue en dúbida a súa fiabilidade en escenarios de aplicacións extremadamente complexas, como as tarefas de exploración de Marte.

Actualmente, moitos probadores que recibiron acceso a GROK3 semanas e os que acaban de probar as capacidades do modelo durante unhas horas onte, todos apuntan a unha conclusión común: "Grok3 é bo, pero non é mellor que R1 ou O1-Pro".

Unha perspectiva crítica sobre "perturbar nvidia"

No PPT presentado oficialmente durante o lanzamento, GROK3 demostrouse que estaba "moi por diante" no Chatbot Arena, pero esta técnicas gráficas intelixentemente usadas: o eixe vertical da clasificación só listaba os resultados no rango de puntuación 1400-1300, facendo que a diferenza orixinal do 1% nos resultados de proba pareza excepcionalmente significativa nesta presentación.

En resultados de puntuación de modelos reais, GROK3 está só un 1-2% por diante de DeepSeek R1 e GPT-4.0, o que corresponde a experiencias de moitos usuarios en probas prácticas que non atoparon "ningunha diferenza notable". GROK3 só supera os seus sucesores nun 1%-2%.

Aínda que GROK3 marcou superior a todos os modelos probados publicamente, moitos non se toman isto en serio: ao fin e ao cabo, Xai foi criticado anteriormente por "manipulación de puntuación" na era GROK2. A medida que a clasificación penalizou o estilo de lonxitude de resposta, as puntuacións diminuíron moito, levando aos privilexios da industria a criticar a miúdo o fenómeno de "alta puntuación pero baixa capacidade".

Tanto se a través da "manipulación" da clasificación ou dos trucos de deseño en ilustracións, revelan a obsesión de Xai e Musk coa noción de "liderar o paquete" nas capacidades do modelo. Musk pagou un prezo elevado por estas marxes: durante o lanzamento, se jactou de usar 200.000 GPUs H100 (reclamando "máis de 100.000" durante a transmisión en directo) e logrando un tempo de formación total de 200 millóns de horas. Isto levou a algúns a crer que representa outro boon significativo para a industria da GPU e considerar o impacto de DeepSeek no sector como "parvo". Destacable, algúns cren que o poder computacional puro será o futuro da formación de modelos.

Non obstante, algúns internautas compararon o consumo de 2000 GPUs H800 ao longo de dous meses para producir DeepSeek V3, calculando que o consumo de enerxía de formación GROK3 é 263 veces o de V3. A fenda entre DeepSeek V3, que marcou 1402 puntos, e GroK3 está a menos de 100 puntos. Despois do lanzamento destes datos, moitos déronse conta de que detrás do título de Grok3 como o "máis forte do mundo" está un claro efecto marxinal de utilidade: a lóxica de modelos máis grandes que xeran un rendemento máis forte comezou a amosar diminución de rendementos.

Incluso con "alta puntuación pero baixa capacidade", GROK2 tiña grandes cantidades de datos de primeira parte de alta calidade da plataforma X (Twitter) para apoiar o uso. Non obstante, na formación de GROK3, Xai atopou naturalmente o "teito" ao que se enfronta actualmente Openai, a falta de datos de formación premium expón rapidamente a utilidade marxinal das capacidades do modelo.

Os desenvolvedores de GROK3 e Musk son probablemente os primeiros en comprender e identificar estes feitos profundamente, polo que Musk mencionou continuamente nas redes sociais que a versión que os usuarios están a experimentar agora é "aínda só a beta" e que "a versión completa será lanzada nos próximos meses". Musk asumiu o papel do xestor de produtos de GROK3, suxerindo que os usuarios proporcionen comentarios sobre varios problemas atopados na sección de comentarios.

Non obstante, dentro dun día, o rendemento de GROK3, sen dúbida, levantou alarmas para aqueles que esperan confiar no "músculo computacional masivo" para adestrar modelos máis fortes: baseándose na información de Microsoft dispoñible publicamente, Openai GPT-4 ten un tamaño de parámetro de parámetros de 1,8 billóns, máis de dez veces que o de GPT-3. Os rumores suxiren que o tamaño do parámetro de GPT-4.5 pode ser aínda maior.

A medida que os tamaños do parámetro do modelo aumentan, os custos de formación tamén están disparando. Coa presenza de GROK3, contendentes como GPT-4.5 e outros que desexen continuar "queimando cartos" para conseguir un mellor rendemento do modelo a través do tamaño do parámetro deben considerar o teito que agora está claramente á vista e contemplar como superalo. Neste momento, Ilya Sutskever, ex-científica xefe de Openai, xa dixera anteriormente en decembro pasado, "o adestramento previo ao que estamos familiarizados con Will Cheerd to Her fin", que volveu aparecer nas discusións, impulsando os esforzos para atopar o verdadeiro camiño para adestrar grandes modelos.

O punto de vista de Ilya soou a alarma na industria. Preveu con precisión o inminente esgotamento de novos datos accesibles, dando lugar a unha situación na que o rendemento non se pode mellorar mediante a adquisición de datos, comparando co esgotamento dos combustibles fósiles. Indicou que "como o petróleo, o contido xerado por humanos en internet é un recurso limitado". Nas prediccións de Sutskever, a próxima xeración de modelos, post-pre-formación, terá "verdadeira autonomía" e capacidades de razoamento "similar ao cerebro humano".

A diferenza dos modelos pre-adestrados de hoxe que dependen principalmente da coincidencia de contidos (baseada no contido do modelo aprendido anteriormente), os futuros sistemas AI poderán aprender e establecer metodoloxías para resolver problemas dun xeito similar ao "pensamento" do cerebro humano. Un ser humano pode alcanzar unha competencia fundamental nun tema con literatura profesional básica, mentres que un modelo grande de IA require millóns de puntos de datos para conseguir a eficacia máis básica de nivel de entrada. Mesmo cando a redacción se cambia lixeiramente, é posible que estas preguntas fundamentais non se entendan correctamente, ilustrando que o modelo non mellorou realmente na intelixencia: as preguntas básicas pero insolvibles mencionadas ao comezo do artigo representan un claro exemplo deste fenómeno.

Conclusión

Non obstante, máis aló da forza bruta, se GROK3 consegue revelar á industria que "os modelos pre-adestrados se achegan ao seu fin", levaría importantes implicacións para o campo.

Quizais despois de que o frenesí que rodea GROK3 diminúe gradualmente, asistiremos a máis casos como o exemplo de Fei-Fei Li de "axustar os modelos de alto rendemento nun conxunto de datos específico por só 50 dólares", descubrindo en última instancia o verdadeiro camiño cara á AGI.