Bloomberg — La startup de servicios legales Harvey, valorada en US$15.600 millones, construyó su negocio entrenando modelos de inteligencia artificial como GPT-4 de OpenAI para realizar trabajos especializados para abogados. Recientemente, sin embargo, los disparados costos de la IA la han llevado a replantearse su dependencia de los gigantes del sector.
Tras una actualización realizada en marzo a sus agentes de IA, el uso por parte de los clientes de Harvey se disparó, pero sus márgenes brutos cayeron drásticamente: pasaron de alrededor del 50% a principios de año a un -50% para junio, según una persona al tanto del asunto.
Ver más: SoftBank busca más de US$11.000 millones en bonos de alto riesgo para financiar inversión en OpenAI
Ahora, la startup se ha sumado a un grupo cada vez mayor de empresas de software que están adoptando la IA de código abierto, incluidas alternativas cada vez más capaces procedentes de China. Estas ofertas suelen ser más económicas que la tecnología patentada de los desarrolladores de IA estadounidenses y permiten a empresas como Harvey crear modelos personalizados con sus propios datos.
Inversores como Sequoia Capital y General Catalyst están respaldando esta tendencia, que ofrece a las empresas una forma de ahorrar en uno de sus mayores costos, al tiempo que les otorga un mayor control sobre su tecnología, en lugar de externalizarla a OpenAI y Anthropic. Este impulso corre el riesgo de mermar los ingresos de los gigantes de la IA, ya que ambos se preparan para unas ofertas públicas iniciales muy esperadas en un futuro próximo. Y mientras se intensifica el debate sobre la necesidad de regular el avance de la IA de vanguardia, para algunas startups también se está convirtiendo en una protección frente a un futuro en el que los modelos más avanzados podrían verse ralentizados o restringidos.
Qué modelos de IA están usando las startups para reducir costos
Harvey lanzó su propio modelo en agosto, basado en el Kimi K3 de la empresa china Moonshot AI, que puede ofrecer un rendimiento similar al de las mejores soluciones de Anthropic a una fracción del costo. Ese lanzamiento, junto con otros ajustes en el uso de la IA, ha hecho que los márgenes brutos de Harvey vuelvan a ser positivos, según personas familiarizadas con la situación. La empresa se ha negado a comentar datos financieros específicos para este artículo.
Del mismo modo, la startup de tecnología sanitaria Abridge anunció recientemente que estaba desarrollando un modelo base personalizado para entornos clínicos, entrenado a partir de los modelos abiertos de Nvidia. La startup de atención al cliente basada en IA Decagon afirmó que ahora gestiona el 80% de las consultas a través de sus propios modelos. En el ámbito de la tecnología financiera, startups como Ramp y Rogo están explorando por primera vez la posibilidad de entrenar sus propios modelos. Empresas de programación como Cursor —que ahora forma parte de SpaceX— y Cognition, valorada en US$48.000 millones, fueron algunas de las primeras aplicaciones de IA en lanzar modelos a medida.
Ver más: Google se suma a OpenAI, Anthropic y Meta al revelar hackeos de sistemas de IA
Aunque anteriormente la creación de modelos resultaba demasiado costosa para Ramp, ahora está considerando emprender esos esfuerzos tras recaudar US$750 millones en junio, ya que los sistemas de peso abierto han mejorado de forma notable, según ha declarado el codirector ejecutivo de la startup, Karim Atiyeh. “Hace un año no tenía ningún sentido. Ahora empieza a tener mucho más sentido”.
A medida que aumentan los costos de computación, “es una auténtica imprudencia no pensar en ello y no optimizar en consecuencia”, afirmó Atiyeh, cuya empresa se encuentra actualmente en negociaciones para obtener más capital.
Sin embargo, no todos los inversores están convencidos. Matt Kraning, socio de Menlo Ventures —entidad que respalda a Anthropic, argumentó que la creación de modelos a medida no tiene sentido para todas las empresas, ya que conlleva la necesidad de contar con talento especializado y unos costos iniciales más elevados. Para algunas, afirmó, se trata simplemente de una táctica de marketing.
“La pregunta de si se trata de tener o no un modelo propio está muy mal planteada”, dijo. “En la mayoría de los casos, suele tratarse de mucho cosplay”.
Por qué las startups buscan alternativas a OpenAI y Anthropic
Hasta finales del año pasado, el rendimiento de las aplicaciones de IA dependía principalmente de los modelos subyacentes, según Gabe Pereyra, presidente y cofundador de Harvey. Entrenar esos modelos base era una tarea extremadamente costosa que generalmente se dejaba en manos de los laboratorios de IA más grandes. Cualquier esfuerzo por entrenar modelos personalizados no era tan significativo en comparación, explicó, lo que hacía importante que empresas como Harvey invirtieran en las mejores opciones base.
Sin embargo, el aumento de los costos de los modelos subyacentes estaba ejerciendo presión sobre algunas de esas empresas. En lo que va del año, Harvey ha experimentado un aumento de veinte veces en el uso de tokens de IA, según la compañía, un repunte que sus fundadores sabían que no sería sostenible si seguían dependiendo de los modelos más costosos de OpenAI y Anthropic.
Ver más: OpenAI reporta nuevos incidentes de seguridad de IA y establece un proceso para divulgarlos
Si bien Anthropic y OpenAI han lanzado recientemente modelos de menor costo en respuesta a las inquietudes de los clientes sobre los costos de la IA, ahora ambas empresas cobran a las compañías por el uso de sus modelos, además de las tarifas de suscripción base. Este cambio ha penalizado las estrategias de “maximización de tokens“. Uber, por ejemplo, agotó su presupuesto anual para IA en abril después de alentar a sus ingenieros a maximizar el uso del código Claude de Anthropic.
“Si no optimizas tus costos ajustando tu propio modelo, por definición no eres eficiente”, afirmó el Dr. Lan Xuezhao, fundador y socio gerente de Basis Set, una empresa de capital riesgo con sede en San Francisco.
Añadió: “No creo que la empresa sea financiable” si no busca desarrollar modelos para su propio uso.
Anthropic y OpenAI también se han adentrado con mayor determinación en el terreno de las empresas emergentes. Este año, ambas han llevado a cabo una contratación intensiva, han lanzado complementos y han puesto en marcha programas piloto en diversos sectores, entre ellos el jurídico, el financiero y el sanitario.
En un reciente foro de inversores celebrado en las oficinas de Anthropic, los asistentes debatieron sobre el auge de las startups que desarrollan sus propios modelos. Según una fuente cercana al asunto, Anthropic mencionó empresas como Rogo y la startup de salud OpenEvidence en una diapositiva sobre cómo aprovechar la curva de valor. También hizo referencia al trabajo interno de Harvey con IA, recordando que la startup aún necesita Claude’s Opus, uno de los modelos más avanzados de Anthropic, para sus tareas más complejas.
Ver más: ¿La IA ya desobedece a sus creadores? No solo eso, también los engaña, según OpenAI
Sin embargo, algunas startups temen qué ocurriría si los creadores de estos modelos les cortaran el acceso. Tan solo una semana después de que SpaceX finalizara la adquisición de Cursor, OpenAI anunció la suspensión del acceso de la startup de programación a sus modelos, citando casos anteriores en los que las empresas de Elon Musk habían infringido los términos de servicio de OpenAI.
Open-weight ofrece otra opción. Los modelos cerrados de OpenAI y Anthropic mantienen sus parámetros internos bajo llave, pero los de Open-weight los hacen públicos para que los desarrolladores externos puedan descargarlos y modificarlos en un proceso conocido como post-entrenamiento.
Según dos personas familiarizadas con las conversaciones, algunos, como Moonshot, desarrollador del Kimi K3, incluso ofrecen a sus propios ingenieros para ayudar a los clientes a perfeccionar sus modelos estándar y convertirlos en versiones internas personalizadas.
Cuáles son los riesgos de usar modelos de IA de código abierto
El cambio a modelos de peso abierto tiene sus puntos débiles.
Las preocupaciones sobre la privacidad de los datos y los riesgos de ciberseguridad han llevado a los legisladores estadounidenses a evaluar diversas restricciones a los modelos de ponderación abierta. Tanto las agencias de seguridad estadounidenses como los laboratorios con sede en EE.UU. han acusado a Moonshot y a su homólogo chino, DeepSeek, de destilar la IA de los laboratorios, un proceso que consiste en entrenar un modelo nuevo y de menor costo mediante la consulta continua de un modelo “maestro” anterior.
Los esfuerzos de entrenamiento de Rogo, de los que no se había informado anteriormente, han requerido mantener conversaciones con algunos de sus grandes clientes que se muestran reticentes respecto a los modelos chinos, según Strib Walker, director de producto de la startup.
Ver más: OpenAI trabaja con Anthropic y Google DeepMind para abordar los riesgos de seguridad de la IA
Brendan Foody, CEO de Mercor, proveedor de datos de IA, afirmó que las preguntas de sus clientes sobre los modelos chinos suelen deberse a la preocupación por el uso de los datos, más que a posibles medidas regulatorias. Sin embargo, algunos desarrolladores argumentan que el proceso de entrenamiento de los modelos personalizados puede ser tan extenso que los parámetros del modelo, al final, no se parecen en nada a los iniciales. “Pasan de ser un modelo de código abierto a un modelo de Rogo”, declaró Walker, de Rogo.
Además, la fase posterior al entrenamiento no es precisamente una tarea sencilla. Kraning, de Menlo, señaló el competitivo mercado del talento especializado en IA, en el que los ingenieros pueden llegar a cobrar salarios de millones de dólares y podrían ser fácilmente captados por empresas líderes como OpenAI y Anthropic.
Además, añadió, las empresas que ajustan sus propios modelos necesitan grandes cantidades de datos propios; de lo contrario, deben estar en condiciones y dispuestas a pagar por esos datos. Harvey, que no puede acceder a los datos jurídicos confidenciales de sus clientes para entrenar sus modelos, recurre en su lugar a Mercor para adquirir esa experiencia.
No todas las empresas que intentan crear sus propios modelos han considerado que merezca la pena el esfuerzo. Salespeak, una empresa que en gran medida ha evitado el capital riesgo, anunció anteriormente sus planes de desarrollar sus propios modelos de lenguaje a gran escala. Finalmente, abandonó el proyecto tras unos meses de ensayo y error. Según el cofundador y CEO, Omer Gotlieb, no observó “ventajas significativas” con respecto al uso de modelos de lenguaje a gran escala ya disponibles en el mercado, como los que ofrecen Anthropic y OpenAI.
Por ejemplo, el CEO de Elorian, Andrew Dai, que está desarrollando modelos de IA visual, afirmó que la rentabilidad de utilizar modelos de código abierto no siempre resulta conveniente. Descargar modelos de código abierto y gestionar la infraestructura informática necesaria para alojarlos puede resultar costoso. Para algunas empresas emergentes con un tráfico reducido, como la suya, puede resultar más económico pagar por un modelo cerrado y abonar una cuota en función del uso, señaló.
Ver más: OpenAI evalúa una ronda de financiación con una valoración superior a US$1,2 billones
Las startups que desarrollan sus propios modelos generalmente no tienen la impresión de que pueden dejar de usar por completo la tecnología de Anthropic u OpenAI, incluso cuando estos laboratorios aspiran a competir directamente con esas empresas emergentes.
Logan Bartlett, director general de Redpoint Ventures, empresa que ha invertido en Anthropic, Abridge y Ramp, prevé que la presión para reducir la dependencia de los modelos de Anthropic seguirá creciendo. Aun así, afirma que las startups continuarán utilizando la mejor inteligencia disponible, incluso si les supone un costo. “No van a perjudicarse a sí mismas por capricho”, declaró.
Lea más en Bloomberg.com
