Black Forest Labs desarrolla una IA para robótica que aprende de imágenes, video y audio

El laboratorio alemán, creador de modelos de generación de imágenes, prueba Flux 3 y Flux-mimic como parte de su apuesta por la IA física aplicada a la robótica y la manufactura.

PUBLICIDAD
IA
Por Yazhou Sun

Bloomberg — Black Forest Labs, un laboratorio alemán de investigación en inteligencia artificial, está probando su primer modelo para robótica, expandiéndose así más allá de la generación de imágenes fotorrealistas hacia el campo en auge de la IA física.

El modelo Flux 3 aprende a partir de imágenes, video y audio, y puede adaptarse para predecir lo que debería suceder a continuación basándose en lo que ve, según indicó Black Forest Labs en un comunicado emitido este jueves.

PUBLICIDAD

Esto sitúa a la startup con sede en Freiberg en una posición para competir en lo que su CEO, Robin Rombach, denomina “inteligencia visual”, una categoría que abarca los medios generativos, la robótica y la simulación.

Ver más: Martin Scorsese defiende la IA en el cine y ya es asesor de la empresa Black Forest Labs

La empresa también ha desarrollado un modelo de acción, Flux-mimic, capaz de ejecutar instrucciones en colaboración con la startup suiza Mimic Robotics AG. Se está probando con socios del sector manufacturero, entre los que se encuentra el fabricante de automóviles Audi AG.

PUBLICIDAD

Rombach afirma que dicho modelo puede resolver tareas no estructuradas que antes se consideraban imposibles de automatizar, como la manipulación de piezas blandas, cables y otros objetos durante las operaciones de montaje, preparación de kits, embalaje y clasificación.

Un número cada vez mayor de empresas emergentes está yendo más allá de la inteligencia artificial generativa y los grandes modelos de lenguaje para crear sistemas capaces de comprender y adaptarse al mundo físico, con posibles aplicaciones iniciales en los sectores de la fabricación y la ingeniería.

El fundador de Amazon.com Inc. (AMZN), Jeff Bezos, cerró una ronda de financiación en junio para su startup de IA física Prometheus, centrada en el desarrollo de modelos y herramientas de IA que ayuden a diseñar y fabricar productos físicos.

Ver más: Esta es la pequeña startup detrás de Grok, el generador de imágenes de xAI de Musk

PUBLICIDAD

Startups de robótica como Physical Intelligence, la alemana Neura Robotics y Sereact han cerrado importantes rondas de financiación en los últimos 12 meses. El laboratorio francés Mistral AI presentó un modelo de navegación robótica a inicios de julio.

Black Forest Labs, valorada en US$3.250 mil millones, fue fundada por un grupo de investigadores que participaron en el desarrollo de técnicas generativas como Stable Diffusion y se ha ganado una reputación por la generación de fotografías de gran realismo.

Este laboratorio, compuesto por 100 personas, ha construido su negocio vendiendo su tecnología a socios como la empresa de software Adobe Inc. (ADBE) y la plataforma creativa Picsart. Según informó Bloomberg News, la empresa cerró el año pasado un acuerdo por valor de US$140 millones con Meta Platforms Inc. (META).

Ver más: Gigantes japoneses de la robótica se alían con Nvidia para desafiar a China

La startup apuesta ahora por que una única arquitectura entrenada con múltiples tipos de datos, en lugar de modelos separados para imágenes, video y audio, resultará más eficaz, especialmente para aplicaciones como la robótica, que requieren comprender la relación de causa y efecto.

Sus modelos multimodales estarán disponibles a través de API, software que permite a los desarrolladores integrar su funcionalidad en sus propias aplicaciones, y de determinadas colaboraciones de licencia. Las versiones más pequeñas y ligeras están diseñadas para ejecutarse directamente en robots y equipos de fábrica.

Black Forest Labs ha recaudado más de US$450 millones en financiación de inversores como Andreessen Horowitz y Nvidia Corp. (NVDA).

Lea más en Bloomberg.com

PUBLICIDAD