La iniciativa de investigación LOBSTgER en MIT Sea Grant explora cómo la IA generativa puede ampliar la narración científica basándose en datos fotográficos de campo.
En el noreste de Estados Unidos, el Golfo de Maine representa uno de los ecosistemas marinos con mayor diversidad biológica del planeta, hogar de ballenas, tiburones, medusas, arenques, plancton y cientos de otras especies. Sin embargo, si bien este ecosistema alberga una rica biodiversidad, está experimentando un rápido cambio ambiental. El Golfo de Maine se está calentando a un ritmo superior al del 99 % de los océanos del mundo, con consecuencias que aún se están manifestando.
Una nueva iniciativa de investigación en desarrollo en MIT Sea Grant, llamada LOBSTgER (abreviatura de Learning Oceanic Bioecological Systems Through Generative Representations), une la inteligencia artificial y la fotografía subacuática para documentar la vida oceánica que quedó vulnerable a estos cambios y compartirla con el público de nuevas maneras visuales. Codirigido por el fotógrafo subacuático y artista invitado en MIT Sea Grant Keith Ellenbogen y el estudiante de doctorado en ingeniería mecánica del MIT Andreas Mentzelopoulos, el proyecto explora cómo la IA generativa puede expandir la narración científica al construir sobre datos fotográficos de campo.
Así como la cámara del siglo XIX transformó nuestra capacidad de documentar y revelar el mundo natural (capturando la vida con un detalle sin precedentes y trayendo a la vista entornos distantes u ocultos), la IA generativa marca una nueva frontera en la narración visual. Al igual que la fotografía temprana, la IA abre un espacio creativo y conceptual, desafiando cómo definimos la autenticidad y cómo comunicamos perspectivas científicas y artísticas.
En el proyecto LOBSTgER, los modelos generativos se entrenan exclusivamente con una biblioteca seleccionada de fotografías submarinas originales de Ellenbogen. Cada imagen se creó con intención artística, precisión técnica, identificación precisa de especies y un contexto geográfico claro. Al crear un conjunto de datos de alta calidad basado en observaciones del mundo real, el proyecto garantiza que las imágenes resultantes mantengan la integridad visual y la relevancia ecológica. Además, los modelos de LOBSTgER se construyen con código personalizado desarrollado por Mentzelopoulos para proteger el proceso y los resultados de posibles sesgos provenientes de datos o modelos externos. La IA generativa de LOBSTgER se basa en fotografías reales, ampliando el vocabulario visual de los investigadores para profundizar la conexión del público con el mundo natural.
Esta imagen de pez luna (Mola mola) fue generada por los modelos incondicionales de LOBSTgER.Imagen generada por IA: Keith Ellenbogen, Andreas Mentzelopoulos y LOBSTgER.
En esencia, LOBSTgER opera en la intersección del arte, la ciencia y la tecnología. El proyecto se nutre del lenguaje visual de la fotografía, el rigor observacional de las ciencias marinas y el poder computacional de la IA generativa. Al unir estas disciplinas, el equipo no solo desarrolla nuevas formas de visualizar la vida oceánica, sino que también reinventa cómo se pueden contar historias ambientales. Este enfoque integrador convierte a LOBSTgER en una herramienta de investigación y un experimento creativo, que refleja la larga tradición de innovación interdisciplinaria del MIT.
La fotografía submarina en las aguas costeras de Nueva Inglaterra es notoriamente difícil. La visibilidad limitada, los sedimentos arremolinados, las burbujas y el movimiento impredecible de la vida marina plantean desafíos constantes. Durante los últimos años, Ellenbogen ha sorteado estos desafíos y está creando un registro exhaustivo de la biodiversidad de la región a través del proyecto «Del Espacio al Mar: Visualizando la Naturaleza Oceánica de Nueva Inglaterra». Este amplio conjunto de datos de imágenes submarinas proporciona la base para el entrenamiento de los modelos de IA generativa de LOBSTgER. Las imágenes abarcan diversos ángulos, condiciones de iluminación y comportamientos animales, lo que da como resultado un archivo visual de gran impacto artístico y precisión biológica.
https://www.youtube.com/embed/8dJVnnYs6S4?enablejsapi=1&origin=https%3A%2F%2Fnews.mit.eduSíntesis de imágenes mediante difusión inversa: Este breve vídeo muestra la trayectoria de desruido desde el ruido latente gaussiano hasta la salida fotorrealista utilizando los modelos incondicionales de LOBSTgER. La desruido iterativa requiere 1000 pasadas hacia delante a través de la red neuronal entrenada.Vídeo: Keith Ellenbogen y Andreas Mentzelopoulos / MIT Sea Grant
Los modelos de difusión personalizados de LOBSTgER están entrenados para replicar no solo la biodiversidad que Ellenbogen documenta, sino también el estilo artístico que utiliza para capturarla. Al aprender de miles de imágenes submarinas reales, los modelos internalizan detalles de grano fino como los gradientes de luz natural, la coloración específica de cada especie e incluso la textura atmosférica creada por las partículas en suspensión y la luz solar refractada. El resultado son imágenes que no solo parecen visualmente precisas, sino que también se sienten inmersivas y conmovedoras.
Los modelos pueden generar nuevas imágenes sintéticas, pero con precisión científica, de forma incondicional (es decir, sin necesidad de intervención ni guía del usuario) y mejorar fotografías reales de forma condicional (es decir, mediante la generación de imagen a imagen). Al integrar la IA en el flujo de trabajo fotográfico, Ellenbogen podrá usar estas herramientas para recuperar detalles en aguas turbias, ajustar la iluminación para resaltar sujetos clave o incluso simular escenas que serían casi imposibles de capturar en el campo. El equipo también cree que este enfoque puede beneficiar a otros fotógrafos y editores de imágenes subacuáticos que se enfrentan a retos similares. Este método híbrido está diseñado para acelerar el proceso de curación y permitir a los narradores construir una narrativa visual más completa y coherente de la vida submarina.
Izquierda: Imagen mejorada de una langosta americana utilizando los modelos de imagen a imagen de LOBSTgER. Derecha: Imagen original.Izquierda: Imagen generada con IA por Keith Ellenbogen, Andreas Mentzelopoulos y LOBSTgER. Derecha: Keith Ellenbogen
En una serie clave, Ellenbogen capturó imágenes de alta resolución de medusas melena de león, tiburones azules, langostas americanas y peces luna ( Mola mola ) mientras buceaba en apnea en aguas costeras. «Obtener un conjunto de datos de alta calidad no es fácil», afirma Ellenbogen. «Requiere múltiples inmersiones, oportunidades perdidas y condiciones impredecibles. Pero estos desafíos son parte de lo que hace que la documentación subacuática sea a la vez difícil y gratificante».
Mentzelopoulos ha desarrollado código original para entrenar una familia de modelos de difusión latente para LOBSTgER basados en las imágenes de Ellenbogen. Desarrollar estos modelos requiere un alto nivel de experiencia técnica, y entrenarlos desde cero es un proceso complejo que exige cientos de horas de computación y un ajuste meticuloso de hiperparámetros.
El proyecto refleja un proceso paralelo: documentación de campo mediante fotografía y desarrollo de modelos mediante entrenamiento iterativo. Ellenbogen trabaja sobre el terreno, capturando encuentros raros y fugaces con animales marinos; Mentzelopoulos trabaja en el laboratorio, traduciendo esos momentos a contextos de aprendizaje automático que pueden ampliar y reinterpretar el lenguaje visual del océano.
“El objetivo no es reemplazar la fotografía”, afirma Mentzelopoulos. “Se trata de ampliarla y complementarla: hacer visible lo invisible y ayudar a las personas a ver la complejidad ambiental de una manera que resuene tanto emocional como intelectualmente. Nuestros modelos buscan capturar no solo el realismo biológico, sino también la carga emocional que puede impulsar la participación y la acción en el mundo real”.
LOBSTgER apunta a un futuro híbrido que combina la observación directa con la interpretación tecnológica. El objetivo a largo plazo del equipo es desarrollar un modelo integral que pueda visualizar una amplia gama de especies presentes en el Golfo de Maine y, con el tiempo, aplicar métodos similares a los ecosistemas marinos de todo el mundo.
Los investigadores sugieren que la fotografía y la IA generativa forman un continuo, en lugar de un conflicto. La fotografía captura lo que es —la textura, la luz y el comportamiento animal durante los encuentros reales— mientras que la IA extiende esa visión más allá de lo visible, hacia lo que podría comprenderse, inferirse o imaginarse a partir de datos científicos y una visión artística. Juntas, ofrecen un marco sólido para comunicar la ciencia a través de la creación de imágenes.
En una región donde los ecosistemas cambian rápidamente, visualizar se convierte en algo más que una simple documentación. Se convierte en una herramienta para la concienciación, la participación y, en última instancia, la conservación. LOBSTgER aún está en sus inicios, y el equipo espera compartir más descubrimientos, imágenes y perspectivas a medida que el proyecto evolucione.
Respuesta de la imagen principal: La imagen de la izquierda se generó utilizando los modelos incondicionales de LOBSTgER y la imagen de la derecha es real.
Para obtener más información, comuníquese con Keith Ellenbogen y Andreas Mentzelopoulos .
MIT News. B. S. Traducido al español
