Teach and Replay: una técnica para robots aéreos que toma altura

¿Cómo desarrollar métodos de navegación autónoma que sean eficientes para que un robot pueda aprender y repetir un recorrido de manera óptima? Desde el Laboratorio de Robótica y Sistemas Embebidos del ICC, se investiga esta técnica de aprendizaje y repetición basada en visión por computadora, utilizando modelos probabilísticos que se testean con numerosas simulaciones y set de datos, los cuales ayudan a mejorar sustancialmente la tarea de los robots.

Los vehículos aéreos no tripulados, conocidos comúnmente como drones, son dispositivos que requieren desarrollar una técnica específica de navegación. Lograr una mejora significativa en este desarrollo es un trabajo muy desafiante. Se entiende que este tipo de navegación es “autónoma” debido a que los robots pueden aprender un camino o trayectoria en un mapa, que lo repita varias veces lo mejor posible y que esa tarea se extienda a diferentes dominios, principalmente para monitoreo del ambiente. Esta técnica involucra el procesamiento de imágenes y visión por computadora para abordar el problema de la navegación autónoma en robots móviles, tanto para robots aéreos como terrestres. A diferencia de cómo funciona el dispositivo con un GPS, que sólo puede manipularse en un ambiente exterior, la técnica de visión también permite que el robot se desplace en un ambiente interior, como un edificio.

Desde hace años, en el Laboratorio de Robótica y Sistemas Embebidos, se investiga cómo mejorar esta técnica. “Cuando buscamos que el robot haga un monitoreo del entorno, uno tiene la posibilidad de que recorra, que haga una pasada primero por el ambiente de interés, ya sea manualmente con un humano manejándolo o bien usando un algoritmo de exploración del ambiente, y en ese recorrido armar un mapa del entorno. Esta es, en principio, la fase de aprendizaje”, puntualiza Matías Nitsche, investigador del ICC en el Laboratorio de Robótica.

Matías Nitsche

La navegación autónoma de robots aéreos basada en visión, fue el tema del trabajo de doctorado de Nitsche. El investigador explica que una vez que el robot va aprendiendo, se puede configurar el sistema en modo “repeat”: lo que hace el robot es repetir el camino, comparando lo que ve en todo momento con lo que tiene almacenado en el mapa. A partir de la relación entre la visión efectiva y el mapa, el robot aéreo sabe localizarse en el total del mapa pero además sabe cómo controlar su movimiento para repetir el camino. “Hay generalizaciones de esta técnica donde el robot no necesariamente sigue un camino específico sino que puede navegar sobre una red de caminos previamente aprendidos y tomar decisiones en tiempo real”, aclara el investigador.

En este contexto, existen dos tipos de enfoques con el que se puede trabajar el sensado del robot. Un enfoque métrico y un enfoque no métrico. Ambos enfoques fueron trabajados por Nitsche, tanto en doctorado como posdoctorado. “En el doctorado trabajé con un enfoque basado en apariencias (appearance based) donde en lugar de hacer una reconstrucción métrica del entorno, se guarda la información visual, lo que se ve, sin pretender encontrar la posición 3D de los puntos característicos en el ambiente, sino únicamente su posición y apariencia en la imágen. Por este motivo se comparaba lo que se veía en ese momento con lo que se veía en el mapa a partir de las marcas visuales y se trataba de hacer que el robot, a partir de su movimiento, vea las cosas desde el mismo punto de vista”, detalla Nitsche. Si bien esta técnica funcionó correctamente en la investigación, el enfoque presenta limitaciones ya que sin conocer la estructura métrica del ambiente resulta más difícil distinguir ciertas situaciones de movimiento: existe cierta ambigüedad al no saber la distancia real del objeto, por lo que en el movimiento no se puede identificar.

“A partir de este resultado en la tesis, volví al enfoque métrico. Pasé de utilizar una cámara simple a una cámara estéreo que permite visualizar la profundidad. E incorporé una unidad inercial que sirve para seguir cuadro a cuadro las marcas visuales en la imagen, por más que el robot haga giros muy rápidos. El giróscopo indica los giros que tiene el robot y el acelerómetro los desplazamientos a muy corto plazo. Todo ello fusionado con la cámara del sensor, permite realizar una estimación probabilística con una técnica basada en minimización”, explica el investigador del ICC y doctor en Ciencias de la Computación.  

Desde hace años la comunidad científica utiliza técnicas de fusión basadas en filtros (la más común es el de Kalman) pero recientemente se  empezó a trabajar en una forma diferenciada de fusionar información con métodos basados en minimización: consiste en armar modelos probabilísticos de los sensores, plantearuna función de costo y correr una minimización; y el resultado es la información final de interés, que sería la pose del robot ajustada a los valores de los sensores.

La pregunta que uno podría hacerse es, ¿cuán precisas son las simulaciones de los modelos respecto a la realidad?

Por un lado, Nitsche comenta que en su grupo los investigadores están trabajando con modelos probabilísticos y con datasets que son incorporados por las simulaciones de las trayectorias del robot; al desarrollar la técnica en un simulador y pasarla a los movimientos de la realidad cuando se vuela el robot, en general es un ajuste de constantes de esos modelos. Y suelen funcionar correctamente, más allá de que las unidades inerciales suelen tener mucho offset, desviaciones en la medición de distancia, que es necesario calibrar. Por otro lado, el investigador recalca que simular una imagen real, por más realista que sea la herramienta, es muy complejo. Lo es porque aparecen diversos obstáculos como el ruido en la imagen, distorsión del lente, características de iluminación del ambiente o sombras, etc. Todo ello complica enormemente el trabajo de sensado.

Figura ejemplo 1: Ambientes de simulación

Al mismo tiempo, uno de los problemas habituales suele ser el grado de error en la pose del robot tras recorrer largas distancias, que si bien indica una posición en el mapa no es donde realmente está ubicado. Para ella, el investigador adoptó un enfoque denominado “relativo” que (a diferencia del enfoque absoluto) usa la pose del robot en referencia a puntos de interés en el mapa, (obstáculos, paredes, objetos, etc.), va sacando fotos por cada metro que se mueve y guarda la información en el mapa como una cadena de transformaciones relativas. De ese modo, la pose del robot está en referencia al punto anterior (keyframe) lo que disminuye el grado de error (en el enfoque absoluto la pose se toma desde un sistema inicial de coordenadas).

El trabajo posdoctoral de Matías Nitsche fue realizado bajo la dirección del profesor Javier Civera de la Universidad de Zaragoza, un prestigioso investigador experto en técnicas Simultaneous Localization and Mapping-SLAM. Esta compleja investigación está sintetizada en el paper publicado en 2020 en la revista especializada Robotics and Autonomous Systems: https://robotica.dc.uba.ar/public/papers/nitsche2020.pdf

Y, ¿qué experimentos o pruebas se realizan para contemplar estos ajustes en robots móviles autónomos?

“Más allá de las pruebas en simulación y set de datos, la técnica tiene un grado de complejidad tan alto que los experimentos, que no fueron muchos, se enfocaron en una prueba de concepto y hacer algunas mediciones: volar el drone para enseñarle un camino de algunos metros y hacerlo repetir el camino varias veces desde distintas posiciones para mostrar cómo lo retomaba”, relata Nitsche y describe las dificultades asociadas a las pruebas: todo el método se ejecuta arriba del drone, lo cual es muy desafiante porque “tiene una computadora embebida muy limitada y tiene todos los sensores a bordo, volar el drone y sensar los datos al mismo tiempo es realmente complicado, por lo que si la prueba funciona digamos que funcionaron muchas variables juntas”, agrega el investigador.

Figura ejemplo 2A: Vista exterior durante la fase de aprendizaje del experimento, utilizando un robot aéreo experimental. En la línea roja se aprecia la parte del camino que posteriormentente fue repetido de forma autónoma.

Figura ejemplo 2B: Trayectoria seguida durante la fase de repetición del experimento.

Por último, cabe aclarar que la técnica utilizada se está extendiendo al uso de robots terrestres omnidireccionales, especialmente aquellos que realizan tareas de carga y descarga en una fábrica. Para hacer funcionar el dispositivo se está utilizando un láser 2D, fusionado con una unidad inercial y odometría (sensores en las ruedas del robot). Todo ello forma parte de la tesis de doctorado de Sebastián Bedin, dirigida por Nitsche. “La técnica de teach and replay aplica muy bien a la problemática de carga terrestre donde se trata de enseñarle al robot los caminos que debe recorrer dentro de la fábrica”, concluye Nitsche.