Resolución de las interferencias multipath en las cámaras ToF

Una cámara de profundidad o de tiempo de vuelo (ToF) es un sistema de detección de imágenes en el que cada píxel proporciona la distancia entre la cámara y el punto correspondiente de la escena. Una de las técnicas existentes para estimar la profundidad, consiste en medir el tiempo de ida y vuelta que tarda la luz en viajar desde una fuente luminosa en la cámara, hasta un punto de la superficie reflectante. Este tiempo de viaje se denomina comúnmente tiempo de vuelo (ToF). Los intervalos de tiempo implicados son tan pequeños que los métodos indirectos (iToF) se utilizan habitualmente en cámaras comerciales. Entre los modelos de este tipo de cámaras se puede destacar DCAM710 de Vzense o ADTF3175 de Analog Devices.

Uno de los mayores problemas a los que debe enfrentarse esta tecnología es la inferencia multipath (MPI). Este tipo de errores se encuentran cuando dos o más trayectorias llegan al mismo píxel por caminos diferentes. Estas situaciones se pueden observar típicamente en zonas de esquina donde la luz puede reflejar en dos superficies a distintas distancias, o en presencia de superficies translúcidas.

La solución al problema ha tenido varios enfoques según diversos autores:

Geométrico

En [2], David et al proponen un método para resolver el problema MPI utilizando la geometría de la superficie de trabajo. En su algoritmo, cada trayectoria de la luz puede diferenciarse gracias al vector normal de la superficie. El algoritmo calcula el vector normal mencionado. Otros autores proponen métodos similares, Fuchs [2].

Multifrecuencias. Medir a diferentes frecuencias.

En [3], Feigin et al. muestran un enfoque para resolver MPI consistente en utilizar múltiples frecuencias. Este método permite distinguir tantos caminos recorridos como el doble del número de frecuencias aplicadas. Las frecuencias de trabajo deben ser equidistantes. Kirmani et al. proponen un método similar.

Machine Learning. Red neuronal de convolución.

En [5], Marco et al. entrenaron una red neuronal convolucional que puede resolver el problema de inferencia multitrayecto, se utilizaron datos sintéticos y reales para el entrenamiento.

Amplitud de la señal

Pare it al, [6] asumen que la envolvente de amplitud de la onda de transmisión de la cámara ToF es constante y que la envolvente de la señal reflejada en el caso de MPI se desvía de la envolvente sin MPI.

Ninguno de estos métodos es robusto y además requieren bastantes recursos para su implementación, por lo que se desea identificar una aproximación alternativa.

Bibliografía

[0] https://www.analog.com/en/products/adtf3175.html#product-overview
[1] D. Jiménez, D. Pizarro, M. Mazo, S. Palazuelos, «Modeling and correction of multipath interference in time of flight cameras,» Image and Vision Computing, vol. 32, pp. 1-13, 2014.
[2] S. Fuchs, «Multipath Interference Compensation in Time-of-Flight Camera Images,» in 2010 International Conference on Pattern Recognition, 2010.
[3] M. Feigin, A. Bhandari, S. Izadi, C. Rhemann, M. Schmidt, R. Raskar, «Resolving Multipath Interference in Kinect: An Inverse Problem Approach,» IEEE Sensors Journal, vol. 16, 2016.
[4] A. Kirmani, A. Benedetti, P. A. Chour, «SPUMIC: Simultaneous phase unwrapping and multipath interference cancellation in Time-of-Flight cameras using spectral methods,» in 2013 IEEE International Conference on Multimedia and Expo (ICME), 2013.
[5] J. Marco, Q. Hernández, A. Muñoz, Y. Dong, A. Jarabo, M. H. Kim, X. Tong, D. Gutiérrez, «DeepToF: Off-the-Shelf Real-Time Correction of Multipath Interference in Time-of-Flight Imaging,» ACM Transactions on Graphics, vol. 36, 2017.
[6] A. Pare, S. Zhang, Z. Lei. Multipath Interference Suppression in Time-of-Flight Sensors by Exploiting the Amplitude Envelope of the Transmission Signal. Digital Object Identifier 10.1109/ACCESS.2020.3023083.