Estéreo fotométrico - Photometric stereo
El estéreo fotométrico es una técnica en visión por computadora para estimar las normales de la superficie de los objetos al observar ese objeto en diferentes condiciones de iluminación. Se basa en el hecho de que la cantidad de luz reflejada por una superficie depende de la orientación de la superficie en relación con la fuente de luz y el observador. Al medir la cantidad de luz reflejada en una cámara, el espacio de posibles orientaciones de la superficie es limitado. Dadas suficientes fuentes de luz desde diferentes ángulos, la orientación de la superficie puede estar restringida a una sola orientación o incluso restringida en exceso.
La técnica fue introducida originalmente por Woodham en 1980. El caso especial en el que los datos son una sola imagen se conoce como forma a partir del sombreado y fue analizado por BKP Horn en 1989. Desde entonces, el estéreo fotométrico se ha generalizado a muchas otras situaciones, incluida la luz extendida fuentes y acabados superficiales no lambertianos . La investigación actual tiene como objetivo hacer que el método funcione en presencia de sombras proyectadas, reflejos e iluminación no uniforme.
Método básico
Según los supuestos originales de Woodham ( reflectancia lambertiana , fuentes de luz distantes puntuales conocidas y albedo uniforme) , el problema se puede resolver invirtiendo la ecuación lineal , donde es un vector (conocido) de intensidades observadas, es la superficie normal (desconocida), y es una matriz (conocida) de direcciones de luz normalizadas.
Este modelo se puede extender fácilmente a superficies con albedo no uniforme, manteniendo el problema lineal. Tomando una reflectividad de albedo de , la fórmula para la intensidad de la luz reflejada se convierte en:
Si es cuadrado (hay exactamente 3 luces) y no singular, se puede invertir, dando:
Dado que se sabe que el vector normal tiene longitud 1, debe ser la longitud del vector y es la dirección normalizada de ese vector. Si no es cuadrado (hay más de 3 luces), se puede obtener una generalización de la inversa usando el pseudoinverso de Moore-Penrose , simplemente multiplicando ambos lados dando:
Después de lo cual, el vector normal y el albedo se pueden resolver como se describe anteriormente.
Superficies no lambertianas
El problema del estéreo fotométrico clásico se refiere solo a las superficies lambertianas , con una reflexión perfectamente difusa. Esto no es realista para muchos tipos de materiales, especialmente metales, vidrio y plásticos lisos, y dará lugar a aberraciones en los vectores normales resultantes.
Se han desarrollado muchos métodos para eliminar esta suposición. En esta sección, se enumeran algunos de ellos.
Reflexiones especulares
Históricamente, en los gráficos por computadora , el modelo comúnmente utilizado para renderizar superficies comenzó con superficies lambertianas y progresó primero para incluir reflejos especulares simples . La visión por computadora siguió un curso similar con el estéreo fotométrico. Las reflexiones especulares estuvieron entre las primeras desviaciones del modelo lambertiano. Estas son algunas adaptaciones que se han desarrollado.
- En última instancia, muchas técnicas se basan en modelar la función de reflectancia de la superficie, es decir, cuánta luz se refleja en cada dirección. Esta función de reflectancia debe ser invertible . Se miden las intensidades de la luz reflejada hacia la cámara y la función de reflectancia inversa se ajusta a las intensidades medidas, lo que da como resultado una solución única para el vector normal.
BRDF generales y más allá
Según el modelo de función de distribución de reflectancia bidireccional (BRDF), una superficie puede distribuir la cantidad de luz que recibe en cualquier dirección hacia afuera. Este es el modelo más conocido para superficies opacas . Se han desarrollado algunas técnicas para modelar (casi) BRDF generales. En la práctica, todos estos requieren muchas fuentes de luz para obtener datos fiables. Estos son métodos en los que se pueden medir superficies con BRDF generales.
- Determine el BRDF explícito antes de escanear. Para hacer esto, se requiere una superficie diferente que tenga el mismo o un BRDF muy similar, de la cual ya se conoce la geometría real (o al menos los vectores normales para muchos puntos de la superficie). A continuación, las luces se iluminan individualmente sobre la superficie conocida y se mide la cantidad de reflexión en la cámara. Con esta información, se puede crear una tabla de búsqueda que mapee las intensidades reflejadas para cada fuente de luz a una lista de posibles vectores normales. Esto impone restricciones a los posibles vectores normales que puede tener la superficie y reduce el problema del estéreo fotométrico a una interpolación entre mediciones. Las superficies típicas conocidas para calibrar la tabla de consulta son esferas para su amplia variedad de orientaciones de superficie.
- Restringir el BRDF para que sea simétrico. Si el BRDF es simétrico, la dirección de la luz se puede restringir a un cono sobre la dirección de la cámara. El cono depende del propio BRDF, el vector normal de la superficie y la intensidad medida. Dadas las intensidades medidas suficientes y las direcciones de luz resultantes, estos conos pueden aproximarse y, por lo tanto, los vectores normales de la superficie.
Se han realizado algunos avances hacia el modelado de superficies aún más generales, como las funciones de distribución bidireccional que varían espacialmente (SVBRDF), las funciones de distribución de reflectancia de dispersión superficial bidireccional (BSSRDF) y la contabilidad de las interreflexiones . Sin embargo, estos métodos siguen siendo bastante restrictivos en estéreo fotométrico. Se han obtenido mejores resultados con luz estructurada .