CINXE.COM

<html> <head> <title>Reconstru莽茫o de Faces 3D Atrav茅s de Espa莽os de Componentes Principais </title> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <link rel="stylesheet" type="text/css" href="white.css"--> <script src="http://www.vision.ime.usp.br/~jmena/jmena.js" type="text/javascript"></script> <script src="http://www.google-analytics.com/urchin.js" type="text/javascript"> </script> </head> <body> <div id="header"> <center> <h2> Reconstru莽茫o de faces 3D atrav茅s de espa莽os de componentes principais </h2> </center> </div> <br><p> <div class="left"> <img src="images/meanFace.png" width=120> </div> <div class="right"> <table> <tr> <td><strong>Aluno</strong>:</td> <td><a href="http://www.vision.ime.usp.br/~jmena">Jes煤s P. Mena-Chalco</a></td> </tr> <tr> <td><strong>Orientador</strong>:</td> <td><a href="http://www.ime.usp.br/~cesar">Prof. Dr. Roberto Marcondes Cesar Junior</a> (IME-USP)</td> </tr> <tr> <td><strong>Co-orientador</strong>:</td> <td><a href="http://w3.impa.br/~lvelho/">Prof. Dr. Luiz Velho</a> (IMPA)</td> </tr> </table> <br><p> <ul> <li> Texto completo [<a href="http://professor.ufabc.edu.br/~jesus.mena/publications/pdf/tese-face3D-jmena.pdf">PDF(~16MB)</a> ] <li> <i>slides</i> de apresenta莽茫o (14/10/2010) [ <a href="http://professor.ufabc.edu.br/~jesus.mena/publications/pdf/tese-face3D-jmena_slides.pdf">PDF(~16MB)</a> ] <li> <i>poster</i> [<a href="http://professor.ufabc.edu.br/~jesus.mena/publications/pdf/sibgrapi-wtd-2011-jmena-poster.pdf">PDF(~8MB)</a> ] </ul> <strong>Resumo</strong> <font size=-1> O processo de reconstru莽茫o de modelos faciais 3D (geometria facial) dada uma fotografia 2D (textura facial) 茅 um t贸pico relevante na 谩rea de <i>Vis茫o Computacional</i>, <i>Computa莽茫o Gr谩fica</i>, e <i>Reconhecimento de Padr玫es</i>, que vem recebendo especial aten莽茫o da comunidade cient铆fica. <br> Neste trabalho, apresentamos um m茅todo de <i>fotografia facial 3D</i> baseada em um banco de dados de express玫es faciais composto por geometria e textura facial. O m茅todo proposto permite obter uma representa莽茫o de geometria facial 3D dada apenas uma fotografia 2D e um conjunto de pontos caracter铆sticos faciais. Os dados correspondentes 脿 fotografia 2D sofrem uma s茅rie de transforma莽玫es atrav茅s de espa莽os de textura e geometria previamente estimados. Na etapa de treinamento, pontos caracter铆sticos faciais das amostras do banco de dados e sua proje莽茫o em espa莽os de componentes principais s茫o utilizados para representar o banco de dados completo, definindo uma base ortonormal de textura e outra de geometria. Na etapa de reconstru莽茫o de uma face, dada uma fotografia 2D, a textura facial, limitada por seus pontos caracter铆sticos correspondentes, 茅 utilizada para projetar a face de entrada na base de geometria obtida no treinamento. Testes considerando um <a href="http://www.vision.ime.usp.br/~jmena/IMPA-FACE3D/">banco de dados de faces 3D (especialmente criado para este trabalho)</a>, conjuntamente com a ado莽茫o de uma m茅trica, mostram bons resultados de reconstru莽茫o facial 3D, corroborando assim a efici锚ncia e aplicabilidade dada a baixa complexidade espacial e temporal do m茅todo proposto. <br> Adicionalmente 脿 reconstru莽茫o facial, neste trabalho foram exploradas duas aplica莽玫es relacionadas 脿 (i) transfer锚ncia de express玫es faciais 3D, e 脿 (ii) caricaturiza莽茫o de faces 3D utilizando uma abordagem baseada em propor莽玫es de elementos faciais quando confrontadas a uma face m茅dia. Os resultados destas aplica莽玫es mostram a r谩pida e simples s铆ntese de novos modelos 3D com novas express玫es e novas propor莽玫es faciais exageradas, 煤teis para a anima莽茫o facial 3D. </font> <br><p> <br><p> <center> <table border=0> <tr><td> <table border=0> <tr> <td><img src="images/animacao/diagrama.png" height=400></td> <td><img src="images/animacao/face3D.gif" height=120> </td> </tr> </table> </td></tr> </table> </center> <br><p> <hr width=80%> <br><p> Baseado nos trabalhos de <a href="http://dx.doi.org/10.1145/1073204.1073209">Vlasic <i>et al.</i> (2005)</a> e <a href="http://dx.doi.org/10.1109/SIBGRAPI.2006.18">Mac锚do <i>et al.</i> (2006)</a>, foi criado um m茅todo para a reconstru莽茫o de faces 3D a partir de uma imagem 2D colorida, usando um conjunto de treinamento composto por informa莽玫es da forma geom茅trica da face associada com sua informa莽茫o de textura, i.e., os dados de treinamento cont茅m informa莽玫es de textura e geometria registradas. Assim, um determinado valor de textura est谩 associado a cada v茅rtice no dado de geometria (茅 interessante notar que esses trabalhos pr茅vios n茫o exploram informa莽茫o 3D).<br><P> O conjunto de treinamento 茅 composto por um n煤mero pequeno de faces 3D correspondentes 脿 face neutra mais as seis express玫es faciais universais. Veja na seguinte figura um esquema de forma莽茫o do conjunto de treinamento<br><p> <center> <img src="images/formacao-conjunto-treinamento.png" width=700> </center> <br><p> Nossa abordagem usa an谩lise de componentes principais (PCA) para representar faces 3D atrav茅s de espa莽os de textura e de forma geom茅trica (ambos correlacionados mas analisados de forma separada). No m茅todo de reconstru莽茫o criado faz-se uso de um modelo parametrizado da face 3D composto por duas bases ortonormais separadas que representam a textura e a forma geom茅trica, respectivamente.<br> Dada como entrada uma imagem colorida 2D de uma face frontal a ser reconstru铆da em 3D, conjuntamente com seus marcos caracter铆sticos faciais (modelo inicial), s茫o extra铆das as informa莽玫es de textura seguindo uma estrat茅gia de subdivis茫o triangular do modelo de face inicial em 2D, enquanto a forma geom茅trica da face 3D 茅 reproduzida projetando a informa莽茫o de textura sobre um espa莽o de rela莽茫o 茅 fact铆vel pois intuitivamente uma face humana pode ser modelada por uma combina莽茫o linear de faces de diferentes pessoas com diferentes express玫es faciais. Finalmente, a informa莽茫o de textura 茅 mapeada diretamente na forma geom茅trica obtida. <br><p> <center> <img src="images/esquema-reconstrucao.gif"> </center> <br><p> Veja na seguinte figura o fluxograma do m茅todo proposto para as etapas de treinamento e reconstru莽茫o de faces 3D. Para a etapa de treinamento s茫o usadas as fotografias 2D, suas correspondentes formas faciais 3D e os marcos caracter铆sticos faciais 3D. J谩 para a etapa de reconstru莽茫o 茅 considerada apenas uma fotografia 2D, com seus correspondentes marcos caracter铆sticos faciais 2D. <br><p> <br><p> <center> <img src="images/fluxograma.png" height=400> </center> <br><p> Por outro lado, a qualidade da reconstru莽茫o de faces 3D baseada em amostras reais tem sido pouco explorada por pesquisadores da 谩rea. As avalia莽玫es das reconstru莽玫es de modelos de face 3D geralmente s茫o realizadas de forma subjetiva e baseadas apenas no confronto ou inspe莽茫o visual das formas geom茅tricas da face 3D real e da face 3D reconstru铆da. A medida proposta corresponde 脿 similaridade entre o modelo da face 3D real e o modelo da face 3D reconstru铆do. O procedimento definido consiste de duas etapas: (i) alinhamento dos modelos faciais a fim de registrar as duas nuvens de pontos que comp玫em as faces 3D; e (ii) estima莽茫o das dist芒ncias locais entre os modelos de face real e reconstru铆do. Para esta segunda etapa, consideramos o algoritmo de proje莽茫o dos vetores normais do modelo reconstru铆do sobre o modelo de face real. Denominamos esta medida como <i>mapa de dist芒ncias de proje莽茫o</i>. Veja na seguinte figura um exemplo de alinhamento de modelos faciais e cria莽茫o de tr锚s mapas de dist芒ncias de proje莽茫o. <br><p> <br><p> <center> <img src="images/mapa-distancias.png" width=600> </center> <br><p> <h3>Exemplo de reconstru莽茫o, transfer锚ncia de express玫es e caricaturiza莽茫o facial 3D</h3> <table border=0> <tr><td> <table> <tr> <td> </td> <td></td> <td align=center><img src="./images/elvis/row02.jpg" width=40></td> <td align=center> <a href="./images/elvis/elvis-expressoes.jpg"> <img src="./images/elvis/elvis-expressoes.jpg" height=120> </a> <br> Transfer锚ncia de express玫es faciais </td> </tr> <tr> <td align=center> <img src="./images/elvis/elvis-presley.jpg" height=170> <br> Fotografia 2D (*) </td> <td><img src="./images/elvis/row01.jpg" height=20></td> <td align=center> <img src="./images/elvis/elvis-00-reconstructed.gif" height=120><br> Reconstrução 3D </td> <td> </td> </tr> <tr> <td> </td> <td></td> <td align=center><img src="./images/elvis/row03.jpg" width=40></td> <td align=center> <a href="./images/elvis/elvis-caricaturas.jpg"> <img src="./images/elvis/elvis-caricaturas.jpg" height=120> </a> <br> Caricaturiza莽茫o 3D baseada em propor莽玫es de elementos faciais </td> </tr> </table> </td></tr> </table> <br> <font size=-1>(*) Fotografia extra铆da da seguinte <a href="http://www.topnews.in/light/people/elvis-presley">p谩gina web</a>.</font> <br><p> <br><p> <h3>Outros resultados</h3> <table border="0" cellspacing="4" cellpadding="2"> <tr> <td align=center width="25%"><a href="images/reconstrucao-01.png"><img src="images/reconstrucao-01.png" height=120 border=1></a></td> <td align=center width="25%"><a href="images/reconstrucao-02.png"><img src="images/reconstrucao-02.png" height=120 border=1></a></td> <td align=center width="25%"><a href="images/transferencia-de-expressoes.png"><img src="images/transferencia-de-expressoes.png" height=120 border=1></a></td> <td align=center width="25%"><a href="images/caricatura-3D.png"><img src="images/caricatura-3D.png" height=120 border=1></a></td> </tr> <tr> <td bgcolor="#cccccc"> <table border="0"> <tr><td align=center> <font size=-1>Reconstru莽茫o de fotos presentes no treinamento</font> </td></tr> </table> </td> <td bgcolor="#cccccc"> <table border="0"> <tr><td align=center> <font size=-1>Reconstru莽茫o de fotos n茫o-presentes no treinamento</font> </td></tr> </table> </td> <td bgcolor="#cccccc"> <table border="0"> <tr><td align=center> <font size=-1>Transfer锚ncias de express玫es faciais (a face indicada com um quadrado foi usada para transferir a exp. facial)</font> </td></tr> </table> </td> <td bgcolor="#cccccc"> <table border="0"> <tr><td align=center> <font size=-1>Caricaturiza莽茫o por propor莽玫es de elementos faciais 3D</font> </td></tr> </table> </td> </tr> <tr></tr> <tr> <td align=center width="25%"><a href="images/mapa-reconstrucao-01.png"><img src="images/mapa-reconstrucao-01.png" height=115 border=1></a></td> <td align=center width="25%"><a href="images/mapa-reconstrucao-02.png"><img src="images/mapa-reconstrucao-02.png" height=115 border=1></a></td> <td align=center width="25%"><a href="images/transferencia-de-expressoes-2.png"><img src="images/transferencia-de-expressoes-2.png" height=115 border=1></a></td> <td align=center width="25%"><a href="images/caricatura-3D-2.png"><img src="images/caricatura-3D-2.png" height=115 border=1></a></td> </tr> <tr> <td bgcolor="#cccccc" align=center> <table border="0"> <tr><td align=center> <font size=-1>Mapa de dist芒ncias de proje莽茫o</font> </td></tr> </table> </td> <td bgcolor="#cccccc" align=center> <table border="0"> <tr><td align=center> <font size=-1>Mapa de dist芒ncias de proje莽茫o</font> </td></tr> </table> </td> <td bgcolor="#cccccc"> <table border="0"> <tr><td align=center> <font size=-1>Transfer锚ncias de express玫es faciais (a face indicada com um quadrado foi usada para transferir a exp. facial)</font> </td></tr> </table> </td> <td bgcolor="#cccccc"> <table border="0"> <tr><td align=center> <font size=-1>Caricaturiza莽茫o por propor莽玫es de elementos faciais 3D</font> </td></tr> </table> </td> </tr> </table> <br><p> <br><p> <h3>Publica莽玫es elaboradas durante o doutorado</h3> Durante o per铆odo de doutorado, foram redigidas, em co-autoria, as seguintes publica莽玫es relacionadas ao tema de pesquisa de faces 3D: <ol> <li> <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>, <a href="http://w3.impa.br/~ijamj/">I. Macêdo</a>, <a href="http://lvelho.impa.br/">L. Velho</a>, and <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a> <b>3D face computational photography using PCA spaces</b>. <em>Journal: The Visual Computer</em>, 25(10):899-909, 2009. <br><p> <li> <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>, <a href="http://w3.impa.br/~ijamj/">I. Macêdo</a>, <a href="http://lvelho.impa.br/">L. Velho</a>, and <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a> <b>PCA-based 3D Face Photography</b>. In Cláudio Rosito Jung and Marcelo Walter, editors, <em> Proceedings of the Brazilian Symposium on Computer Graphics and Image Processing, 21 (SIBGRAPI)</em>, pages 313-320, Los Alamitos, Oct. 12-15, 2008 2008. IEEE Computer Society. <br><p> <li> A. Mattos, <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>, <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a>, and <a href="http://lvelho.impa.br/">L. Velho</a>. <b>3D linear facial animation based on real data</b>. In <em>23rd SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2010</em>, pages 271-278, Gramado, 2010. <br><p> <li> <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>, <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a>, and <a href="http://lvelho.impa.br/">L. Velho</a>. <b>Banco de Dados de Faces 3D: IMPA-FACE3D</b>. Technical report, Instituto de Matem谩tica Pura e Aplicada - IMPA - VISGRAF Laboratory, Rio de Janeiro, RJ, Brazil, November 2008. TR 01. <br><p> <li> S. C. D. Pinto, <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>, <a href="http://www.vision.ime.usp.br/~fabriciolopes/">F. M. Lopes</a>, and <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a> <b>Preliminary results on 3D facial expression analysis using 2D and 3D wavelet transforms</b>. Poster session - Works in Progress, 2010. SIBGRAPI 2010. <br><p> <li> S. C. D. Pinto, <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>, <a href="http://www.vision.ime.usp.br/~fabriciolopes/">F. M. Lopes</a>, <a href="http://lvelho.impa.br/">L. Velho</a>, and <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a> <b>3D Facial expression analysis by using 2D and 3D wavelet transforms</b>. In <em>IEEE International Conference on Image Processing 2011</em>, pages 1-4, Belgium, 2011. (aceito para apresenta莽茫o oral). </ol> <br><p> Adicionalmente, foram realizados trabalhos em colabora莽茫o com diferentes pesquisadores: <ol> <li> <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u> and <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a> <b>Prospec莽茫o de dados acad锚micos de curr铆culos Lattes atrav茅s de scriptLattes</b>. <em>Cap铆tulo de Livro - 2o. Encontro Brasileiro de Bibliometria e Cientometria 2010</em> (a ser publicado em 2011). Editoras: Maria Cristina P. I. Hayashi (UFSCar) e Jacqueline Leta (UFRJ). <br><p> <li> <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u> and <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a> <b>scriptLattes: An open-source knowledge extraction system from the Lattes platform</b>. <em>Journal of the Brazilian Computer Society</em>, 15(4):31-39, 2009. <br><p> <li> <a href="http://ncsc.ufabc.edu.br/zana/">Y. Zana</a>, <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>, and <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a> <b>A Novel Polar-based Human Face Recognition Computational Model</b>. <em>Brazilian Journal of Medical and Biological Research</em>, 42(7):637-646, 2009. <br><p> <li> <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>, H. Carrer, <a href="http://ncsc.ufabc.edu.br/zana/">Y. Zana</a>, and <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a> <b>Identification of protein coding regions using the modified Gabor-wavelet transform</b>. <em>IEEE/ACM Transactions on Computational Biology and Bioinformatics</em>, 5:198-207, 2008. <br><p> <li> <a href="http://ncsc.ufabc.edu.br/zana/">Y. Zana</a>, <a href="http://www.ime.usp.br/~cesar/">R. M. Cesar-Jr.</a>, and <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>. <b>Human and machine recognition of Fourier-Bessel filtered face images</b>. In <em>Proceedings of the 7th International Conference on Automatic Face and Gesture Recognition</em>, IEEE, pages 299-304, Southampton, England, 10-12 April 2006. <br><p> <li> J. Chuctaya, <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>, G. Humpire, A. Rodriguez, C. Beltr谩n, and R. Pati帽o. <b>Detecci贸n de huevos helmintos mediante plantillas din谩micas</b>. In <em>Conferencia Latinoamericana de Inform谩tica - CLEI</em>, pages 1-12, 2010. <br><p> <li> E. Perez and <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>. <b>A new approach to detect communities in multi-weighted co-authorship networks</b>. In <em>SCCC 2010, Proceedings of the XXIX International Conference of the Chilean Computer Science Society</em>, IEEE Computer Society, Antofagasta, Chile, pages 131-138, 2010. <br><p> <li> R. Medina Rodriguez and <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>. <b>Firmas Gen茅ticas en secuencias de ADN: Un an谩lisis en Regiones Codificantes y no Codificantes de Prote铆nas</b>. In <em>I Concurso de trabajos de Pregrado en CGI - II Simposio Peruano de Computaci贸n Gr谩fica y Procesamiento de Im谩genes, SCGI-2008</em>, Dec. 27-28 2008. <br><p> <li> C. Portugal Zambrano and <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>. <b>Estimaci贸n de distancias absolutas utilizando un puntero l谩ser y una c谩mara web</b>. In <em>II Concurso de trabajos de Pregrado en CGI - III Simposio Peruano de Computaci贸n Gr谩fica y Procesamiento de Im谩genes, SCGI-2009</em>, Dec. 28-29 2009. <br><p> <li> <a href="http://www.vision.ime.usp.br/~maysa/">M. M. G. Macedo</a>, <u><a href="http://www.vision.ime.usp.br/~jmena/">J. P. Mena-Chalco</a></u>, C. Mekkaoui, and <a href="http://www.ime.usp.br/~mjack/">M. P. Jackowski</a>. <b>Blood vessel tracking in MRA images</b>, 2010. Technical Video - SIBGRAPI 2010 - Video Festival / Single Track. </ol> <br><p> <h3>Informa莽茫o adicional</h3> <ul> <li> <a href="http://www.vision.ime.usp.br/~jmena/IMPA-FACE3D">Banco de dados IMPA-FACE3D</a>. <p> <li> Exemplo de subdivis茫o: <ul> <li> Figura 3.7 [<a href=images/fig3-7.jpeg>PNG</a> | <a href=results/fig3-7.tgz>TGZ</a> ] </ul> <p> <li> Resultados: <ul> <li> Resultados de reconstru莽茫o de faces 3D: <ul> <li> Figura 6.4: [ <a href=images/fig6-4.jpeg>PNG</a> | <a href=results/fig6-4.tgz>TGZ</a> ] <li> Figura 6.5: [ <a href=images/fig6-5.jpeg>PNG</a> | <a href=results/fig6-5.tgz>TGZ</a> ] <li> Figura 6.6: [ <a href=images/fig6-6.jpeg>PNG</a> | <a href=results/fig6-6.tgz>TGZ</a> ] <li> Figura 6.8: [ <a href=images/fig6-8.jpeg>PNG</a> | <a href=results/fig6-8.tgz>TGZ</a> ] </ul> <li> Resultados de transfer锚ncias de express玫es faciais: <ul> <li> Figuras 6.10 - 6.11: [ <a href=images/fig6-10.jpeg>PNG</a> | <a href=results/fig6-10-11.tgz>TGZ</a> ] </ul> <li> Resultados de caricaturiza莽茫o de faces 3D: <ul> <li> Figuras 6.12 - 6.13: [ <a href=images/fig6-12.jpeg>PNG</a> | <a href=results/fig6-12-13.tgz>TGZ</a> ] </ul> (*) A visualiza莽茫o dos modelos pode ser realizada por meio do <a href="http://meshlab.sourceforge.net">Meshlab</a>. </ul> <p> <li> Exame de qualifica莽茫o (07/10/2009): <ul> <li> Texto de qualifica莽茫o [ <a href=quali-face3D-jmena.pdf>PDF (~6.8M)</a> ] <li> <i>slides</i> de apresenta莽茫o [ <a href=quali-face3D-jmena-slides.pdf>PDF (~24M)</a> ] </ul> <p> <li> Refer锚ncias bibliogr谩ficas [ <a href=bibliografia_bib.html>BIB</a> | <a href=bibliografia.html>HTML</a> ] <br> (*) O histograma 茅 um indicador (fraco) de referencias a publica莽玫es de pesquisas recentes no texto redigido. Veja maiores detalhes <a href="http://www.vision.ime.usp.br/~jmena/stuff/bibHist">na seguinte p谩gina</a>. <br> <img src=bibliografia.png width=700> <p> </ul> <div align="right" > <a href="images/mapa-de-deslocamentos.png"><img src="images/mapa-de-deslocamentos.png" height=26 border=1> </a> </div> </div> <div id="footer"> <script type="text/javascript"> _uacct = "UA-98171-2"; urchinTracker(); </script> <script type="text/javascript"> xaddress(); </script> </div> </body> </html>