Projet de réalisation de sculptures numériques de visages ou de corps humains à partir de n photographies

1. Objet du document : ce document a pour objet de décrire un projet susceptible d’être conduit dans le cadre général du multimédia au CNAM sur une année scolaire du cycle C « Conception d’applications multimédias « 

2. Objet du projet : le projet a pour but de créer des objet 3D réels, manipulables, à partir de photographies et est restreint à la représentation de visages ou de corps entiers.
   
   Partir de photographie et non de scanners 3D est une contrainte forte, mais motivé par la banalisation de la photographie et en particulier de la photographie numérique. Cette voie ouvre la porte à des applications grand public de type Web visant par exemple à graver dans un cube de verre la tète du petit dernier à partir de deux photos face et profil.
   
   De manière plus générale, le projet doit être vu comme une étude préliminaire de faisabilité avant un projet industriel. Par exemple, dans le domaine de la création d’objets physiques il s’agira d’utiliser des machines existantes et économiques disponibles dans le commerce par exemple des imprimantes 3D couleur qui sculptent par couches dans du plâtre. Pour le modèle 3D on s’en tiendra à des formats « standards ».
   
   L’originalité du projet réside plus dans le mariage de divers études et outils pour réaliser une chaîne complète d’opérations partant de photos à l’objet sur un champs restreint : l’humain.
   
   
3. Description générale du projet : le schéma général est simple : photographier la scène, en déduire par traitements plus ou moins automatisés un modèle 3D, le traiter en vue de l’améliorer esthétiquement parlant d’une part et l’adapter à la machine de réalisation 3D d’autre part, et produire l’objet. A la suite de ce processus des étapes manuelle seront éventuellement nécessaires, par exemple pour lisser l’objet obtenu ou le peindre, voir d’en faire un objet 3D en bronze par le procédé de cire perdue.
   On peut envisager trois niveaux de complexité croissante décrits ci-dessous, et qui rendent le projet plus souple en terme de délais.
   
4. Sous projet « cube de verre » : Il s’agit de partir soit de deux photographies face et profil et de créer un modèle 3D avec un peu d’interactivité (marquage par l’utilisateur de points remarquables tel la pointe du nez sur les deux photo), soit de n photo prise du modèle en tournant autour, auquel cas le modèle 3D pourrait être déduit des photos automatiquement. n ne devrait pas dépasser la vingtaine.
   La restitution de la tête est réalisée par des micros bulle dans un cristal de verre. Les machines existent et produisent des cubes de verre de 5x5x10 cm typiquement, voire 15 cm x 15 cm x 20 cm de hauteur plus à un coût modique de quelques dizaines d’€.
   La difficulté réside dans la diversité des types humains (enfants/adultes, homme/femme, blanc/noir …), dans la présence de chevelures cachant une grande partie du visage telles les oreilles.
   
5. Sous projet « corps statiques » : il s’agit toujours de partir de n photos d’un modèle humain qui ne bouge pas pour en créer une sculpture réelle, raisonnablement de petites dimensions : 30 cm de hauteur pour fixer les idées ; réaliser une sculpture grandeur nature n’est guère faisable qu’à grands frais.
   J’ai identifié quatre types de procédés : la stéréo lithographie, le frittage de polystyrènes, un procédé au plâtre, et l’usinage par fraiseuse programmable (dans du bois par exemple).
   
   La difficulté ne me semble pas être dans la production de l’objet matériel, bien que les procédés ci-dessus ne soient pas très répandus, mais dans la modélisation du corps et de ses vêtements. On pourra simplifier en se limitant aux corps nus de femmes jeunes de type « caucasiennes ».
   
   Un sous-produit de ce projet serait la reproduction de statues, avec réduction éventuelle de la taille et à bon marché (?).
   
6. Sous projet « corps dynamiques » : il s’agit toujours de réaliser un objet 3D en plâtre par exemple et donc parfaitement statique, sauf que les attitudes possibles peuvent être choisies à loisir et sans limites. Les photos de départ sont nombreuses, la centaines, et représentent le modèle « sous toutes les coutures ». Il s’agit donc de déduire de ces photos un modèle 3D du corps en général, de l’animer pour lui donner la pose souhaitée et d’en faire un objet 3D selon les techniques vue ci-dessus. Notons qu’il n’y a pas de contraintes de temps réel.
   
7. Commentaires : Le dernier sous projet est à mon avis le plus complexe : il ne s’agit pas de créer des humanoïdes, mais des hommes (femmes) dans des poses plausibles et esthétiques. Je n’ai pas trouvé d’antécédents sur ce sujet, et c’est probablement un projet de recherche ardu.
   
   Le sous projet paragraphe 4 « cube de verre » est du domaine du « connu ». Faut-il encore prendre connaissance de ce connu ! La difficulté me semble ailleurs : réaliser une chaîne de production la plus automatisée possible en vue d’industrialisation. De plus ce sous projet peut tirer partie d’actives recherches actuelles : l’identification biométrique par reconnaissance faciale et la recherche d’animation de visages prononçant des phrases pour la visiophonie.
   
   Le sous projet « corps statiques » me semble plus complexe car il s’agit de créer un modèle 3D réaliste et de le contraindre au procédé de réalisation. On ne peut pas rêver de reproduire les cheveux un à un, ni les cils …Quant à produire une statue polychrome, c’est encore me semble-t-il un challenge ! Est-ce seulement intéressant (= vendable) ?