Pour donner vie au mode Cinématographique d’iPhone, nous avons étudié de près comment les cinéastes utilisent la bascule de point afin de renforcer l’intensité dramatique et émotive.
Sur les grands plateaux de tournage, la mise au point sollicite l’expertise de toute une équipe. Entre autres, à la direction photo, on détermine ce qui doit ressortir dans le cadre et quand faire les transitions. Puis, à la prise de vues, on veille à ce que les caméras exécutent ces transitions de façon fluide, au bon moment, en captant chaque sujet avec une parfaite netteté.
Automatiser un tel processus sur iPhone représentait un défi immense.
Nous avons d’abord dû générer des cartes de profondeur détaillées, afin que le mode Cinématographique connaisse la distance précise entre les personnes, objets et animaux d’une même scène. Puis – vidéo oblige – produire ces données en continu, au rythme de 30 images par seconde.
Nous avons aussi appris au Neural Engine à penser comme un expert. Il peut ainsi décider en temps réel sur qui ou quoi faire la mise au point, puis opérer chaque transition de façon fluide. Et quand vous voulez un contrôle créatif accru, la mise au point peut être réglée manuellement, pendant ou après le tournage.
Informatiquement parlant, il nous fallait une puce vraiment capable d’en prendre. Il nous fallait l’A15 Bionic.
La puissance de calcul nécessaire pour exécuter les algorithmes d’apprentissage machine, le rendu des transitions automatiques, les changements de point manuels et l’étalonnage en Dolby Vision – tout ça en temps réel – est absolument colossale.
C’est comme avoir tout Hollywood dans votre poche.