Bible — Design d'Interaction en Réalité Augmentée

Document de référence public. Histoire complète, principes, techniques, outils (état 2026), études de cas, glossaire et bibliographie. Chaque fait est sourcé.

Chapitre 1 — Définitions & cadre conceptuel

1.1 Qu'est-ce que la Réalité Augmentée ?

La réalité augmentée (AR) désigne un ensemble de technologies qui superposent des informations numériques — visuelles, sonores ou haptiques — à la perception du monde physique en temps réel. Contrairement à la réalité virtuelle (VR) qui remplace l'environnement, l'AR l'augmente : l'utilisateur reste ancré dans l'espace physique.

La définition de référence reste celle de Ronald Azuma (1997) : un système est qualifié de « réalité augmentée » s'il combine le réel et le virtuel, est interactif en temps réel, et fonctionne dans un espace 3D.

Azuma, R. (1997). A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments, 6(4), 355–385. https://doi.org/10.1162/pres.1997.6.4.355

1.2 Le continuum Réalité-Virtualité (Milgram & Kishino, 1994)

Paul Milgram et Fumio Kishino ont proposé en 1994 un cadre conceptuel fondamental : le Reality-Virtuality Continuum. Ce modèle place l'environnement réel et l'environnement virtuel aux deux extrémités d'un spectre, avec entre les deux les Environnements de Réalité Mixte (Mixed Reality) — parmi lesquels la Réalité Augmentée (proche du réel) et la Virtualité Augmentée (proche du virtuel).

Ce continuum est issu de deux publications distinctes (souvent confondues) :

1. Milgram, P., & Kishino, F. (1994). A Taxonomy of Mixed Reality Visual Displays. IEICE Transactions on Information and Systems, E77-D(12), 1321–1329.
2. Milgram, P., Takemura, H., Utsumi, A., & Kishino, F. (1994/1995). Augmented Reality: A Class of Displays on the Reality-Virtuality Continuum. SPIE Proceedings, Vol. 2351, pp. 282–292.

Source : https://en.wikipedia.org/wiki/Reality%E2%80%93virtuality_continuum

1.3 Vocabulaire fondamental

Chapitre 2 — Histoire complète (chronologique, sourcée)

2.1 Les pionniers (1955–1970)

1955 — Morton Heilig, "The Cinema of the Future" Morton Heilig publie un essai visionnaire décrivant un cinéma multisensoriel total. Ce texte préfigure l'AR/VR mais n'est pas encore un dispositif fonctionnel. (Note : la date souvent citée de 1957 est incorrecte — l'essai date de 1955.)

1962 — Sensorama Heilig construit et introduit le Sensorama, une machine d'arcade immersive offrant images stéréoscopiques, son stéréo, vibrations et odeurs. Le brevet US n°3,050,870 est déposé la même année.

Source : https://en.wikipedia.org/wiki/Sensorama

1965 — Ivan Sutherland, "The Ultimate Display" Sutherland publie ce texte fondateur décrivant une interface homme-machine idéale où l'écran contrôle l'existence de matière. Ce texte pose les bases conceptuelles de l'AR et de la VR.

Sutherland, I. (1965). The Ultimate Display. Proceedings of IFIP Congress 1965, vol. 2, pp. 506–508. Source : https://en.wikipedia.org/wiki/Ivan_Sutherland

1968 — "Sword of Damocles" Sutherland, avec l'aide de son étudiant Bob Sproull, crée le premier casque à réalité augmentée à Harvard. L'appareil, suspendu au plafond (d'où son surnom), affiche des graphiques vectoriels simples ancrés dans l'espace physique. C'est le premier système de tracking de tête couplé à un display.

Source : https://en.wikipedia.org/wiki/Sword_of_Damocles_(head-mounted_display)

2.2 L'ère de la recherche académique (1970–1995)

1975 — Myron Krueger, Videoplace Première démonstration publique de Videoplace au Milwaukee Art Museum. Krueger crée un environnement réactif où les silhouettes des participants capturées par caméra interagissent avec des entités graphiques. Ce n'est pas de l'AR classique mais inaugure l'interaction sans contact. (Note : 1974 désigne le début de la recherche, non la démonstration publique.)

Sources : https://en.wikipedia.org/wiki/Myron_Krueger · https://en.wikipedia.org/wiki/Videoplace

1985 — NASA VIEW (Virtual Interface Environment Workstation) Développé au NASA Ames Research Center par Scott Fisher et son équipe, VIEW est un système de simulation télérobotique qui fusionne vidéo réelle et graphiques synthétiques. C'est l'un des premiers systèmes combinant tracking de tête, données de gant et affichage immersif.

Source : https://en.wikipedia.org/wiki/Scott_Fisher_(technologist)

1984–1987 — Jaron Lanier & VPL Research Jaron Lanier fonde VPL Research en 1984. La société commercialise le DataGlove et l'EyePhone (1987), premiers équipements VR/AR commerciaux. Ces outils deviennent les références de la décennie pour la recherche en interaction.

Source : https://en.wikipedia.org/wiki/VPL_Research

1994 — Milgram & Kishino — Continuum Réalité-Virtualité Publication du cadre taxonomique qui structure encore aujourd'hui la recherche en AR/VR/MR (voir §1.2).

2.3 L'AR prend forme (1997–2010)

1997 — Ronald Azuma, survey fondateur Publication du premier survey académique de référence sur la réalité augmentée, qui définit les trois critères canoniques du champ.

Azuma, R. (1997). A Survey of Augmented Reality. Presence, 6(4), 355–385. https://doi.org/10.1162/pres.1997.6.4.355

1997 — Steven Feiner, "Touring Machine" Feiner et ses collègues à Columbia présentent le premier système d'AR mobile extérieur permettant d'explorer un campus universitaire. Backpack avec ordinateur, GPS, boussole et HMD.

Feiner, S., MacIntyre, B., Höllerer, T., & Webster, A. (1997). A touring machine: prototyping 3D mobile augmented reality systems for exploring the urban environment. Digest of Papers. First International Symposium on Wearable Computers (ISWC '97). IEEE, pp. 74–81. https://doi.org/10.1109/ISWC.1997.629922

1999 — Hirokazu Kato, ARToolKit Kato et Billinghurst publient ARToolKit, première bibliothèque open source de tracking par marqueurs. Elle démocratise radicalement l'AR en permettant son développement sans matériel spécialisé.

Source : https://en.wikipedia.org/wiki/ARToolKit Kato, H., & Billinghurst, M. (1999). Marker Tracking and HMD Calibration for a Video-Based Augmented Reality Conferencing System. 2nd IEEE/ACM International Workshop on Augmented Reality (IWAR '99).

2009 — Layar Fondation de Layar à Amsterdam, premier navigateur AR pour smartphone commercialisé. L'application superpose des couches d'information géolocalisée à la vue caméra. Lancé en juin 2009.

Source : https://en.wikipedia.org/wiki/Layar

2.4 L'AR grand public (2012–2020)

2012–2015 — Google Glass Google annonce Google Glass en avril 2012 (Sergey Brin porte un prototype publiquement le 5 avril 2012). Le programme Explorer ouvre en juin 2012 à 1500 $. Distribué à ~8 000 développeurs sélectionnés en avril 2013. Vente grand public le 15 avril 2014 (épuisé le jour même). Le programme s'arrête en janvier 2015.

Source : https://en.wikipedia.org/wiki/Google_Glass

2015–2016 — Microsoft HoloLens Annoncé le 21 janvier 2015 lors de la présentation Windows 10. Le Development Edition (3 000 $) est expédié à partir du 30 mars 2016. Premier HMD AR standalone avec spatial mapping en temps réel.

Source : https://en.wikipedia.org/wiki/Microsoft_HoloLens

2017 — ARKit & ARCore Apple lance ARKit avec iOS 11 (présenté à la WWDC le 5 juin 2017). Google publie ARCore en aperçu développeur le 29 août 2017 (version stable 1.0 : 23 février 2018). Ces deux SDKs font entrer l'AR dans les poches de centaines de millions d'utilisateurs.

Sources : https://en.wikipedia.org/wiki/ARKit · https://en.wikipedia.org/wiki/ARCore

2017–2019 — WebXR Le W3C Immersive Web Working Group publie le premier Public Working Draft de la WebXR Device API le 5 février 2019. WebXR standardise l'accès aux capacités AR/VR depuis un navigateur, succédant à WebVR. En 2026, le statut est Candidate Recommendation Draft (pas encore Recommendation finale).

Source : https://www.w3.org/TR/webxr/

2.5 L'ère spatial computing (2020–2026)

2024 — Apple Vision Pro Annoncé à la WWDC 2023 (5 juin 2023), lancé aux États-Unis le 2 février 2024 (à partir de 3 499 $). Introduit le concept de spatial computing et le visionOS. Passthrough couleur haute résolution. Lancement international en juin–juillet 2024.

Source : https://en.wikipedia.org/wiki/Apple_Vision_Pro

2024–2026 — Convergence AR/VR/IA Les casques à passthrough (Meta Quest 3, Apple Vision Pro) brouillent la frontière entre AR et VR. L'IA générative s'intègre dans les expériences spatiales : génération d'objets 3D en temps réel, compréhension sémantique de l'espace, assistants spatiaux.

Chapitre 3 — Principes fondamentaux du design d'interaction en AR

3.1 Affordances spatiales

En AR, les éléments virtuels doivent signifier leur interactivité sans bénéficier du retour haptique naturel des objets physiques. Les affordances spatiales — visuelles, gestuelles, auditives — sont donc critiques. Don Norman (The Design of Everyday Things, 1988) a théorisé les affordances dans le contexte des objets physiques ; leur transposition en espace mixte constitue un champ de recherche actif.

Principes clés :

• Les objets AR doivent suggérer comment les manipuler (taille, position, cursor, halo)
• Les transitions visuelles signalent l'état interactif (hover, sélection, désactivation)
• La cohérence spatiale entre objets réels et virtuels renforce l'affordance

3.2 Feedback multimodal

L'AR se prive souvent du retour haptique. La compensation passe par :

• Feedback visuel : déformation, changement de couleur, particules, ombre portée sur la surface physique
• Feedback sonore spatial : son ancré à la position de l'objet AR dans l'espace
• Feedback vibrotactile (quand le contrôleur ou le téléphone le permet)

3.3 Présence et ancrage perceptif

La présence en AR — sentiment que les objets virtuels "sont vraiment là" — dépend de :

• Qualité du tracking (latence < 20ms, drift minimal)
• Occlusion correcte : les objets réels cachent les objets virtuels selon la profondeur
• Éclairage cohérent : les objets AR reçoivent la même lumière que la scène réelle
• Qualité du rendu : résolution, anti-aliasing, transparence

3.4 Confort et ergonomie AR

Problèmes spécifiques à l'AR :

• Gorilla arm : tenir le bras levé pour pointer est fatigant (< 2 min pour la plupart des utilisateurs)
• Vergence-accommodation conflict : les yeux convergent vers l'objet réel mais accommodent pour l'affichage — source de fatigue oculaire
• Field of View limité (HoloLens : ~52°, Magic Leap : ~50°) : les objets sortent du FoV si l'utilisateur ne bouge pas la tête
• Luminosité extérieure : les displays AR additifs sont illisibles en plein soleil intense

Bonnes pratiques :

• Réduire la durée des sessions avec HMD (< 20 min pour le grand public)
• Placer les éléments AR dans la zone de confort visuel (1–10 m, hauteur des yeux)
• Ne pas forcer l'utilisateur à lever les bras ; privilégier les gestes basse amplitude
• Proposer des alternatives d'interaction (regards, voix) pour l'accessibilité

3.5 Vie privée et éthique

L'AR à travers des lunettes connectées pose des questions éthiques sans précédent :

• Surveillance invisible : une caméra portée en permanence peut enregistrer l'environnement, les visages, les conversations à l'insu des tiers
• Reconnaissance faciale : interopérabilité avec des bases de données d'identification (interdite par le RGPD en Europe sans consentement explicite)
• Pollution de l'espace public : superposition de publicités ou d'informations dans des espaces partagés sans consentement

Ces questions sont activement débattues dans les instances de standardisation (W3C, ISO) et par les régulateurs (UE AI Act, 2024).

3.6 Accessibilité

• Malvoyants : l'AR peut amplifier visuellement l'environnement, mais les interfaces elles-mêmes doivent avoir un contraste suffisant et des alternatives non-visuelles
• Motricité réduite : le hand tracking doit proposer des alternatives (regard, voix, commutateur)
• Epilepsie : éviter les animations clignotantes (WCAG 2.1, critère 2.3.1)
• Daltonisme : ne jamais communiquer un état par la couleur seule

Chapitre 4 — Techniques & patterns d'interaction AR

4.1 Modes d'entrée

4.2 Sélection et manipulation

Near interaction (objet à portée de main) :

• Pinch-and-grab : saisir un objet virtuel comme un objet physique
• Ray + pinch : projeter un rayon depuis la main, pincer pour sélectionner

Far interaction (objet distant) :

• Raycasting : visée depuis la main ou le regard, sélection par pincement/clic
• Gaze + dwell : regarder un objet pendant N secondes pour le sélectionner (mains-libres)
• Voice + pointing : "this" + désignation gestuelle

Manipulation 3D :

• Translation (déplacer), rotation, mise à l'échelle
• Manipulation directe (6DoF) vs manipulation par proxies (handles, gizmos)
• Contraintes spatiales : snap-to-surface, snap-to-grid, contraintes d'axe

4.3 Ancrage et persistance

• Anchor local : objet ancré à la position de l'appareil au moment de sa création — disparaît si l'appareil redémarre
• World anchor / Cloud anchor : ARCore Cloud Anchors, ARKit Persistent World Tracking — l'objet survit aux sessions et est partageable entre utilisateurs
• Image anchor : déclenché par une image cible (affiche, livre, logo)
• Surface anchor : ancré à un plan détecté (sol, table, mur)
• Spatial anchor service : Azure Spatial Anchors, Google Cloud Anchors — persistance serveur

4.4 Navigation et orientation

En AR, l'utilisateur se déplace dans l'espace physique — la navigation est physique, pas virtuelle. Les défis sont :

• Maintenir la cohérence de l'ancrage quand l'utilisateur se déplace loin du point d'origine
• Indiquer la direction d'objets AR hors champ (flèches directionnelles, mini-carte en overlay)
• Gérer les transitions entre intérieur et extérieur (changement des conditions de tracking)

4.5 UI spatiale diégétique vs non-diégétique

Bonne pratique : préférer le world-locked au head-locked pour éviter la fatigue visuelle ; réserver le head-locked aux informations critiques et transitoires.

Chapitre 5 — Outils & écosystème (état 2026)

5.1 Moteurs de développement

5.2 Web & no-code

5.3 Outils créatifs & expérimentation

5.4 Hardware (état 2026)

Chapitre 6 — Études de cas

6.1 ARToolKit & art interactif (1999–2009)

La diffusion libre d'ARToolKit déclenche une décennie d'expérimentations artistiques. Des artistes et chercheurs utilisent les marqueurs pour créer des installations où des objets virtuels émergent de supports physiques : livres, tableaux, vêtements. C'est l'AR de première génération, limitée en tracking mais accessible.

6.2 Pokémon GO (Niantic, 2016)

Lancé en juillet 2016, Pokémon GO est le premier phénomène AR grand public massif. Sa force n'est pas la qualité de l'AR (basique : pas d'occlusion, pas d'ancrage réel) mais la couche de jeu géolocalisé superposée au monde réel. Plus de 800 millions de téléchargements. Démontre que la valeur de l'AR peut être sociale et géographique plutôt que visuellement sophistiquée.

6.3 ZELLIGE ARTCADE — Kamel Ghabte [K — détails à confirmer]

Installation de médiation culturelle numérique itinérante. La géométrie du zellige marocain est transformée en jeu interactif accessible à tout public. Fait partie de la Collection Mémoires Numériques du Maroc. 52 participations internationales depuis 2017.

[K — détails techniques de l'interaction AR/physique à confirmer par Kamel : stack exact, type d'interaction, matériel.]

6.4 Musées & patrimoine

Des institutions comme le Smithsonian (Washington), le British Museum et le Musée du Louvre ont expérimenté des couches AR sur leurs collections permanentes — permettant de voir des objets fragmentaires reconstitués, des animations de fresques, ou des informations contextuelles superposées. La plupart de ces expériences utilisent ARKit ou ARCore via applications dédiées.

6.5 Formation industrielle & chirurgie

PTC Vuforia et Microsoft HoloLens ont été déployés en formation industrielle : des techniciens voient les étapes d'assemblage superposées directement sur la machine devant eux. En chirurgie, des systèmes AR superposent des IRM en temps réel sur le champ opératoire (études cliniques en cours, non encore standard de soin).

Chapitre 7 — Enjeux actuels & futurs

7.1 IA générative + spatial computing

L'intégration de l'IA générative (LLM, diffusion, 3D generation) dans les expériences AR ouvre des usages inédits :

• Génération d'objets 3D à la demande : l'utilisateur décrit un objet, il apparaît dans l'espace (ex. Luma AI, Shap-E)
• Compréhension sémantique de la scène : l'AR comprend ce qu'elle "voit" (table, chaise, personne) et adapte le contenu
• Assistants spatiaux : un agent IA ancré dans l'espace répond à des questions sur les objets physiques autour de l'utilisateur (ex. Copilot sur Vision Pro)

7.2 Standards ouverts & interopérabilité

Le risque de silos proprietaires (écosystème Apple vs Meta vs Microsoft) freine l'adoption. Les standards ouverts en cours :

• OpenXR (Khronos Group) : API cross-runtime pour AR/VR — https://www.khronos.org/openxr/
• WebXR (W3C) : AR dans le navigateur (voir §2.4)
• USD (Universal Scene Description) : format de scènes 3D inter-opérable (Apple, NVIDIA, Pixar)
• glTF : format de modèles 3D léger pour le web (Khronos) — https://www.khronos.org/gltf/

7.3 Patrimoine & culture

L'AR est un outil puissant pour la transmission culturelle :

• Redonner vie à des objets fragmentaires, des sites archéologiques, des savoir-faire disparus
• Rendre accessible un patrimoine intangible (gestes, sons, contextes historiques)
• Risques : numérisation sans consentement des communautés, appropriation, désincarnation du patrimoine vivant

7.4 Passthrough MR et frontière AR/VR

Avec Meta Quest 3 et Apple Vision Pro, la distinction entre AR (display optique additif) et VR (immersion totale) s'estompe. Le passthrough MR (caméras couleur haute résolution intégrées dans un casque VR) permet de passer en temps réel de l'immersion totale à l'overlay transparent. Cela crée de nouveaux patterns d'interaction et de nouveaux défis de design.

Chapitre 8 — Glossaire (42 termes)

Chapitre 8 — Bibliographie complète

Sources primaires

• Sutherland, I. (1965). The Ultimate Display. Proceedings of IFIP Congress 1965, vol. 2, pp. 506–508.
• Milgram, P., & Kishino, F. (1994). A Taxonomy of Mixed Reality Visual Displays. IEICE Transactions on Information and Systems, E77-D(12), 1321–1329.
• Milgram, P., Takemura, H., Utsumi, A., & Kishino, F. (1994/1995). Augmented Reality: A Class of Displays on the Reality-Virtuality Continuum. SPIE Proceedings, Vol. 2351, pp. 282–292.
• Azuma, R. T. (1997). A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments, 6(4), 355–385. https://doi.org/10.1162/pres.1997.6.4.355
• Feiner, S., MacIntyre, B., Höllerer, T., & Webster, A. (1997). A touring machine: prototyping 3D mobile augmented reality systems for exploring the urban environment. Digest of Papers. First International Symposium on Wearable Computers (ISWC '97). IEEE, pp. 74–81. https://doi.org/10.1109/ISWC.1997.629922
• Kato, H., & Billinghurst, M. (1999). Marker Tracking and HMD Calibration for a Video-Based Augmented Reality Conferencing System. 2nd IEEE/ACM International Workshop on Augmented Reality (IWAR '99).

Sources secondaires & ressources

• W3C Immersive Web Working Group. WebXR Device API. https://www.w3.org/TR/webxr/
• Khronos Group. OpenXR. https://www.khronos.org/openxr/
• Apple Developer. ARKit. https://developer.apple.com/arkit/
• Google Developers. ARCore. https://developers.google.com/ar
• Wikipedia. Reality-Virtuality Continuum. https://en.wikipedia.org/wiki/Reality%E2%80%93virtuality_continuum
• Wikipedia. ARToolKit. https://en.wikipedia.org/wiki/ARToolKit
• Wikipedia. Apple Vision Pro. https://en.wikipedia.org/wiki/Apple_Vision_Pro
• Norman, D. A. (2013). The Design of Everyday Things (revised ed.). Basic Books.

Ressources pour aller plus loin

• WebXR Samples (Google) : https://immersive-web.github.io/webxr-samples/
• A-Frame Docs : https://aframe.io/docs/
• ARCore Fundamentals (Google Codelabs) : https://developers.google.com/ar/develop
• Apple Vision Pro Design Principles : https://developer.apple.com/design/human-interface-guidelines/spatial-ui
• ACM CHI Proceedings (annuel, conférence de référence en HCI/design) : https://dl.acm.org/conference/chi
• IEEE VR / ISMAR (conférences AR/VR académiques) : https://ieeevr.org · https://ismar.net
• Réalités+ magazine (FR) : https://realitesplus.fr

Pont vers la formation

Cette bible est un document de référence public. Pour aller plus loin avec un accompagnement pratique :

→ Masterclass Design d'Interaction AR — prototype fonctionnel en 2 jours → Workshop intensif pour votre équipe ou vos étudiants → Prendre rendez-vous — 30 min, gratuit