La traduction en direct peut indiquer l'avenir des lunettes Apple

Pommes nouveaux sous-titres en direct ajoutez des sous-titres en temps réel à n'importe quoi, y compris la personne qui se tient devant vous.

Tout comme le concept AR Glasses de Google, annoncé cette semaine. Les sous-titres en direct d'Apple peuvent prendre l'audio entrant et le transcrire instantanément. La différence est que la version d'Apple sera livrée "plus tard cette année", ce qui signifie probablement qu'elle sera dans la version iOS 16 de cet automne. Mais la vraie nouvelle ici est qu'il s'agit du coup le plus évident d'Apple à ce jour pour tester les futures fonctionnalités des lunettes Apple à la vue de tous.

"En tant que personne qui a deux parents qui ont tous deux des difficultés à entendre, cela s'avère être d'une grande aide", écrit un journaliste centré sur Apple Dan Moren sur son blog personnel Six Couleurs. "Je suis curieux de voir à quel point la fonctionnalité fonctionne réellement et comment elle gère un gros appel FaceTime avec beaucoup de participants; Apple dit qu'il attribuera le dialogue à des haut-parleurs spécifiques."

Tour de passe-passe

Live Captions, auquel nous reviendrons dans une seconde, est loin d'être la première fonctionnalité de lunettes AR qu'Apple a testée. La plus évidente est l'inclusion de caméras LIDAR dans les iPhones et les iPads. Ces scanners aident à créer une carte 3D précise du monde extérieur et permettent à l'iPhone de superposer des modèles 3D sur le monde réel montré à travers l'appareil photo.

Jusqu'à présent, cette technologie a été utilisée pour vous permettre de prévisualiser de nouveaux ordinateurs Apple sur votre propre bureau, de jouer à des jeux AR Lego, tester les meubles IKEA dans votre salon, etc. Le matériel LIDAR est si absurdement redondant dans les iPhones qu'il ne doit être là que pour qu'Apple puisse perfectionner le matériel et les logiciels pour une véritable application AR: Apple Glasses.

Ce n'est pas seulement de la RA visuelle non plus. Les AirPod ajoutent des fonctionnalités AR intéressantes depuis des années maintenant. Le dernier, Spatial Audio, fait croire à notre cerveau que les sons proviennent de partout autour de nous et est un excellent moyen de regarder des films ou écouter des paysages sonores relaxants. C'est une fonctionnalité intéressante, mais ce sera encore mieux lorsqu'elle fonctionnera avec le futur produit de lunettes attendu d'Apple. Être capable de placer des sons dans un espace 3D pour correspondre aux objets AR vendra vraiment l'illusion.

Ou que diriez-vous Live Text, la technologie iOS 15 qui reconnaît et lit le texte des photos, et en direct, via l'appareil photo de l'iPhone? C'est une autre fonctionnalité idéale pour lire des panneaux, des menus et d'autres textes à travers des lunettes AR.

Sous-titres en direct

Live Captions prend la parole d'un appel FaceTime, d'applications de visioconférence, d'une vidéo en streaming, etc. Votre téléphone prend l'audio et le transcrit à la volée, en fournissant des sous-titres, comme on le voit dans cette vidéo.

C'est bien, mais ce qui est encore mieux, c'est que rien ne quitte jamais votre iPhone. Les légendes, dit Apple, sont générées sur l'appareil au lieu d'être envoyées à un serveur. Ce n'est pas seulement plus privé, c'est aussi beaucoup plus rapide.

"Je ne suis pas sûr que nous puissions faire plus confiance à la traduction en direct d'Apple qu'aux nouvelles lunettes AR de Google, mais je pense que nous pouvons être sûrs que la concurrence aidera à produire les meilleurs résultats", Kristen Bolig, fondateur de SecurityNerd, a déclaré à Lifewire par e-mail. "Maintenant que la concurrence est publique et que les problèmes liés à ce type de technologie (vie privée, précision, etc.) sont bien connus, les deux les entreprises seront non seulement dans une course pour créer le meilleur produit d'abord, mais aussi pour créer le produit qui résout le mieux ces problèmes."

Nous nous attendrions également à une sorte de traduction automatique intégrée comme vous pouvez l'obtenir dès maintenant en utilisant une application tierce Navi pour traduire automatiquement vos conversations FaceTime, ou peut-être un moyen de sauvegarder ces transcriptions pendant les entretiens pour un accès plus facile plus tard.

Nous bénéficions depuis longtemps des excellentes fonctionnalités d'accessibilité d'Apple, nous permettant de personnaliser nos appareils iOS dans une mesure presque absurde. De la modification de l'affichage pour rendre les couleurs et le texte plus faciles à voir, au contrôle de l'ensemble de l'interface utilisateur avec périphériques externes, pour que le téléphone vous avertisse lorsque quelqu'un sonne à la porte ou qu'une camionnette de livraison arrive à l'extérieur.

Maintenant, nous bénéficions tous des avantages de la recherche accrue d'Apple dans la technologie de réalité augmentée. Nous ne nous soucions peut-être pas d'IKEA ou de LEGO, ni même de vouloir acheter une paire de lunettes AR légendaires d'Apple, mais cela ne signifie pas que nous ne pouvons pas tous profiter des fruits de cette recherche.