Liveoversættelse kan pege på fremtiden for Apple Glasses

Apples nye livetekster tilføje undertekster i realtid til hvad som helst, inklusive den person, der står foran dig.

Ligesom Googles koncept AR Glasses, annonceret i denne uge. Apples Live Captions kan tage indkommende lyd og transskribere den med det samme. Forskellen er, at Apples version vil blive sendt "senere i år", hvilket sandsynligvis betyder, at den vil være i efterårets iOS 16-udgivelse. Men den rigtige nyhed her er, at dette er Apples mest oplagte stik endnu til at afprøve fremtidige Apple-briller-funktioner i almindeligt syn.

"Som en, der har to forældre, der begge har svært ved at høre, står dette til at være en stor hjælp," skriver Apple-centreret journalist

Dan Moren på hans personlig Six Colors blog. "Jeg er nysgerrig efter at se, hvor godt funktionen faktisk fungerer, og hvordan den håndterer et stort FaceTime-opkald med mange deltagere; Apple siger, at det vil tilskrive dialog til specifikke højttalere."

Kunstgreb

Live Captions, som vi kommer til om et sekund, er langt fra den første AR-brillefunktion, som Apple har prøvet. Det mest oplagte er inkluderingen af ​​LIDAR-kameraer i iPhones og iPads. Disse scannere hjælper med at skabe et nøjagtigt 3D-kort over verden udenfor og giver iPhone mulighed for at overlejre 3D-modeller på den virkelige verden, der vises gennem kameraet.

Indtil videre er denne teknologi blevet brugt til at lade dig forhåndsvise nye Apple-computere på dit eget skrivebord, spille AR Lego-spil, afprøve IKEA møbler i din stue, og så videre. LIDAR-hardware er så absurd overflødig i iPhones, at den kun skal være der, så Apple kan finpudse hardwaren og softwaren til en rigtig AR-applikation: Apple Glasses.

Det er heller ikke kun visuel AR. AirPods har tilføjet pæne AR-funktioner i årevis nu. Den seneste, Spatial Audio, narrer vores hjerner til at tro, at lyde kommer fra alle omkring os og er en fantastisk måde at se film eller lytte til afslappende lydlandskaber. Det er en fantastisk funktion, men den bliver endnu bedre, når den fungerer sammen med Apples forventede fremtidige brilleprodukt. At være i stand til at placere lyde i et 3D-rum for at matche AR-objekterne vil virkelig sælge illusionen.

Eller hvad med Live Text, iOS 15-teknologien der genkender og læser tekst på billeder, og live, gennem iPhones kamera? Det er en anden funktion, der er ideel til at læse skilte, menuer og anden tekst gennem AR-briller.

Live billedtekster

Live Captions tager tale fra et FaceTime-opkald, videokonferenceapps, streaming af video og så videre. Din telefon tager lyden og transskriberer den på farten og leverer undertekster, som det ses i denne video.

Det er fantastisk, men hvad der er endnu bedre er, at intet nogensinde forlader din iPhone. Billedteksterne, siger Apple, genereres på enheden i stedet for at blive sendt til en server. Dette er ikke kun mere privat, det er også meget hurtigere.

"Jeg er ikke sikker på, at vi kan stole bedre på Apples live-oversættelse end Googles nye AR-briller, men jeg tror, ​​vi kan stole på, at konkurrencen vil hjælpe med at skabe de bedste resultater." Kristen Bolig, grundlægger af SecurityNerd, fortalte Lifewire via e-mail. "Nu hvor konkurrencen er offentlig, og problemerne med denne form for teknologi (privatliv, nøjagtighed osv..) er velkendte, både virksomheder vil ikke kun være i et kapløb om at skabe det bedste produkt først, men også om at skabe det produkt, der bedst løser disse problemer."

Vi forventer også en form for indbygget auto-oversættelse, som du kan få lige nu ved at bruge tredjepartsapp Navi til automatisk oversættelse dine FaceTime-samtaler, eller måske en måde at gemme disse transskriptioner under interviews for lettere adgang senere.

Vi har længe nydt godt af fremragende tilgængelighedsfunktioner fra Apple, som lader os tilpasse vores iOS-enheder i et næsten absurd omfang. Fra justering af skærmen for at gøre farver og tekst nemmere at se, til at styre hele brugergrænsefladen med eksterne enheder, til at få telefonen til at give dig besked, når nogen ringer på døren, eller en varevogn ankommer uden for.

Nu får vi alle fordelene ved Apples øgede forskning i augmented reality-teknologi. Vi er måske ligeglade med IKEA eller LEGO, og vi ønsker heller ikke engang nogensinde at købe et par af Apples sagnomspundne AR-brilleenhed, men det betyder ikke, at vi ikke alle kan nyde frugterne af denne forskning.