Live-Übersetzung kann auf die Zukunft der Apple-Brille hinweisen

Äpfel neue Live-Untertitel fügen Sie Echtzeit-Untertitel zu allem hinzu, einschließlich der Person, die vor Ihnen steht.

Genau wie Googles Konzept AR Glasses, das diese Woche angekündigt wurde. Apples Live Captions können eingehendes Audio aufnehmen und sofort transkribieren. Der Unterschied besteht darin, dass Apples Version „später in diesem Jahr“ ausgeliefert wird, was wahrscheinlich bedeutet, dass sie in der iOS 16-Version dieses Herbstes enthalten sein wird. Aber die wirkliche Neuigkeit hier ist, dass dies Apples bisher offensichtlichster Versuch ist, zukünftige Apple Glasses-Funktionen in aller Öffentlichkeit zu testen.

„Als jemand, der zwei Elternteile hat, die beide schwer hören, ist das eine große Hilfe“, schreibt ein Apple-zentrierter Journalist

Dan Moren auf seinem persönlichen Six-Colors-Blog. „Ich bin gespannt, wie gut die Funktion tatsächlich funktioniert und wie sie einen großen FaceTime-Anruf mit vielen Teilnehmern handhabt; Apple sagt, dass es Dialoge bestimmten Sprechern zuordnen wird."

Kunststück

Live Captions, zu denen wir gleich kommen, ist weit entfernt von der ersten AR-Brillenfunktion, die Apple getestet hat. Am offensichtlichsten ist die Integration von LIDAR-Kameras in iPhones und iPads. Diese Scanner helfen bei der Erstellung einer genauen 3D-Karte der Außenwelt und ermöglichen es dem iPhone, 3D-Modelle auf die reale Welt zu legen, die durch die Kamera angezeigt wird.

Bisher wurde diese Technologie verwendet, um Ihnen eine Vorschau neuer Apple-Computer auf Ihrem eigenen Schreibtisch zu ermöglichen, AR-Lego-Spiele zu spielen, Testen Sie IKEA-Möbel in deinem Wohnzimmer, und so weiter. LIDAR-Hardware ist in iPhones so absurd überflüssig, dass sie nur dort sein muss, damit Apple die Hardware und Software für eine echte AR-Anwendung verfeinern kann: Apple Glasses.

Es ist auch nicht nur visuelles AR. AirPods fügen seit Jahren nette AR-Funktionen hinzu. Das neueste, Spatial Audio, täuscht unser Gehirn vor, dass Geräusche von überall um uns herum kommen, und ist eine großartige Möglichkeit, Filme anzusehen oder lauschen Sie entspannenden Klanglandschaften. Es ist ein großartiges Feature, aber es wird noch besser, wenn es mit dem erwarteten zukünftigen Brillenprodukt von Apple funktioniert. In der Lage zu sein, Klänge in einem 3D-Raum passend zu den AR-Objekten zu platzieren, wird die Illusion wirklich verkaufen.

Oder wie wäre es Live Text, die iOS 15-Technologie die Text in Fotos erkennt und liest, und zwar live durch die Kamera des iPhones? Dies ist eine weitere Funktion, die sich ideal zum Lesen von Schildern, Menüs und anderem Text durch eine AR-Brille eignet.

Live-Untertitel

Live Captions nimmt Sprache aus einem FaceTime-Anruf, Videokonferenz-Apps, Streaming-Videos und so weiter auf. Ihr Telefon nimmt das Audio auf und transkribiert es spontan und stellt Untertitel bereit, wie in diesem Video zu sehen ist.

Das ist großartig, aber noch besser ist, dass nichts Ihr iPhone verlässt. Die Untertitel werden laut Apple auf dem Gerät generiert, anstatt an einen Server gesendet zu werden. Das ist nicht nur privater, sondern auch viel schneller.

„Ich bin mir nicht sicher, ob wir der Live-Übersetzung von Apple mehr vertrauen können als der neuen AR-Brille von Google, aber ich denke, wir können darauf vertrauen, dass die Konkurrenz dazu beiträgt, die besten Ergebnisse zu erzielen.“ Kristen Bölig, Gründer von SecurityNerd, teilte Lifewire per E-Mail mit. „Jetzt, da der Wettbewerb öffentlich ist und die Probleme mit dieser Art von Technologie (Datenschutz, Genauigkeit usw.) bekannt sind, beides Unternehmen werden nicht nur darum kämpfen, zuerst das beste Produkt zu entwickeln, sondern auch das Produkt zu entwickeln, das diese Probleme am besten löst Probleme."

Wir würden auch eine Art eingebaute automatische Übersetzung erwarten, wie Sie sie jetzt mit einer Drittanbieter-App erhalten können Navi zur automatischen Übersetzung Ihre FaceTime-Gespräche oder vielleicht eine Möglichkeit, diese Transkriptionen während Interviews zu speichern, um später leichter darauf zugreifen zu können.

Wir freuen uns seit langem über hervorragende Barrierefreiheitsfunktionen von Apple, mit denen wir unsere iOS-Geräte in einem fast absurden Ausmaß anpassen können. Von der Optimierung der Anzeige, um Farben und Text besser sichtbar zu machen, bis hin zur Steuerung der gesamten Benutzeroberfläche externe Geräte, bis hin zur Benachrichtigung vom Telefon, wenn jemand an der Tür klingelt oder ein Lieferwagen ankommt draußen.

Jetzt profitieren wir alle von der verstärkten Forschung von Apple im Bereich der Augmented-Reality-Technologie. Wir interessieren uns vielleicht nicht für IKEA oder LEGO, noch wollen wir jemals ein Paar von Apples sagenumwobenem AR-Brillengerät kaufen, aber das bedeutet nicht, dass wir nicht alle die Früchte dieser Forschung genießen können.