Живой перевод может указать на будущее очков Apple

Apple новые живые субтитры добавляйте субтитры в реальном времени ко всему, включая человека, стоящего перед вами.

Так же, как концепт AR Glasses от Google, анонсированный на этой неделе. Apple Live Captions может принимать входящий звук и мгновенно расшифровывать его. Разница в том, что версия Apple выйдет «позже в этом году», что, вероятно, означает, что она будет в выпуске iOS 16 этой осенью. Но реальная новость здесь заключается в том, что это самый очевидный удар Apple по тестированию будущих функций Apple Glasses у всех на виду.

«Для человека, у которого два родителя плохо слышат, это может быть большим подспорьем», — пишет журналист, ориентированный на Apple.

Дэн Морен на его личный блог Six Colors. «Мне любопытно посмотреть, насколько хорошо эта функция на самом деле работает и как она справляется с большим вызовом FaceTime с большим количеством участников; Apple заявляет, что будет приписывать диалоги конкретным выступающим».

Ловкость рук

Live Captions, о которых мы поговорим чуть позже, — далеко не первая функция очков дополненной реальности, которую опробовала Apple. Наиболее очевидным является включение камер LIDAR в iPhone и iPad. Эти сканеры помогают создавать точную 3D-карту внешнего мира и позволяют iPhone накладывать 3D-модели на реальный мир, отображаемый через камеру.

До сих пор эта технология использовалась, чтобы вы могли просматривать новые компьютеры Apple на своем рабочем столе, играть в игры AR Lego, протестировать мебель ИКЕА в твоей гостиной, и так далее. Аппаратное обеспечение LIDAR настолько абсурдно избыточно в iPhone, что оно должно быть там только для того, чтобы Apple могла отточить аппаратное и программное обеспечение для реального приложения AR: Apple Glasses.

Это не просто визуальный AR. AirPods уже много лет добавляют удобные функции дополненной реальности. Последний, Spatial Audio, обманывает наш мозг, заставляя думать, что звуки исходят отовсюду вокруг нас, и это отличный способ смотреть фильмы или слушать расслабляющие саундскейпы. Это отличная функция, но она будет еще лучше, когда она будет работать с ожидаемым будущим продуктом Apple — очками. Возможность размещать звуки в 3D-пространстве в соответствии с объектами AR действительно продает иллюзию.

Или как насчет Live Text, технология iOS 15 который распознает и читает текст на фотографиях и вживую через камеру iPhone? Это еще одна функция, которая идеально подходит для чтения вывесок, меню и другого текста через очки дополненной реальности.

Живые субтитры

Live Captions берет речь из звонка FaceTime, приложений для видеоконференций, потокового видео и т. д. Ваш телефон записывает аудио и расшифровывает его на лету, добавляя субтитры, как показано в этом видео.

Это здорово, но еще лучше то, что с вашего iPhone никогда ничего не выйдет. Субтитры, по словам Apple, генерируются на устройстве, а не отправляются на сервер. Это не только более конфиденциально, но и намного быстрее.

«Я не уверен, что мы можем доверять живому переводу Apple больше, чем новым очкам дополненной реальности Google, но я думаю, что мы можем верить, что конкуренция поможет добиться лучших результатов», Кристен Болиг, основатель SecurityNerd, сказал Lifewire по электронной почте. «Теперь, когда конкурс стал публичным и проблемы с такого рода технологиями (конфиденциальность, точность и т. д.) хорошо известны, оба Компании будут не только соревноваться в том, чтобы сначала создать лучший продукт, но и в том, чтобы создать продукт, который лучше всего решает эти проблемы. проблемы."

Мы также ожидаем какой-то встроенный автоматический перевод, который вы можете получить прямо сейчас, используя стороннее приложение. Navi для автоматического перевода ваши разговоры FaceTime или, возможно, способ сохранить эти транскрипции во время интервью для более легкого доступа позже.

Нам уже давно нравятся отличные специальные возможности Apple, позволяющие настраивать наши устройства iOS почти до абсурда. От настройки дисплея для облегчения просмотра цветов и текста до управления всем пользовательским интерфейсом с помощью внешние устройства, чтобы телефон уведомлял вас, когда кто-то звонит в дверь или прибывает фургон доставки за пределами.

Теперь мы все пользуемся преимуществами расширенных исследований Apple в области технологий дополненной реальности. Мы можем не заботиться об IKEA или LEGO и даже не захотеть когда-либо купить пару легендарных очков Apple с дополненной реальностью, но это не значит, что мы все не можем наслаждаться плодами этого исследования.