실시간 자막과 번역은 화상 채팅의 미래가 될 수 있습니다

Navi는 앱입니다 FaceTime 통화에 라이브 자막과 실시간 번역을 추가합니다.

이 앱은 SharePlay 및 내장된 음성 인식을 사용하여 FaceTime 통화에 20개 언어로 된 자막과 번역을 추가합니다. 우리 대부분이 다른 장소에 있는 사람들과 동기화된 영화를 볼 수 있는 변칙적인 방법으로 간주하는 SharePlay의 놀라운 사용입니다. 아직 번역기를 해고할 필요는 없지만 이 작업을 잘 수행하는 앱은 매우 유용할 수 있습니다.

Navi 개발자는 "FaceTime 통화에서 오디오가 들리지 않습니다."라고 말합니다. 트위터의 조르디 브루인, "하지만 SharePlay를 사용하여 통화 참가자 간에 공유합니다."

셰어플레이

SharePlay는 iOS 15의 새로운 기능입니다. FaceTime 통화에서 항목을 공유하고 동기화할 수 있는 macOS 12.1. 예를 들어 위의 영화 감상 예에서 참가자는 모두 FaceTime 통화에서 채팅하는 동안 영화를 일시 중지하거나 재생할 수 있습니다. FaceTime 비디오는 작고 떠 있는 PIP(Picture-in-Picture) 패널에서 열린 상태로 유지되며 각 참가자는 장치에서 로컬로 앱을 실행합니다. SharePlay의 트릭은 이러한 로컬 앱에서 일어나는 모든 것을 동기화하여 영화, Fitness+ 운동 또는 스프레드시트 등 모든 사람이 경험을 공유할 수 있도록 하는 것입니다.

Navi는 동일한 기술을 사용하지만 통화 중 앱만 영화가 아니라 실시간 번역 엔진입니다. 사용하려면 FaceTime 통화 중에 앱을 실행하고 '자막 켜기' 버튼을 탭하세요. 그런 다음 다른 참가자도 작업에 참여하고 현재 발표자의 라이브 자막을 볼 수 있습니다. 누군가 독백을 하면 말풍선이 커져서 조금 더 오래 머무른다.

청각 장애인에게 이것은 사람을 부를지 여부의 차이를 의미할 수 있습니다. 그리고 누구에게나 그것은 당신이 언어를 공유하지 않는 사람들 사이에 유용한 대화를 할 수 있다는 것을 의미합니다.

범용 텍스트

인터넷은 텍스트를 기반으로 하며 훌륭합니다. 작고 쉽게 만들고 읽고 번역할 수 있습니다. 합성 음성으로 변환하는 것도 간단합니다. 그 결과 어디서나 누구나 모든 대화에 참여할 수 있습니다. 시각 또는 청각 장애를 위한 접근성이 좋은 도구가 있는 장치를 사용하는 한 언어는 장벽이 아니며 난청이나 모든 종류의 실명도 아닙니다.

그러나 말은 처리하기가 훨씬 더 어렵습니다. 음성을 텍스트로 받아쓰기가 인상적이지만 일반 음성 인식이 일반 용도로 충분히 활용될 수 있게 된 것은 비교적 최근의 일입니다. Apple의 번역 앱이 좋은 예입니다. iOS 15에 도입되어 실시간 오디오 번역을 제공합니다. 그래도 해외여행을 간다면 완벽할 텐데.

이제 우리는 업무와 친구 및 가족과의 연락을 위해 비디오를 점점 더 많이 사용합니다. 앞으로 우리가 어떻게 일하든 화상 통화의 장벽은 완전히 무너졌습니다. 이제는 일반적인 도구이지만 서면 커뮤니케이션 도구의 기교가 많이 부족합니다.

실시간 자막과 번역을 제공하는 Navi와 같은 것이 중요할 수 있습니다. 접근성도 한 측면이지만, 당신이 사용하지 않는 언어를 사용하는 사람들과 대화할 수 있는 능력은 국제 비즈니스를 놀라운 정도로 열어줍니다.

실행 중

앱 개발자, 작성자, 보청기 사용자와 함께 Navi를 테스트했습니다. 그레이엄 바우어. 꽤 좋지만 아직 중요한 작업을 수행할 준비가 되지 않았습니다. 일부 필사본은 코믹하게 나빴고 관련이 너무 저속했습니다. 하지만 우리의 대화가 계속될수록 그의 말을 정확하게 인식하는 데 훨씬 더 능숙해졌습니다. iOS 받아쓰기 엔진이 시간이 지남에 따라 음성에 적응하기 때문에 의미가 있습니다.

번역의 품질은 입력의 정확성에 달려 있지만 번역도 작동했습니다.

이러한 종류의 기술을 미래의 Apple Glasses 또는 이번 주에 작업 중인 소문이 있는 AR/VR 제품에 쉽게 투영할 수 있습니다.

"나는 이것이 AR 안경에서 작동하는 것을 볼 수 있습니다."라고 Bower는 대화 중에 말했습니다. "어떤 사람들은 정상적인 청력을 가지고도 영화에서 자막을 선호합니다. 이것은 실생활의 자막과 같을 것입니다."

인상적인 기술 데모이지만 Navi는 아직 없습니다. 안정적인 비즈니스 사용을 위해서는 Apple의 초기 음성 인식이 훨씬 더 정확해져야 합니다. 그러나 속도 면에서는 괜찮고 번역도 어느 것 못지않게 좋습니다.

그러나 우리는 지금 그 길을 가고 있고 이런 종류의 일은 더 나아질 것입니다.