Titlovi i prijevodi u stvarnom vremenu mogu biti budućnost videochata

Navi je aplikacija koji vašim FaceTime pozivima dodaje žive titlove i prijevode u stvarnom vremenu.

Aplikacija koristi SharePlay i ugrađeno prepoznavanje govora za dodavanje titlova i prijevoda na 20 jezika vašim FaceTime pozivima. To je nevjerojatna upotreba SharePlaya, koju većina nas smatra varljivim načinom za gledanje sinkroniziranih filmova s ​​ljudima na drugim mjestima. Možda još ne morate otpustiti svog prevoditelja, ali aplikacija koja to dobro radi mogla bi biti ludo korisna.

"Ne dobivam zvuk iz FaceTime poziva", piše programer Navi Jordi Bruin na Twitteru, "ali korištenjem SharePlaya za dijeljenje među sudionicima poziva."

SharePlay

SharePlay je nova značajka u iOS-u 15 i macOS 12.1 koji vam omogućuje dijeljenje i sinkronizaciju stvari u FaceTime pozivima. Uz gornji primjer gledanja filma, svaki sudionik može pauzirati ili reproducirati film, na primjer, dok svi vi razgovarate u FaceTime pozivu. FaceTime video ostaje otvoren u maloj, plutajućem panelu slika u slici, a svaki sudionik pokreće aplikaciju lokalno na svom uređaju. Trik SharePlaya je sinkronizacija svega što se događa u ovim lokalnim aplikacijama, tako da svi dijele iskustvo, bilo da se radi o filmu, Fitness+ treningu ili proračunskoj tablici.

Navi koristi istu tehnologiju, samo što aplikacija u pozivu nije film – to je mehanizam za prevođenje u stvarnom vremenu. Da biste ga koristili, tijekom FaceTime poziva pokrenete aplikaciju i dodirnete gumb 'Uključi titlove'. Zatim se drugi sudionici također mogu pridružiti akciji i vidjeti uživo titlove za trenutnog govornika. Ako netko govori monolog, njegov govorni mjehur raste i ostaje malo dulje.

Za gluhe bi to moglo značiti razliku između pozivanja ljudi ili ne. A za svakoga to znači da možete voditi korisne razgovore između ljudi koji ne dijele jezik.

Univerzalni tekst

Internet je izgrađen na tekstu, i to je sjajno. Mali je i jednostavan za stvaranje, čitanje i prevođenje. Također je jednostavno pretvoriti u sintetizirani govor. Rezultat je da svatko s bilo kojeg mjesta može sudjelovati u bilo kojem razgovoru. Jezik nije prepreka, kao ni gluhoća ili bilo koja vrsta sljepoće – sve dok koristite uređaj s dobrim alatima za pristupačnost za oštećene vid ili sluh.

Ali izgovorenu riječ mnogo je teže obraditi. Diktat govora u tekst je impresivan, ali tek relativno nedavno je opće prepoznavanje govora postalo dovoljno dobro za opću upotrebu - Appleova aplikacija Translate dobar je primjer. Uveden u iOS 15, nudi audio prijevode u stvarnom vremenu. Da ipak idemo na godišnji odmor u inozemstvu, bilo bi savršeno.

Sada sve više koristimo video za posao i da ostanemo u kontaktu s prijateljima i obitelji. Bez obzira na to kako ćemo raditi u budućnosti, barijera videopozivima je temeljito srušena. To je sada uobičajen alat, ali mu nedostaje puno finoće pisanih komunikacijskih alata.

Nešto poput Navija, koji nudi titlove i prijevod u stvarnom vremenu, moglo bi biti značajno. Pristupačnost je jedan aspekt, ali mogućnost razgovora s ljudima čiji jezik ne govorite otvara međunarodno poslovanje na zapanjujući stupanj.

Na djelu

Testirao sam Navi s programerom aplikacije, autorom i korisnikom slušnog pomagala Graham Bower. Prilično je dobar, ali još nije spreman za kritične zadatke. Neki od transkripcija bili su komično loši i previše vulgarni da bi ih mogli prenijeti. Kako je naš razgovor tekao, postajao je sve bolji u preciznom prepoznavanju njegovog govora. To ima smisla jer se iOS mehanizam za diktiranje s vremenom prilagođava vašem glasu.

Prijevod je također uspio, iako kvaliteta njegovih prijevoda ovisi o točnosti unosa.

Lako je projicirati ovakvu tehnologiju u buduće Apple naočale ili bilo koji AR/VR proizvod za koji se pričalo da radi ovaj tjedan.

"Vidim da ovo radi u AR naočalama", rekao je Bower tijekom našeg razgovora. “Neki ljudi, čak i s normalnim sluhom, više vole titlove u filmovima. Ovo bi bilo kao titlovi za stvarni život."

Iako je impresivan tehnički demo, Navi još nije tu. Za pouzdanu poslovnu upotrebu, Appleovo početno prepoznavanje govora morat će biti puno točnije. Ali što se tiče brzine, to je u redu, a prijevodi su dobri kao i ostali.

Ali sada smo na putu i ovakve stvari će biti samo bolje.