Reaalajas subtiitrid ja tõlked võivad olla videovestluse tulevik

Navi on rakendus mis lisab teie FaceTime'i kõnedele reaalajas subtiitrid ja reaalajas tõlked.

Rakendus kasutab SharePlay-d ja sisseehitatud kõnetuvastust, et lisada teie FaceTime'i kõnedele subtiitreid ja tõlkeid 20 keeles. See on uskumatu SharePlay kasutamine, mida enamik meist peab trikitavaks viisiks sünkroonitud filmide vaatamiseks teistes kohtades olevate inimestega. Võimalik, et te ei pea veel tõlkijat vallandama, kuid rakendus, mis seda hästi teeb, võib olla meeletult kasulik.

"Ma ei saa FaceTime'i kõnest heli, " kirjutab Navi arendaja Jordi Bruin Twitteris, "aga kasutades SharePlayd selle jagamiseks kõnes osalejate vahel."

SharePlay

SharePlay on iOS 15 uus funktsioon ja macOS 12.1, mis võimaldab teil FaceTime'i kõnedes asju jagada ja sünkroonida. Ülaltoodud filmivaatamise näite puhul saab iga osaleja filmi peatada või esitada näiteks sel ajal, kui te kõik FaceTime'i kõnes vestlete. FaceTime'i video jääb avatuks väikesel hõljuval pilt-pildis paneelil ja iga osaleja käitab rakendust oma seadmes kohapeal. SharePlay nipp seisneb nendes kohalikes rakendustes toimuva sünkroonimises, nii et kõik jagavad kogemust, olgu selleks siis film, Fitness+ treening või arvutustabel.

Navi kasutab sama tehnoloogiat, ainult kõnesisene rakendus ei ole film – see on reaalajas tõlkemootor. Selle kasutamiseks käivitage rakendus FaceTime'i kõne ajal ja puudutage nuppu Lülita subtiitrid sisse. Seejärel saavad ka teised osalejad tegevusega liituda ja näha praeguse esineja reaalajas subtiitreid. Kui keegi räägib monoloogi, siis tema jutumull kasvab ja jääb veidi kauemaks püsima.

Kurtide jaoks võib see tähendada erinevust, kas helistada inimestele või mitte. Ja igaühe jaoks tähendab see, et saate pidada kasulikke vestlusi inimeste vahel, kes ei räägi keelt.

Universaalne tekst

Internet on üles ehitatud tekstile ja see on suurepärane. See on väike ja seda on lihtne luua, lugeda ja tõlkida. Seda on lihtne muuta ka sünteesitud kõneks. Tulemuseks on see, et igaüks saab igal pool osaleda mis tahes vestluses. Keel pole takistuseks, samuti ei ole takistuseks kurtus või pimedus – seni, kuni kasutate seadet, millel on head juurdepääsetavuse tööriistad nägemis- või kuulmispuudega inimestele.

Kuid öeldud sõna on palju raskem töödelda. Kõnest tekstiks dikteerimine on muljetavaldav, kuid alles suhteliselt hiljuti on üldine kõnetuvastus muutunud üldiseks kasutamiseks piisavalt heaks – Apple'i tõlkerakendus on hea näide. IOS 15-s kasutusele võetud see pakub reaalajas helitõlkeid. Kui me ikka välismaale puhkama läheksime, oleks ideaalne.

Nüüd kasutame videot üha enam tööks ning sõprade ja perega ühenduse pidamiseks. Ükskõik, kuidas me tulevikus töötame, on videokõnede barjäär põhjalikult purustatud. Nüüd on see tavaline tööriist, kuid sellel puudub palju kirjalike suhtlusvahendite peenust.

Midagi sellist nagu Navi, mis pakub reaalajas subtiitreid ja tõlget, võib olla märkimisväärne. Juurdepääsetavus on üks aspekt, kuid võimalus vestelda inimestega, kelle keelt te ei räägi, avab rahvusvahelise äri hämmastaval määral.

Tegevuses

Testisin Navit rakenduse arendaja, autori ja kuuldeaparaadi kasutajaga Graham Bower. See on päris hea, kuid pole veel kriitilisteks ülesanneteks valmis. Mõned transkriptsioonid olid koomiliselt halvad ja liiga labased, et neid seostada. Meie vestluse edenedes muutus see tema kõne täpsemaks äratundmiseks siiski palju paremaks. See on mõistlik, kuna iOS-i dikteerimismootor kohandub aja jooksul teie häälega.

Ka tõlge töötas, kuigi selle tõlgete kvaliteet sõltub sisendi täpsusest.

Sellist tehnoloogiat on lihtne tulevastesse Apple’i prillidesse või mis tahes muusse kuulujutud AR/VR tootesse, mille kallal sel nädalal töötab.

"Ma näen seda AR-prillides töötamas," ütles Bower meie vestluse ajal. "Mõned inimesed eelistavad isegi normaalse kuulmisega filmides subtiitreid. See oleks nagu päriselu subtiitrid."

Kuigi Navi on muljetavaldav tehniline demo, pole seda veel olemas. Usaldusväärse ärikasutuse jaoks peab Apple'i esialgne kõnetuvastus muutuma palju täpsemaks. Kuid kiiruse mõttes on kõik korras ja tõlked on sama head kui kõik teised.

Aga me oleme praegu teel ja selline asi läheb ainult paremaks.