Subtitrai ir vertimai realiuoju laiku gali būti vaizdo pokalbių ateitis

Navi yra programa kuri prideda tiesioginius subtitrus ir vertimus realiuoju laiku prie jūsų „FaceTime“ skambučių.

Programa naudoja „SharePlay“ ir įtaisytąjį kalbos atpažinimą, kad pridėtų subtitrus ir vertimus 20 kalbų prie „FaceTime“ skambučių. Tai neįtikėtinas „SharePlay“ naudojimas, kurį dauguma mūsų laiko gudriu būdu žiūrėti sinchronizuotus filmus su žmonėmis kitose vietose. Galbūt dar nereikės paleisti vertėjo, bet tai puikiai atliekanti programa gali būti beprotiškai naudinga.

„Negaunu garso iš FaceTime skambučio“, – rašo „Navi“ kūrėjas Jordi Bruin socialiniame tinkle „Twitter“., „bet naudojant „SharePlay“, kad bendrintumėte jį tarp skambučio dalyvių.

SharePlay

„SharePlay“ yra nauja „iOS 15“ funkcija ir „macOS 12.1“, leidžiančią bendrinti ir sinchronizuoti dalykus „FaceTime“ skambučiuose. Naudojant aukščiau pateiktą filmo žiūrėjimo pavyzdį, bet kuris dalyvis gali pristabdyti arba paleisti filmą, pavyzdžiui, kol jūs visi kalbatės FaceTime skambučio metu. „FaceTime“ vaizdo įrašas lieka atidarytas mažame, slankiajame, paveikslėlyje paveikslėlyje skydelyje, o kiekvienas dalyvis paleidžia programą vietoje savo įrenginyje. „SharePlay“ gudrybė yra sinchronizuoti viską, kas vyksta šiose vietinėse programose, todėl visi dalijasi patirtimi, nesvarbu, ar tai filmas, „Fitness+“ treniruotė ar skaičiuoklė.

„Navi“ naudoja tą pačią technologiją, tik skambučių programa nėra filmas – tai vertimo realiuoju laiku variklis. Norėdami ją naudoti, paleiskite programą „FaceTime“ skambučio metu ir bakstelėkite mygtuką „Įjungti subtitrus“. Tada kiti dalyviai taip pat gali prisijungti prie veiksmo ir pamatyti dabartinio kalbėtojo tiesioginius subtitrus. Jei kas nors kalba monologu, jo kalbos burbulas auga ir laikosi šiek tiek ilgiau.

Kurtiesiems tai gali reikšti skirtumą skambinti žmonėms ar ne. Ir bet kam tai reiškia, kad galite užmegzti naudingų pokalbių tarp žmonių, kurie nekalba vienos kalbos.

Universalus tekstas

Internetas sukurtas remiantis tekstu, ir tai puiku. Jis mažas, jį lengva kurti, skaityti ir išversti. Tai taip pat paprasta paversti sintezuota kalba. Rezultatas yra tai, kad kiekvienas iš bet kurios vietos gali dalyvauti bet kuriame pokalbyje. Kalba nėra kliūtis, taip pat kurtumas ar bet koks aklumas – jei naudojate įrenginį su gerais prieinamumo įrankiais, skirtais regos ar klausos sutrikimų turintiems žmonėms.

Tačiau ištartą žodį apdoroti daug sunkiau. Diktavimas iš kalbos į tekstą yra įspūdingas, tačiau tik palyginti neseniai bendras kalbos atpažinimas tapo pakankamai geras bendram naudojimui – geras pavyzdys yra „Apple“ vertėjo programa. Įdiegta iOS 15, ji siūlo garso vertimus realiuoju laiku. Jei dar važiuotume atostogauti į užsienį, būtų tobula.

Dabar vaizdo įrašus vis dažniau naudojame darbui ir palaikyti ryšį su draugais ir šeima. Kad ir kaip dirbtume ateityje, kliūtis vaizdo skambučiams buvo visiškai sugriauta. Dabar tai yra įprasta priemonė, tačiau jai trūksta daug rašytinės komunikacijos priemonių subtilumo.

Kažkas panašaus į „Navi“, kuri siūlo subtitrus ir vertimą realiuoju laiku, gali būti reikšminga. Prieinamumas yra vienas aspektų, tačiau galimybė bendrauti su žmonėmis, kurių kalbos nekalbate, stulbinančiai atveria tarptautinį verslą.

Veikloje

Išbandžiau „Navi“ su programos kūrėju, autoriumi ir klausos aparato naudotoju Greimas Boveris. Tai gana gera, bet dar neparengta svarbioms užduotims. Kai kurios transkripcijos buvo komiškai blogos ir per daug vulgarios, kad jas būtų galima susieti. Tačiau mūsų pokalbiui tęsiantis, daug geriau atpažino jo kalbą. Tai prasminga, nes „iOS“ diktavimo variklis laikui bėgant prisitaiko prie jūsų balso.

Vertimas taip pat pasiteisino, nors jo vertimų kokybė priklauso nuo įvesties tikslumo.

Tokią technologiją lengva pritaikyti būsimiems „Apple Glasses“ akiniams ar bet kokiam AR / VR produktui, apie kurį kalbama apie šią savaitę.

„Matau, kad tai veikia AR akiniuose“, - sakė Bower mūsų pokalbio metu. „Kai kurie žmonės, net ir turintys normalią klausą, filmuose renkasi subtitrus. Tai būtų tarsi subtitrai tikram gyvenimui.

Nors „Navi“ yra įspūdinga technologijų demonstracinė versija, jos dar nėra. Norint patikimai naudoti verslą, pradinis „Apple“ kalbos atpažinimas turės būti daug tikslesnis. Tačiau, kalbant apie greitį, viskas gerai, o vertimai yra tokie pat geri.

Bet dabar einame kelyje, ir tokie dalykai tik gerės.