Gadgetshowto
Met de populariteit van zoveel streamingplatforms, wordt inhoud behoorlijk divers en anders. Steeds meer mensen kijken naar shows in vreemde talen zoals "Money Heist" en "Dark", aangezien het goede shows zijn en wereldwijd beschikbaar zijn. Sommigen van ons kijken echter graag naar onze shows in een taal die we begrijpen. Soms zijn ondertitels niet voldoende. Dat gezegd hebbende, kan het nasynchroniseren van buitenlandse shows in een andere taal tijdrovend en duur worden voor productiebedrijven. Dit is de belangrijkste reden waarom veel shows niet in vreemde talen worden nagesynchroniseerd. Welnu, Amazon-onderzoekers hebben misschien een oplossing voor dit probleem.
In een paper gepubliceerd op de pre-printserver Arxiv.org, theoretiseerden en testten Amazon-onderzoekers een nieuwe "spraak-naar-spraak" -technologie. Het gebruikt AI om originele spraak om te zetten in een vertaalde spraak en de vertaalde spraak te verfijnen om deze menselijker te laten klinken. Dit is slechts een eerste stap in de richting van het ontwikkelen van een gemakkelijkere en veel goedkopere manier om shows en films te nasynchroniseren.
Hoe het werkt
Deze "spraak-naar-spraak" -technologie is veel gecompliceerder dan het klinkt. Het vertalen van een originele toespraak naar een vreemde toespraak met behulp van computers is een hectische taak. Het is niet alleen vanuit de audiobronnen een taal naar een andere vertalen, maar er zijn verschillende stappen bij betrokken.
Het geautomatiseerde nasynchronisatieproces omvat in wezen 3 stappen. Ten eerste moet de originele spraak worden geconverteerd naar een tekstformaat. De tweede stap is het vertalen van de tekst naar de gewenste taal. Ten slotte genereert de vertaalde tekst de nieuwe spraak.
Nu zijn er complicaties bij het ontwikkelen van de nieuwe spraak op basis van de vertaalde tekst-naar-spraak. De vertaalde spraak moet overeenkomen met de snelheid en emotie van de oorspronkelijke toespraak. Het moet ook de achtergrondgeluiden dragen en de weerkaatsing elimineren.
Om dit gecompliceerde proces te laten werken, hebben Amazon-onderzoekers dat bevestigd hun spraak-naar-spraak-technologie is getraind op meer dan 150 miljoen Engels-Italiaanse paren van zin om de snelheid van een spraaksegment van de vertaalde spraak te bepalen om overeen te komen met de snelheid van de oorspronkelijke spraak. Deze stap zorgt ervoor dat de pauzes en pauzes in de vertaalde spraak overeenkomen met de originele spraak.
Een model in de tekst-naar-spraak-fase heeft getraind op 47 uur spraakopnames. Dit model genereert een contextreeks van de tekst die wordt ingevoerd in een vooraf getrainde vocoder, die de reeks omzet in een spraakgolfvorm.
Deze technologie is ook in staat om achtergrondgeluiden uit de originele audio te extraheren en deze in de vertaalde audio te plaatsen om deze meer op de originele audio te laten lijken. Ten slotte wordt een afzonderlijke stap, de stap voor opnieuw nagalm genoemd, toegepast om de weerkaatsing van de originele audio aan de vertaalde audio toe te voegen.
Zal het nuttig zijn?
Het proces is zeker ingewikkeld, maar onderzoekers schreven dat hun toekomstige werk zal worden gewijd aan de verbeteringen van de automatische nasynchronisatie. Het kan de noodzaak voor stemacteurs elimineren om een show of film naar een andere taal te kopiëren. Het zal minder tijdrovend en veel goedkoper worden om inhoud naar de gewenste taal te kopiëren. En ja, het zal de productiehuizen ten goede komen om meer shows en films aan kijkers te leveren door de lijst veel diverser te maken.
