Gadgetshowto
Traditioneel gebruikten mensen tv's met een beeldverhouding van 16: 9 of 4: 3 om video's te bekijken. Met recente apparaten kunnen mensen video's bekijken en maken in een hele reeks beeldverhoudingen. Video's bijsnijden zodat ze op de schermen van deze apparaten passen, is een vervelende taak voor videocuratoren. Gelukkig is Google op de zaak om video's soepel bij te snijden.
Onlangs kondigde Google in een blogpost een open-source tool aan om video's opnieuw in te kaderen en bij te snijden zodat ze op elk scherm passen. AutoFlip is de tool die op machine learning (ML) gebaseerde objectdetectie- en trackingtechnologie gebruikt om video's automatisch opnieuw te framen.
AutoFlip - Voor het intelligent bijsnijden van video's
Google heeft deze tool gemaakt om van de conventionele statische bijsnijdmethode af te komen voor het bijsnijden van video's. De statische bijsnijdmethode omvat onbetrouwbare technieken van video-reframing, d.w.z. het specificeren van een cameravenster voor de video en vervolgens alles buiten dat gebied bijsnijden. Deze methode levert een ongewenste output van de video's op.
De Google Autoflip is in staat tot veel geavanceerde functies, waaronder shot detectie, video content analyse en tot slot, reframing. Laat me elk van deze herformuleringsstrategieën kort bespreken.
Opname (scène) detectie
Een scène of een opname in een video is een doorlopende reeks frames zonder onderbrekingen. Als er een verandering is in de opname of scène van een video, Google's AutoFlip kan de wijziging detecteren door het kleurenhistogram van de vorige frames te vergelijken met de nieuwe. Een shotwijziging wordt gedetecteerd wanneer de verdeling van de framekleur verandert met een andere snelheid dan een glijdend historisch venster. De tool, om het reframingproces te optimaliseren, buffert de hele video voordat beslissingen worden genomen over het reframen.
Analyse van video-inhoud
Door deze strategie te gebruiken, de tool detecteert belangrijke objecten en mensen in de video. Het maakt gebruik van op deep learning gebaseerde objectdetectiemodellen om objecten te identificeren. Met dit model kan de tool zelfs tekstoverlays of merklogo's en andere elementen zoals beweging of bal voor sportvideo's detecteren. De modellen voor gezichts- en objectdetectie zijn via MediaPipe in de tool geïntegreerd. Het is in feite een raamwerk voor het verwerken van multimodale gegevens door pijplijnen te ontwikkelen. Dit framework gebruikt het TensorFlow Lite ML-framework van Google op CPU's.
Herkaderen
Na het identificeren van mensen en objecten in video's, neemt de tool logische beslissingen over hoe de video opnieuw moet worden ingekaderd. AutoFlip kiest een van de drie reframing-strategieën om de inhoud bij te snijden - stationair, pannen of volgen. De tool kiest de optimale strategie op basis van de inhoud van de video. In de stationaire modus blijft het opnieuw ingelijste camerabeeldpoort bijvoorbeeld gefixeerd in een stationaire positie waar de meeste belangrijke scènes van de video aanwezig zijn. Voor video's die beweging bevatten, gebruikt het Panning door de opnieuw ingelijste cameraweergave met een constante snelheid te verplaatsen. Als er interessante onderwerpen in het frame staan, treedt de Tracking-modus in werking.
Op basis van de door het algoritme gekozen reframing-strategie, wordt een geoptimaliseerd bijsnijdvenster voor elk frame ingesteld door AutoFlip. Hierdoor blijft de belangrijke inhoud van de video op de best mogelijke manier behouden.
Google heeft deze tool rechtstreeks vrijgegeven aan de ontwikkelaars en filmmakers met als doel "verminder de belemmeringen voor hun ontwerpcreativiteit en bereik door de automatisering van videobewerkingVan landschap tot portret of portret tot landschap, in elk geval, AutoFlip is ontworpen om het best mogelijke resultaat te leveren.
