Web-Video-Codec-Leitfaden

Häufige Codecs

Die folgenden Video-Codecs sind die am häufigsten im Web verwendeten. Für jeden Codec sind auch die Container (Dateitypen) aufgeführt, die sie unterstützen können. Jeder Codec gibt einen Link zu einem Abschnitt weiter unten an, der zusätzliche Details über den Codec bietet, einschließlich spezifischer Fähigkeiten und Kompatibilitätsprobleme, die Ihnen bewusst sein sollten.

Faktoren, die das kodierte Video beeinflussen

Wie bei jedem Encoder gibt es zwei grundlegende Gruppen von Faktoren, die die Größe und Qualität des kodierten Videos beeinflussen: spezifische Details über das Format und den Inhalt des Quellvideos und die Eigenschaften und Konfiguration des Codecs, der beim Kodieren des Videos verwendet wird.

Die einfachste Richtlinie lautet: Alles, was das kodierte Video mehr wie das ursprüngliche, unkomprimierte Video aussehen lässt, macht die resultierenden Daten im Allgemeinen ebenfalls größer. Es ist also immer ein Kompromiss zwischen Größe und Qualität. In einigen Situationen ist es der Verlust an Qualität wert, um die Datengröße zu reduzieren; in anderen Fällen ist der Qualitätsverlust inakzeptabel, und es ist notwendig, eine Codec-Konfiguration zu akzeptieren, die zu einer entsprechend größeren Datei führt.

Einfluss des Quellvideoformats auf das kodierte Ausgabeformat

Das Ausmaß, in dem das Format des Quellvideos die Ausgabe beeinflusst, variiert je nach Codec und wie er funktioniert. Wenn der Codec die Medien in ein internes Pixelformat konvertiert oder das Bild auf andere Weise als durch einfache Pixel darstellt, macht das Format des ursprünglichen Bildes keinen Unterschied. Dinge wie Bildrate und, offensichtlich, Auflösung werden jedoch immer Auswirkungen auf die Ausgabegröße der Medien haben.

Zusätzlich haben alle Codecs ihre Stärken und Schwächen. Einige haben Schwierigkeiten mit bestimmten Arten von Formen und Mustern, sind nicht gut darin, scharfe Kanten zu reproduzieren oder neigen dazu, Details in dunklen Bereichen zu verlieren, oder eine beliebige Anzahl von Möglichkeiten. Alles hängt von den zugrunde liegenden Algorithmen und der Mathematik ab.

Das Ausmaß, in dem diese Aspekte das resultierende kodierte Video beeinflussen, variiert je nach den genauen Details der Situation, einschließlich des Encoders, den Sie verwenden, und wie er konfiguriert ist. Zusätzlich zu allgemeinen Codec-Optionen könnte der Encoder konfiguriert werden, um die Bildrate zu reduzieren, Rauschen zu bereinigen und/oder die Gesamtauflösung des Videos während der Kodierung zu reduzieren.

Einfluss der Codec-Konfiguration auf die kodierte Ausgabe

Die Algorithmen, die zur Videokodierung verwendet werden, verwenden in der Regel eine oder mehrere allgemeine Techniken zur Kodierung. Im Allgemeinen wird jede Konfigurationsoption, die darauf abzielt, die Ausgabedateigröße des Videos zu reduzieren, wahrscheinlich negative Auswirkungen auf die Gesamtqualität des Videos haben oder bestimmte Arten von Artefakten in das Video einführen. Es ist auch möglich, eine verlustfreie Kodierung zu wählen, die in einer viel größeren codierten Datei resultiert, aber eine perfekte Reproduktion des ursprünglichen Videos beim Dekodieren ermöglicht.

Zusätzlich kann jedes Encoder-Dienstprogramm Variationen dabei aufweisen, wie sie das Quellvideo verarbeiten, was zu Unterschieden in der Ausgabequalität und/oder -größe führen kann.

Die Optionen, die beim Kodieren von Video verfügbar sind, und die Werte, die diesen Optionen zugewiesen werden, variieren nicht nur von einem Codec zum anderen, sondern auch abhängig von der von Ihnen verwendeten Kodierungssoftware. Die Dokumentation, die mit Ihrer Kodierungssoftware geliefert wird, hilft Ihnen, die spezifischen Auswirkungen dieser Optionen auf das kodierte Video zu verstehen.

Kompressionsartefakte

Artefakte sind Nebenwirkungen eines verlustbehafteten Kodierungsprozesses, bei dem die verlorenen oder umgeordneten Daten zu sichtbar negativen Effekten führen. Sobald ein Artefakt aufgetreten ist, kann es eine Weile bestehen bleiben, da das Video dargestellt wird. Jedes Videobild wird angezeigt, indem ein Satz von Änderungen auf das aktuell sichtbare Bild angewendet wird. Das bedeutet, dass alle Fehler oder Artefakte im Laufe der Zeit kumuliert werden und zu Störungen oder anderweitig seltsamen oder unerwarteten Abweichungen im Bild führen, die eine Zeitlang bestehen bleiben.

Um dies zu beheben und die Suchzeit durch die Videodaten zu verbessern, werden periodisch Schlüsselframes (auch bekannt als Intra-Frames oder i-Frames) in die Videodatei eingefügt. Die Schlüsselframes sind vollständige Bilder, die verwendet werden, um sichtbare Schäden oder Artefaktrückstände zu reparieren.

Aliasing

Aliasing ist ein allgemeiner Begriff für alles, was nach der Wiederherstellung aus den codierten Daten nicht mehr so aussieht wie vor der Kompression. Es gibt viele Formen des Aliasing; die häufigsten, die Sie möglicherweise sehen, sind:

Moiré-Muster Ein Moiré-Muster ist ein großflächiges räumliches Interferenzmuster, das entsteht, wenn ein Muster im Quellbild und die Art und Weise, wie der Encoder arbeitet, räumlich leicht verschoben ausgerichtet sind. Die vom Encoder erzeugten Artefakte führen dazu, dass im Muster des Quellbilds beim Dekodieren seltsame, wirbelnde Effekte eingeführt werden.
Treppeneffekt Der Treppeneffekt ist ein räumliches Artefakt, das auftritt, wenn diagonale gerade oder kurvige Ränder, die glatt sein sollten, ein gezacktes Aussehen haben und einem Satz von Treppenstufen ähneln. Dies ist der Effekt, der durch "Antialiasing"-Filter reduziert wird.
Wagenradeffekt Der Wagenradeffekt (oder Stroboskopeffekt) ist der visuelle Effekt, der in Filmen häufig zu sehen ist, bei dem ein sich drehendes Rad aufgrund einer Interaktion zwischen der Bildrate und dem Kompressionsalgorithmus mit der falschen Geschwindigkeit oder sogar rückwärts zu rotieren scheint. Der gleiche Effekt kann bei jedem sich wiederholenden Muster auftreten, das sich bewegt, wie z. B. die Schwellen auf einer Bahnlinie, Pfosten entlang einer Straße usw. Dies ist ein zeitliches (zeitbasiertes) Aliasing-Problem; die Geschwindigkeit der Rotation stört die Frequenz der Komprimierungs- oder Kodierungsabnahme.

Farbverläufe an Kanten

Farbverläufe an Kanten sind eine Art von visuellen Artefakten, die sich als falsche Farben entlang der Ränder farbiger Objekte innerhalb der Szene darstellen. Diese Farben haben keine beabsichtigte Farbbeziehung zu den Inhalten des Bildes.

Verlust der Schärfe

Der Akt des Entfernens von Daten im Prozess der Videokodierung erfordert, dass einige Details verloren gehen. Wenn genug Kompression angewendet wird, könnten Teile oder möglicherweise das gesamte Bild an Schärfe verlieren, was zu einem leicht verschwommenen oder trüben Erscheinungsbild führt.

Verlust der Schärfe kann es schwierig machen, Text im Bild zu lesen, da Text – insbesondere kleiner Text – sehr detailorientierter Inhalt ist, bei dem geringfügige Veränderungen die Lesbarkeit erheblich beeinträchtigen können.

Klingeln

Verlustbehaftete Komprimierungsalgorithmen können Klingeln einführen, einen Effekt, bei dem Bereiche außerhalb eines Objekts mit vom Kompressionsalgorithmus erzeugten farbigen Pixeln kontaminiert werden. Dies geschieht, wenn ein Algorithmus verwendet wird, der Blöcke verwendet, die sich über eine scharfe Grenze zwischen einem Objekt und seinem Hintergrund erstrecken. Dies ist besonders häufig bei höheren Kompressionsstufen der Fall.

Beachten Sie die blauen und rosa Ränder um die Kanten des Sterns oben (sowie die Stufen und andere signifikante Kompressionsartefakte). Diese Ränder sind der Klingeleffekt. Klingeln ist in gewisser Hinsicht ähnlich dem Moskito-Rauschen, außer dass während der Klingeleffekt mehr oder weniger konstant und unverändert ist, schimmert Moskito-Rauschen und bewegt sich.

Klingeln ist eine weitere Art von Artefakt, das es besonders schwierig machen kann, Text in Ihren Bildern zu lesen.

Posterisieren

Posterisierung tritt auf, wenn die Kompression zum Verlust von Farbdetaile in Verläufen führt. Anstelle von sanften Übergängen durch die verschiedenen Farben in einem Bereich wird das Bild klobig, mit Farbklecksen, die das ursprüngliche Erscheinungsbild des Bildes approximieren.

Beachten Sie die Klobigkeit der Farben im Federkleid des Weißkopfseeadlers im Foto oben (und der Schneeeule im Hintergrund). Die Details der Federn gehen weitgehend aufgrund dieser Posterisationsartefakte verloren.

Konturierung

Konturierung oder Farbverlaufseffekt ist eine spezifische Form der Posterisierung, bei der die Farbblöcke zu Bändern oder Streifen im Bild werden. Dies tritt auf, wenn das Video mit einer zu groben Quantisierungskonfiguration kodiert wird. Dadurch zeigt der Inhalt des Videos ein "geschichtetes" Aussehen, bei dem die Übergänge von Farbe zu Farbe abrupt sind und Streifen von Farbe erscheinen.

Im Beispielbild oben sehen Sie, wie der Himmel Bänder in verschiedenen Blautönen aufweist, anstatt ein konsistenter Verlauf zu sein, da sich die Himmelfarbe zum Horizont ändert. Dies ist der Konturierungseffekt.

Moskito-Rauschen

Moskito-Rauschen ist ein zeitliches Artefakt, das als Rauschen oder Randunruhe auftritt, die als flackernde Trübung oder Schimmer wahrgenommen wird, die ungefähr den Außenbereichen von Objekten mit harten Kanten oder scharfen Übergängen zwischen Vordergrundobjekten und dem Hintergrund folgt. Der Effekt kann in der Erscheinung dem Klingeln ähneln.

Das obige Foto zeigt Moskito-Rauschen an verschiedenen Stellen, einschließlich am Himmel rund um die Brücke. In der oberen rechten Ecke zeigt ein Ausschnitt eine Nahaufnahme eines Teils des Bildes, der Moskito-Rauschen aufweist.

Moskito-Rauschen-Artefakte sind am häufigsten in MPEG-Videos zu finden, können jedoch immer auftreten, wenn ein diskreter Kosinustransformationsalgorithmus (DCT) verwendet wird; dies schließt zum Beispiel JPEG-Standbilder ein.

Bewegungsbereitstellung von Blockgrenzenartefakten

Die Kompression von Video funktioniert im Allgemeinen, indem zwei Bilder miteinander verglichen und die Unterschiede zwischen ihnen erfasst werden, ein Bild nach dem anderen, bis zum Ende des Videos. Diese Technik funktioniert gut, wenn die Kamera fest montiert ist oder die Objekte im Bild relativ stationär sind, aber wenn es im Bild eine große Menge an Bewegungen gibt, können die Unterschiede zwischen den Bildern so groß sein, dass die Kompression keinen Nutzen bringt.

Motion Compensation ist eine Technik, die nach Bewegung (entweder der Kamera oder der Objekte im Sichtfeld) sucht und herausfindet, wie viele Pixel sich das sich bewegende Objekt in jede Richtung bewegt hat. Dann wird diese Verschiebung gespeichert, zusammen mit einer Beschreibung der Pixel, die verschoben wurden und nicht nur durch diese Verschiebung beschrieben werden können. Im Wesentlichen findet der Encoder die bewegten Objekte, baut dann eine Art internes Bild auf, das dem ursprünglichen ähnelt, jedoch mit allen Objekten, die auf ihre neuen Positionen verschoben wurden. Theoretisch nähert dies das Erscheinungsbild des neuen Bildes an. Um die Arbeit abzuschließen, werden dann die verbleibenden Unterschiede gefunden, und dann werden der Satz von Objektverschiebungen und der Satz von Pixelunterschieden in den Daten gespeichert, die das neue Bild darstellen. Dieses Objekt, das die Verschiebung und die Pixelunterschiede beschreibt, wird als Restbild bezeichnet.

Originalbild	Unterschiede zwischen einzelnen Bildern	Unterschiede nach Bewegungsbereitstellung
Das erste volle Bild, wie es vom Betrachter gesehen wird.	Hier sind nur die Unterschiede zwischen dem ersten Bild und dem folgenden Bild zu sehen. Alles andere ist schwarz. Bei näherem Hinsehen können wir erkennen, dass die Mehrheit dieser Unterschiede von einer horizontalen Kamerabewegung stammt, was dies zu einem guten Kandidaten für die Bewegungsbereitstellung macht.	Um die Anzahl der unterschiedlichen Pixel zu minimieren, berücksichtigen wir hier die Neigung der Kamera, indem wir zuerst das erste Bild um zwei Pixel nach rechts verschieben und dann die Differenz ermitteln. Dies kompensiert die Neigung der Kamera und ermöglicht mehr Überlappung zwischen den beiden Bildern.
Bilder von Wikipedia

Es gibt zwei allgemeine Arten der Bewegungsbereitstellung: Globale Bewegungsbereitstellung und Blockbewegungsbereitstellung. Die globale Bewegungsbereitstellung passt im Allgemeinen Kamerabewegungen wie Fahren, Dolly-Bewegungen, Schwenken, Neigen, Rollen und Auf- und Abbewegungen an. Die Blockbewegungsbereitstellung behandelt lokalisierte Änderungen, indem kleinere Abschnitte des Bildes gesucht werden, die mit Bewegungsbereitstellung kodiert werden können. Diese Blöcke haben normalerweise eine feste Größe in einem Raster, aber es gibt Formen der Bewegungsbereitstellung, die variable Blockgrößen und sogar überlappende Blöcke erlauben.

Es gibt jedoch Artefakte, die durch Bewegungsbereitstellung auftreten können. Diese treten entlang von Blockgrenzen auf, in Form von scharfen Kanten, die falsches Klingeln und andere Randeffekte erzeugen. Diese sind auf die mathematischen Prozesse im Kodieren der Restbilder zurückzuführen und können leicht bemerkt werden, bevor sie durch das nächste Schlüsselframe repariert werden.

Reduzierte Bildgröße

In bestimmten Situationen kann es nützlich sein, die Dimensionen des Videos zu reduzieren, um die endgültige Größe der Videodatei zu verbessern. Während der unmittelbare Verlust an Größe oder Flüssigkeit der Wiedergabe ein negativer Faktor sein kann, kann eine sorgfältige Entscheidungsfindung zu einem guten Endergebnis führen. Wenn ein 1080p-Video vor der Kodierung auf 720p reduziert wird, kann das resultierende Video deutlich kleiner sein, während die visuelle Qualität viel höher ist; selbst nach der Wiederskalierung während der Wiedergabe könnte das Ergebnis besser sein als die Kodierung des ursprünglichen Videos in voller Größe und die Akzeptanz des erforderlichen Qualitätsverlustes, um Ihre Größenanforderungen zu erfüllen.

Reduzierte Bildrate

Ebenso können Sie die Bildraten aus dem Video vollständig entfernen und die Bildrate reduzieren, um dies zu kompensieren. Dies hat zwei Vorteile: Es macht das Gesamtvideo kleiner, und diese kleinere Größe ermöglicht es der Bewegungsbereitstellung, noch mehr für Sie zu leisten. Wenn zum Beispiel die Berechnung von Bewegungsunterschieden für zwei Bilder durchgeführt wird, die sich aufgrund von Zwischenbildbewegungen um zwei Pixel unterscheiden, könnte das Überspringen jedes zweiten Bildes zu einer Berechnung eines Unterschieds führen, der vier Pixel Bewegung ergibt. Dies ermöglicht es der Gesamtbewegung der Kamera, mit weniger Restbildern dargestellt zu werden.

Die absolute Mindestbildrate, die ein Video haben kann, bevor sein Inhalt vom menschlichen Auge nicht mehr als Bewegung wahrgenommen wird, liegt bei etwa 12 Bildern pro Sekunde. Darunter wird das Video zu einer Reihe von Standbildern. Filmaufnahmen haben typischerweise 24 Bilder pro Sekunde, während Standardfernsehen etwa 30 Bilder pro Sekunde (etwas weniger, aber nah genug) und hochauflösendes Fernsehen zwischen 24 und 60 Bildern pro Sekunde liegt. Alles von 24 FPS aufwärts wird im Allgemeinen als ausreichend flüssig angesehen; 30 oder 60 FPS sind ein ideales Ziel, abhängig von Ihren Bedürfnissen.

Am Ende liegen die Entscheidungen darüber, welche Opfer Sie bringen können, ganz bei Ihnen und/oder Ihrem Designteam.

Codec-Details

AV1

Der Codec AOMedia Video 1 (AV1) ist ein offenes Format, das von der Alliance for Open Media speziell für Internetvideos entwickelt wurde. Es erreicht höhere Datenkompressionsraten als VP9 und H.265/HEVC und bis zu 50 % höhere Raten als AVC. AV1 ist vollständig lizenzgebührenfrei und wurde sowohl für das <video>-Element als auch für WebRTC entwickelt.

AV1 bietet derzeit drei Profile: main, high und professional mit zunehmender Unterstützung für Farbtiefen und Chroma-Subsampling. Darüber hinaus ist eine Reihe von Levels spezifiziert, die jeweils Grenzen für eine Reihe von Attributen des Videos definieren. Zu diesen Attributen gehören Bildabmessungen, Bildfläche in Pixeln, Anzeigerate und Dekodierungsraten, durchschnittliche und maximale Bitraten sowie Grenzen für die Anzahl der Kacheln und Kachelspalten, die im Kodierungs-/Dekodierungsprozess verwendet werden.

Zum Beispiel bietet AV1 Level 2.0 eine maximale Bildbreite von 2048 Pixeln und eine maximale Höhe von 1152 Pixeln, aber seine maximale Bildgröße in Pixeln ist 147.456, sodass Sie tatsächlich kein 2048x1152-Video auf Level 2.0 haben können. Es ist jedoch erwähnenswert, dass zumindest für Firefox und Chrome die Levels derzeit beim Software-Decodieren ignoriert werden, und der Decoder einfach das Bestmögliche versucht, um das Video entsprechend den bereitgestellten Einstellungen abzuspielen. Aus Kompatibilitätsgründen sollten Sie jedoch die Grenzen des gewählten Levels einhalten.

Der Hauptnachteil von AV1 ist derzeit, dass es sehr neu ist und die Unterstützung noch in die meisten Browser integriert wird. Darüber hinaus werden Encoder und Decoder immer noch auf Leistung optimiert, und Hardware-Encoder und -Decoder sind größtenteils noch in der Entwicklung und nicht in der Produktion. Aus diesem Grund dauert das Encodieren eines Videos im AV1-Format sehr lange, da alle Arbeiten in Software durchgeführt werden.

Vorläufig ist AV1 aus diesen Gründen noch nicht bereit, Ihre erste Wahl als Videocodec zu sein, aber Sie sollten darauf achten, wann es bereit für den Einsatz ist.

AVC (H.264)

Der Advanced Video Coding (AVC)-Standard der MPEG-4-Spezifikationssuite ist in der identischen ITU H.264-Spezifikation und der MPEG-4 Teil 10-Spezifikation festgelegt. Er ist ein bewegungskompensationsbasierter Codec, der heute weit verbreitet für alle Arten von Medien verwendet wird, einschließlich Fernsehausstrahlungen, RTP-Videokonferenzen und als Videocodec für Blu-Ray-Discs.

AVC ist äußerst flexibel, mit einer Reihe von Profilen mit unterschiedlichen Fähigkeiten; zum Beispiel wurde das Constrained Baseline Profile für den Einsatz in Videokonferenzen und mobilen Szenarien entwickelt, wobei weniger Bandbreite verwendet wird als das Main Profile (das in einigen Regionen für digitales Standardfernsehen verwendet wird) oder das High Profile (das für Blu-Ray Disc-Video verwendet wird). Die meisten Profile verwenden 8-Bit-Farbkomponenten und 4:2:0-Chroma-Subsampling; Das High 10 Profile fügt Unterstützung für 10-Bit-Farben hinzu, und erweiterte Formen von High 10 fügen 4:2:2 und 4:4:4 Chroma-Subsampling hinzu.

AVC verfügt auch über spezielle Funktionen wie die Unterstützung mehrerer Ansichten derselben Szene (Multiview Video Coding), die es unter anderem ermöglicht, stereoskopisches Video zu produzieren.

AVC ist jedoch ein proprietäres Format, und zahlreiche Patente werden von mehreren Parteien in Bezug auf seine Technologien gehalten. Die kommerzielle Nutzung von AVC-Medien erfordert eine Lizenz, obwohl das Via LA Patentpool keine Lizenzgebühren für das Streaming von Internetvideos im AVC-Format verlangt, solange das Video für Endnutzer kostenfrei ist.

Nicht-Webbrowser-Implementierungen von WebRTC (jede Implementierung, die nicht die JavaScript-APIs umfasst) sind verpflichtet, AVC als Codec in WebRTC-Anrufen zu unterstützen. Während Webbrowser dazu nicht verpflichtet sind, tun dies einige.

In HTML-Inhalten für Webbrowser ist AVC weitgehend kompatibel und viele Plattformen unterstützen die Hardware-Kodierung und -Dekodierung von AVC-Medien. Beachten Sie jedoch die Lizenzanforderungen, bevor Sie sich entscheiden, AVC in Ihrem Projekt zu verwenden!

H.263

Der H.263-Codec der ITU wurde hauptsächlich für den Einsatz in Situationen mit geringer Bandbreite entwickelt. Insbesondere liegt der Fokus auf Videokonferenzen über PSTN (Public Switched Telephone Networks), RTSP und SIP (IP-basierte Videokonferenzsysteme). Trotz der Optimierung für Netzwerke mit geringer Bandbreite ist er ziemlich CPU-intensiv und möglicherweise nicht ausreichend leistungsfähig auf Computern mit niedrigeren Spezifikationen. Das Datenformat ist ähnlich dem von MPEG-4 Teil 2.

H.263 wurde im Web nie weit verbreitet. Varianten von H.263 wurden als Grundlage für andere proprietäre Formate verwendet, wie zum Beispiel Flash-Video oder den Sorenson-Codec. Allerdings hat kein großer Browser je H.263-Unterstützung standardmäßig aufgenommen. Bestimmte Medien-Plugins haben die Unterstützung von H.263-Medien ermöglicht.

Im Gegensatz zu den meisten Codecs definiert H.263 die Grundlagen eines codierten Videos in Bezug auf die maximale Bitrate pro Frame (Bild), oder BPPmaxKb. Während der Kodierung wird ein Wert für BPPmaxKb ausgewählt, und dann darf das Video diesen Wert für jedes Bild nicht überschreiten. Die finale Bitrate hängt von diesem, der Bildrate, der Kompression und der gewählten Auflösung und Blockformat ab.

H.263 wurde von H.264 abgelöst und wird daher als veraltetes Medienformat angesehen, das Sie nach Möglichkeit vermeiden sollten. Der einzige wirkliche Grund, H.263 in neuen Projekten zu verwenden, besteht darin, Unterstützung auf sehr alten Geräten zu benötigen, auf denen H.263 die beste Wahl ist.

H.263 ist ein proprietäres Format, mit Patenten im Besitz einer Reihe von Organisationen und Unternehmen, darunter Telenor, Fujitsu, Motorola, Samsung, Hitachi, Polycom, Qualcomm und so weiter. Um H.263 zu verwenden, sind Sie rechtlich verpflichtet, die entsprechenden Lizenzen zu erwerben.

HEVC (H.265)

Der High Efficiency Video Coding (HEVC) Codec wird sowohl durch ITUs H.265 als auch durch MPEG-H Teil 2 (die noch in Entwicklung befindliche Nachfolge von MPEG-4) definiert. HEVC wurde entwickelt, um das effiziente Codieren und Decodieren von Videos in Größen einschließlich sehr hoher Auflösungen (einschließlich 8K-Video) zu unterstützen, mit einer Struktur, die speziell entwickelt wurde, damit Software moderne Prozessoren effektiv nutzen kann. Theoretisch kann HEVC komprimierte Dateigrößen erreichen, die halb so groß sind wie die von AVC, aber mit vergleichbarer Bildqualität.

Zum Beispiel besteht jede Codierbaum-Einheit (CTU) - ähnlich dem Makroblock, der in früheren Codecs verwendet wird - aus einem Baum von Luma-Werten für jede Probe sowie einem Baum von Chroma-Werten für jede in derselben Codierbaum-Einheit verwendete Chroma-Probe, sowie alle erforderlichen Syntaxelemente. Diese Struktur unterstützt eine einfache Verarbeitung durch mehrere Kerne.

Ein interessantes Merkmal von HEVC ist, dass das Hauptprofil nur 8-Bit Farbtiefe pro Komponente mit 4:2:0 Chroma-Subsampling unterstützt. Ebenfalls interessant ist, dass 4:4:4 Videos speziell behandelt werden. Anstelle der Luma-Proben (die die Pixel des Bildes in Graustufen repräsentieren) und der Cb- und Cr-Proben (die angeben, wie die Graustufen verändert werden sollen, um Farb-Pixel zu erzeugen), werden die drei Kanäle stattdessen als drei monochrome Bilder behandelt, eines für jede Farbe, die dann bei der Wiedergabe kombiniert werden, um ein Vollfarbbild zu erzeugen.

HEVC ist ein proprietäres Format und durch eine Reihe von Patenten abgedeckt. Die Lizenzierung wird von Via LA verwaltet; Gebühren werden von Entwicklern statt von Inhaltsproduzenten und Distributoren erhoben. Stellen Sie sicher, dass Sie die neuesten Lizenzbedingungen und Anforderungen überprüfen, bevor Sie eine Entscheidung darüber treffen, ob Sie HEVC in Ihrer App oder Website verwenden möchten!

MP4V-ES

Das Format MPEG-4 Video Elemental Stream (MP4V-ES) ist Teil des MPEG-4 Teil 2 Visual-Standards. Während MPEG-4 Teil 2-Video im Allgemeinen wegen seines fehlenden Mehrwerts im Vergleich zu anderen Codecs von niemandem verwendet wird, hat MP4V-ES auf Mobilgeräten eine gewisse Verbreitung. MP4V ist im Wesentlichen eine H.263-Codierung in einem MPEG-4-Container.

Der Hauptzweck besteht darin, MPEG-4-Audio und -Video über eine RTP-Sitzung zu streamen. MP4V-ES wird jedoch auch verwendet, um MPEG-4-Audio und -Video über eine mobile Verbindung unter Verwendung von 3GP zu übertragen.

Sie wollen dieses Format fast sicher nicht verwenden, da es von keinem großen Browser in nennenswerter Weise unterstützt wird und ziemlich obsolet ist. Dateien dieses Typs sollten die Erweiterung .mp4v haben, sind jedoch manchmal fälschlicherweise als .mp4 gekennzeichnet.

MPEG-1 Part 2 Video

MPEG-1 Teil 2 Video wurde zu Beginn der 1990er Jahre präsentiert. Im Gegensatz zu den späteren MPEG-Videostandards wurde MPEG-1 ausschließlich von MPEG entwickelt, ohne Beteiligung der ITU.

Da jeder MPEG-2-Decoder auch MPEG-1-Video abspielen kann, ist es mit einer Vielzahl von Software- und Hardware-Geräten kompatibel. Es gibt keine aktiven Patente mehr im Zusammenhang mit MPEG-1-Video, sodass es ohne jegliche Lizenzierungsbedenken verwendet werden kann. Allerdings unterstützen nur wenige Webbrowser MPEG-1-Video ohne die Unterstützung eines Plugins, und da die Verwendung von Plugins in Webbrowsern veraltet ist, sind diese in der Regel nicht mehr verfügbar. Dies macht MPEG-1 zu einer schlechten Wahl für den Einsatz in Websites und Webanwendungen.

MPEG-2 Part 2 Video

MPEG-2 Part 2 ist das durch die MPEG-2-Spezifikation definierte Videoformat und wird auch gelegentlich durch seine ITU Bezeichnung, H.262, bezeichnet. Es ist MPEG-1 Video sehr ähnlich - tatsächlich kann jeder MPEG-2-Player automatisch MPEG-1 ohne besondere Maßnahmen behandeln - allerdings wurde es erweitert, um höhere Bitraten und verbesserte Kodierungstechniken zu unterstützen.

Ziel war es, MPEG-2 in die Lage zu versetzen, Standard-Definition Fernsehsignale zu komprimieren, daher wird auch Interlaced Video unterstützt. Die Standard-Definition-Kompressionsrate und die Qualität des resultierenden Videos haben die Anforderungen so gut erfüllt, dass MPEG-2 der primäre Video-Codec für DVD-Video-Medien ist.

MPEG-2 bietet mehrere Profile mit unterschiedlichen Fähigkeiten. Jedes Profil ist dann in vier Level verfügbar, die jeweils die Attribute des Videos wie Bildrate, Auflösung, Bitrate usw. erhöhen. Die meisten Profile verwenden Y'CbCr mit 4:2:0 Chroma-Subsampling, aber fortgeschrittenere Profile unterstützen auch 4:2:2. Zudem gibt es vier Levels, die jeweils Unterstützung für größere Bilddimensionen und Bitraten bieten. Zum Beispiel unterstützt die ATSC Spezifikation für TV in Nordamerika MPEG-2 Video in hoher Definition mit dem Main Profile auf High Level, sodass 4:2:0 Video sowohl bei 1920 x 1080 (30 FPS) als auch 1280 x 720 (60 FPS) mit einer maximalen Bitrate von 80 Mbps möglich ist.

Allerdings unterstützen nur wenige Webbrowser MPEG-2 ohne die Unterstützung eines Plugins, und da die Nutzung von Plugins in Webbrowsern veraltet ist, sind diese im Allgemeinen nicht mehr verfügbar. Dies macht MPEG-2 zu einer schlechten Wahl für den Einsatz in Websites und Webanwendungen.

Theora

Theora, entwickelt von Xiph.org, ist ein offener und kostenloser Videocodec, der ohne Lizenzgebühren oder Lizenzierung verwendet werden kann. Theora ist in Bezug auf Qualität und Kompressionsraten mit MPEG-4 Part 2 Visual und AVC vergleichbar, was ihn zu einer sehr guten, wenn auch nicht erstklassigen Wahl für die Video-Codierung macht. Sein Status als lizenzfrei und die relativ geringen CPU-Ressourcenanforderungen machen ihn zu einer beliebten Wahl für viele Software- und Webprojekte. Der geringe CPU-Aufwand ist besonders nützlich, da keine Hardware-Decoder für Theora verfügbar sind.

Theora basiert ursprünglich auf dem VC3-Codec von On2 Technologies. Der Codec und seine Spezifikation wurden unter der LGPL-Lizenz veröffentlicht und Xiph.org anvertraut, das ihn dann zum Theora-Standard entwickelte.

Ein Nachteil von Theora ist, dass es nur 8 Bit pro Farbkomponente unterstützt, ohne die Möglichkeit, 10 oder mehr zu verwenden, um Farbbanding zu vermeiden. Allerdings sind 8 Bit pro Komponente immer noch das am häufigsten verwendete Farbformat, sodass dies in den meisten Fällen nur ein geringfügiges Ärgernis darstellt. Außerdem kann Theora nur in einem Ogg-Container verwendet werden. Der größte Nachteil jedoch ist, dass es nicht von Safari unterstützt wird, was Theora nicht nur auf macOS, sondern auf allen Millionen von iPhones und iPads unzugänglich macht.

Das Theora Cookbook bietet zusätzliche Details zu Theora sowie zum Ogg-Containerformat, in dem es verwendet wird.

VP8

Der Codec Video Processor 8 (VP8) wurde ursprünglich von On2 Technologies erstellt. Nach dem Kauf von On2 hat Google VP8 als offenes und lizenzfreies Videoformat veröffentlicht, mit dem Versprechen, die entsprechenden Patente nicht durchzusetzen. In Bezug auf Qualität und Kompressionsrate ist VP8 mit AVC vergleichbar.

Wenn der Browser es unterstützt, erlaubt VP8 Videos mit einem Alpha-Kanal, sodass das Video mit einem Hintergrund abgespielt werden kann, der durch das Video in einem Grad gesehen werden kann, der von der Alphakomponente jedes Pixels vorgegeben wird.

In HTML-Inhalten gibt es eine gute Browser-Unterstützung für VP8, insbesondere in WebM-Dateien. Dies macht VP8 zu einer guten Wahl für Ihre Inhalte, obwohl VP9 eine noch bessere Wahl wäre, wenn es Ihnen zur Verfügung steht. Webbrowser sind verpflichtet, VP8 für WebRTC zu unterstützen, aber nicht alle Browser, die das tun, unterstützen es auch in HTML-Audio- und Video-Elementen.

VP9

Video Processor 9 (VP9) ist der Nachfolger des älteren VP8-Standards, der von Google entwickelt wurde. Wie VP8 ist VP9 vollständig offen und lizenzgebührenfrei. Seine Kodierungs- und Dekodierungsgeschwindigkeit ist vergleichbar oder leicht schneller als die von AVC, jedoch mit besserer Qualität. Die kodierte Videoqualität von VP9 ist mit der von HEVC bei ähnlichen Bitraten vergleichbar.

Das Hauptprofil von VP9 unterstützt nur eine Farbtiefe von 8 Bit bei 4:2:0 Chroma-Subsampling-Stufen, aber seine Profile umfassen Unterstützung für tiefere Farben und die gesamte Palette an Chroma-Subsampling-Modi. Es unterstützt mehrere HDR-Implementierungen und bietet große Freiheit bei der Auswahl von Bildraten, Seitenverhältnissen und Bildgrößen.

VP9 wird von Browsern weitgehend unterstützt, und Hardwareimplementierungen des Codecs sind ziemlich verbreitet. VP9 ist einer der beiden Video-Codecs, die von WebM vorgeschrieben sind (der andere ist VP8). Beachten Sie jedoch, dass die Unterstützung von Safari für WebM und VP9 erst in Version 14.1 eingeführt wurde. Wenn Sie sich also entscheiden, VP9 zu verwenden, sollten Sie ein alternatives Format wie AVC oder HEVC für iPhone-, iPad- und Mac-Benutzer anbieten.

VP9 ist eine gute Wahl, wenn Sie einen WebM-Container verwenden können (und bei Bedarf ein alternatives Video bereitstellen können). Dies gilt insbesondere, wenn Sie lieber einen offenen Code als einen proprietären verwenden möchten.

Auswahl eines Video-Codecs

Die Entscheidung, welchen Codec oder welche Codecs Sie verwenden möchten, beginnt mit einer Reihe von Fragen zur Vorbereitung:

• Möchten Sie ein offenes Format verwenden oder sollen auch proprietäre Formate in Betracht gezogen werden?
• Haben Sie die Ressourcen, mehr als ein Format für jedes Ihrer Videos zu produzieren? Die Möglichkeit, eine Fallback-Option anzubieten, vereinfacht den Entscheidungsprozess erheblich.
• Gibt es Browser, bei denen Sie bereit sind, die Kompatibilität zu opfern?
• Wie alt ist die älteste Webbrowser-Version, die Sie unterstützen müssen? Müssen Sie beispielsweise auf jedem in den letzten fünf Jahren ausgelieferten Browser arbeiten oder nur im letzten Jahr?

In den unten stehenden Abschnitten bieten wir empfohlene Codec-Auswahlen für spezifische Anwendungsfälle an. Für jeden Anwendungsfall finden Sie bis zu zwei Empfehlungen. Wenn der Codec, der als der beste für den Anwendungsfall angesehen wird, proprietär ist oder Lizenzgebühren erfordern könnte, werden zwei Optionen bereitgestellt: zuerst eine offene und lizenzkostenfreie Option, gefolgt von der proprietären Variante.

Wenn Sie nur in der Lage sind, eine einzelne Version jedes Videos anzubieten, können Sie das Format wählen, das Ihren Anforderungen am besten entspricht. Die erste Empfehlung gilt als eine gute Kombination aus Qualität, Leistung und Kompatibilität. Die zweite Option wird die am weitesten kompatible Wahl sein, auf Kosten von etwas Qualität, Leistung und/oder Größe.

Empfehlungen für alltägliche Videos

Zuerst betrachten wir die besten Optionen für Videos, die auf einer typischen Website wie einem Blog, einer Informationsseite oder der Website eines kleinen Unternehmens präsentiert werden, auf der Videos zur Produktdemonstration verwendet werden (aber nicht, wo die Videos selbst das Produkt sind).

1. Ein WebM-Container, der den VP9-Codec für Video und den Opus-Codec für Audio verwendet. Diese sind alle offene, lizenzkostenfreie Formate, die allgemein gut unterstützt werden, allerdings nur in recht aktuellen Browsern, weshalb eine Fallback-Option eine gute Idee ist.

   html

   <video controls src="filename.webm"></video>
   

2. Ein MP4-Container und der AVC (H.264)-Video-Codec, idealerweise mit AAC als Ihrem Audio-Codec. Dies liegt daran, dass der MP4-Container mit AVC- und AAC-Codecs innerhalb ist eine weitgehend unterstützte Kombination - tatsächlich von jedem großen Browser - und die Qualität ist für die meisten Anwendungsfälle typischerweise gut. Stellen Sie jedoch sicher, dass Sie Ihre Einhaltung der Lizenzanforderungen überprüfen.

   html

   <video controls>
     <source type="video/webm" src="filename.webm" />
     <source type="video/mp4" src="filename.mp4" />
   </video>
   

Empfehlungen für Präsentationen in hoher Videoqualität

Wenn Ihre Mission ist, Videos in der höchstmöglichen Qualität zu präsentieren, profitieren Sie wahrscheinlich davon, so viele Formate wie möglich anzubieten, da die Codecs, die die beste Qualität bieten können, auch eher die neuesten sind und daher am ehesten Lücken in der Browser-Kompatibilität aufweisen.

1. Ein WebM-Container, der AV1 für Video und Opus für Audio verwendet. Wenn Sie in der Lage sind, das High- oder Professional-Profil beim Kodieren von AV1 auf einem hohen Niveau wie 6.3 zu verwenden, können Sie sehr hohe Bitraten bei 4K- oder 8K-Auflösung erzielen, während Sie eine exzellente Videoqualität beibehalten. Wenn Sie Ihr Audio mit dem Fullband-Profil von Opus bei einer Abtastrate von 48 kHz codieren, maximieren Sie die erfasste Audiobandbreite und erfassen nahezu den gesamten Frequenzbereich, der innerhalb des menschlichen Hörens liegt.

   html

   <video controls src="filename.webm"></video>
   

2. Ein MP4-Container, der den HEVC-Codec mit einem der fortgeschrittenen Main-Profile verwendet, wie Main 4:2:2 mit 10 oder 12 Bit Farbtiefe oder sogar das Main 4:4:4-Profil mit bis zu 16 Bit pro Komponente. Bei einer hohen Bitrate bietet dies eine hervorragende Grafikqualität mit bemerkenswerter Farbwiedergabe. Zusätzlich können Sie optional HDR-Metadaten hinzufügen, um Video mit hohem Dynamikbereich bereitzustellen. Für Audio verwenden Sie den AAC-Codec mit einer hohen Abtastrate (mindestens 48 kHz, idealerweise aber 96 kHz) und codieren mit komplexem Kodieren anstelle von schnellem Kodieren.

   html

   <video controls>
     <source type="video/webm" src="filename.webm" />
     <source type="video/mp4" src="filename.mp4" />
   </video>
   

Empfehlungen für Archivierung, Bearbeitung oder Remixing

Derzeit gibt es keine verlustfreien—oder auch nur nahezu verlustfreien—Video-Codecs, die allgemein in Webbrowsern verfügbar sind. Der Grund dafür ist einfach: Video ist riesig. Verlustfreie Kompression ist per Definition weniger effektiv als verlustbehaftete Kompression. Beispielsweise benötigt unkomprimiertes 1080p-Video (1920 mal 1080 Pixel) mit 4:2:0-Chroma-Subsampling mindestens 1,5 Gbps. Verwenden von verlustfreier Kompression wie FFV1 (welches von Webbrowsern nicht unterstützt wird), könnte dies möglicherweise auf etwa 600 Mbps reduziert werden, abhängig vom Inhalt. Das ist immer noch eine enorme Menge an Bits, die jede Sekunde durch eine Verbindung gepumpt werden müssen, und ist derzeit für keine reale Anwendung praktisch.

Dies ist auch dann der Fall, wenn einige der verlustbehafteten Codecs einen verlustfreien Modus verfügbar haben; die verlustfreien Modi sind in aktuellen Webbrowsern nicht implementiert. Das Beste, was Sie tun können, ist, einen hochwertigen Codec zu wählen, der verlustbehaftete Kompression verwendet, und ihn so zu konfigurieren, dass möglichst wenig Kompression durchgeführt wird. Eine Möglichkeit, dies zu tun, besteht darin, den Codec so zu konfigurieren, dass er "schnelle" Kompression verwendet, was von Natur aus bedeutet, dass weniger Kompression erreicht wird.

Vorbereitung von Videos extern

Um Videos für Archivierungszwecke außerhalb Ihrer Website oder App vorzubereiten, verwenden Sie ein Programm, das die Kompression auf den ursprünglichen unkomprimierten Videodaten durchführt. Beispielsweise kann das kostenlose x264-Programm verwendet werden, um Videos im AVC-Format mit einer sehr hohen Bitrate zu kodieren:

x264 --crf 18 -preset ultrafast --output out-file.mp4 in-file

Während andere Codecs bessere Qualitätsniveaus beim signifikanten Komprimieren des Videos erreichen können, neigen deren Encoder dazu, so langsam zu sein, dass das nahezu verlustfreie Kodieren, das Sie mit dieser Kompression erreichen, weitaus schneller bei etwa dem gleichen Gesamtqualitätsniveau ist.

Aufnahme von Videos

Angesichts der Einschränkungen, wie nah Sie an verlustfrei herankommen können, könnten Sie in Betracht ziehen, AVC oder AV1 zu verwenden. Beispielsweise, wenn Sie die MediaStream Aufnahme-API verwenden, um Videos aufzuzeichnen, könnten Sie Code wie den folgenden verwenden, wenn Sie Ihr MediaRecorder-Objekt erstellen:

const kbps = 1024;
const Mbps = kbps * kbps;

const options = {
  mimeType: 'video/webm; codecs="av01.2.19H.12.0.000.09.16.09.1, flac"',
  bitsPerSecond: 800 * Mbps,
};

let recorder = new MediaRecorder(sourceStream, options);

Dieses Beispiel erstellt einen MediaRecorder, der konfiguriert ist, AV1 Video mit BT.2100 HDR in 12-Bit-Farbe mit 4:4:4-Chroma-Subsampling und FLAC für verlustfreies Audio aufzunehmen. Die resultierende Datei wird eine Bitrate von nicht mehr als 800 Mbps verwenden, die zwischen den Video- und Audiotracks geteilt wird. Sie werden wahrscheinlich die Werte anpassen müssen, abhängig von der Hardwareleistung, Ihren Anforderungen und den spezifischen Codecs, die Sie verwenden möchten. Diese Bitrate ist offensichtlich nicht realistisch für die Netzwerkübertragung und würde wahrscheinlich nur lokal verwendet werden.

Bei der Aufschlüsselung des Wertes des codecs-Parameters in seine durch Punkte getrennten Eigenschaften sehen wir Folgendes:

Die Dokumentation zu Ihren Codec-Auswahlen wird wahrscheinlich Informationen bieten, die Sie verwenden werden, wenn Sie Ihren codecs-Parameter konstruieren.

Siehe auch

• Leitfaden zu Web-Audio-Codecs
• Mediencontainerformate (Dateitypen)
• Umgang mit Medienunterstützungsproblemen in Webinhalten
• Codecs, die von WebRTC verwendet werden
• RFC 6381: Die Parameter "Codecs" und "Profiles" für "Bucket"-Medientypen
• RFC 5334: Ogg-Medientypen
• RFC 3839: MIME-Type-Registrierungen für 3GPP-Multimediadateien
• RFC 4381: MIME-Type-Registrierungen für 3GPP2-Multimediadateien
• RFC 4337: MIME-Type-Registrierungen für MPEG-4
• Video- und Audio-Codecs in Chrome