WebRTC API

WebRTC erfüllt mehrere Zwecke; zusammen mit der Media Capture and Streams API bieten sie leistungsstarke Multimedia-Fähigkeiten für das Web, einschließlich Unterstützung für Audio- und Videokonferenzen, Dateiaustausch, Bildschirmfreigabe, Identitätsmanagement und Schnittstellen zu älteren Telefonsystemen, einschließlich Unterstützung für das Senden von DTMF (Tonwahl) Signalen. Verbindungen zwischen Peers können ohne spezielle Treiber oder Plug-Ins hergestellt werden und oft auch ohne Zwischenserver.

Verbindungen zwischen zwei Peers werden durch das Interface RTCPeerConnection dargestellt. Sobald eine Verbindung mit RTCPeerConnection etabliert und geöffnet wurde, können Medienstreams (MediaStreams) und/oder Datenkanäle (RTCDataChannels) zur Verbindung hinzugefügt werden.

Medienstreams können aus einer beliebigen Anzahl von Medienspuren bestehen; Spuren, die durch Objekte basierend auf dem Interface MediaStreamTrack repräsentiert werden, können eine von mehreren Arten von Mediendaten enthalten, einschließlich Audio, Video und Text (wie Untertitel oder sogar Kapitelnamen). Die meisten Streams bestehen aus mindestens einer Audiospur und wahrscheinlich auch einer Videospur und können sowohl Live-Medien als auch gespeicherte Mediendaten (wie einen gestreamten Film) senden und empfangen.

Sie können auch die Verbindung zwischen zwei Peers nutzen, um beliebige binäre Daten über das Interface RTCDataChannel auszutauschen. Dies kann für Backchannel-Informationen, Metadatenaustausch, Spielstatuspakete, Dateitransfers oder sogar als Hauptkanal für den Datentransfer verwendet werden.

WebRTC wird im Allgemeinen gut in modernen Browsern unterstützt, es bleiben jedoch einige Inkompatibilitäten. Die adapter.js Bibliothek ist ein Shim, um Apps vor diesen Inkompatibilitäten zu schützen.

Da WebRTC Schnittstellen bereitstellt, die zusammenarbeiten, um eine Vielzahl von Aufgaben zu erfüllen, haben wir die Referenzen nach Kategorien aufgeteilt. Bitte sehen Sie in der Seitenleiste für eine alphabetische Liste nach.

Diese Schnittstellen, Wörterbücher und Typen werden verwendet, um WebRTC-Verbindungen einzurichten, zu öffnen und zu verwalten. Enthalten sind Schnittstellen, die Peer-Medienverbindungen, Datenkanäle und Schnittstellen darstellen, die verwendet werden, um Informationen über die Fähigkeiten jedes Peers auszutauschen, um die bestmögliche Konfiguration für eine Zwei-Wege-Medienverbindung auszuwählen.

Schnittstellen

RTCPeerConnection

Repräsentiert eine WebRTC-Verbindung zwischen dem lokalen Computer und einem entfernten Peer. Es wird verwendet, um effizientes Streaming von Daten zwischen den beiden Peers zu handhaben.

RTCDataChannel

Repräsentiert einen bidirektionalen Datenkanal zwischen zwei Peers einer Verbindung.

RTCDataChannelEvent

Repräsentiert Ereignisse, die beim Anfügen eines RTCDataChannel an eine RTCPeerConnection auftreten. Das einzige Ereignis, das mit diesem Interface gesendet wird, ist datachannel.

RTCSessionDescription

Repräsentiert die Parameter einer Sitzung. Jede RTCSessionDescription besteht aus einer Beschreibung type, die angibt, welcher Teil des Offer/Answer-Negotiationsprozesses beschrieben wird, und aus dem SDP-Deskriptor der Sitzung.

RTCStatsReport

Bietet Informationen zu Statistiken für eine Verbindung oder für eine einzelne Spur in der Verbindung; der Bericht kann durch Aufrufen von RTCPeerConnection.getStats() abgerufen werden.

RTCIceCandidate

Repräsentiert einen Kandidaten für den Aufbau einer interaktiven Verbindungsherstellung (ICE)-Server für die Etablierung einer RTCPeerConnection.

RTCIceTransport

Repräsentiert Informationen über einen ICE-Transport.

RTCPeerConnectionIceEvent

Repräsentiert Ereignisse, die im Zusammenhang mit ICE-Kandidaten mit dem Ziel auftreten, in der Regel eine RTCPeerConnection. Nur ein Ereignis dieser Art existiert: icecandidate.

RTCRtpSender

Verwalten das Kodieren und die Übertragung von Daten für eine MediaStreamTrack auf einer RTCPeerConnection.

RTCRtpReceiver

Verwalten den Empfang und das Dekodieren von Daten für eine MediaStreamTrack auf einer RTCPeerConnection.

RTCTrackEvent

Das Interface, das ein track Ereignis darstellt, welches angibt, dass ein RTCRtpReceiver-Objekt zur RTCPeerConnection-Objekt hinzugefügt wurde, was darauf hinweist, dass eine neue eingehende MediaStreamTrack erstellt und zur RTCPeerConnection hinzugefügt wurde.

RTCSctpTransport

Bietet Informationen, die ein Stream Control Transmission Protocol (SCTP)-Transport beschreiben und bietet auch eine Möglichkeit, auf den zugrunde liegenden Datagram Transport Layer Security (DTLS)-Transport zuzugreifen, über den SCTP-Pakete für alle Datenkanäle einer RTCPeerConnection gesendet und empfangen werden.

Ereignisse

bufferedamountlow

Die Menge an aktuell vom Datenkanal gepufferten Daten – wie durch seine bufferedAmount Eigenschaft angezeigt – ist auf oder unter die minimale gepufferte Datengröße des Kanals gefallen, wie durch bufferedAmountLowThreshold spezifiziert.

close

Der Datenkanal hat den Schließvorgang abgeschlossen und befindet sich jetzt im closed-Zustand. Sein zugrunde liegendes Datentransport ist zu diesem Zeitpunkt vollständig geschlossen. Sie können über das bevorstehende Schließen benachrichtigt werden, indem Sie stattdessen das closing-Ereignis überwachen.

closing

Der RTCDataChannel ist in den closing-Zustand übergegangen, was darauf hinweist, dass er bald geschlossen wird. Sie können das Abschließen des Schließvorgangs feststellen, indem Sie das close-Ereignis überwachen.

connectionstatechange

Der Zustand der Verbindung, auf die über connectionState zugegriffen werden kann, hat sich geändert.

datachannel

Ein neuer RTCDataChannel ist verfügbar, nachdem der entfernte Peer einen neuen Datenkanal geöffnet hat. Der Typ dieses Ereignisses ist RTCDataChannelEvent.

error

Ein RTCErrorEvent, das anzeigt, dass ein Fehler im Datenkanal aufgetreten ist.

error

Ein RTCErrorEvent, das anzeigt, dass ein Fehler im RTCDtlsTransport aufgetreten ist. Dieser Fehler wird entweder dtls-failure oder fingerprint-failure sein.

gatheringstatechange

Der Erfassungszustand des RTCIceTransport hat sich geändert.

icecandidate

Ein RTCPeerConnectionIceEvent, das gesendet wird, wann immer das lokale Gerät einen neuen ICE-Kandidaten identifiziert hat, der dem lokalen Peer durch Aufruf von setLocalDescription() hinzugefügt werden muss.

icecandidateerror

Ein RTCPeerConnectionIceErrorEvent, das darauf hinweist, dass ein Fehler beim Sammeln von ICE-Kandidaten aufgetreten ist.

iceconnectionstatechange

Wird an eine RTCPeerConnection gesendet, wenn sich der ICE-Verbindungszustand – der in der iceConnectionState-Eigenschaft zu finden ist – ändert.

icegatheringstatechange

Wird an eine RTCPeerConnection gesendet, wenn sich der ICE-Erfassungszustand – der in der iceGatheringState-Eigenschaft zu finden ist – ändert.

message

Eine Nachricht wurde auf dem Datenkanal empfangen. Das Ereignis ist vom Typ MessageEvent.

negotiationneeded

Informiert die RTCPeerConnection, dass eine Sitzungsverhandlung durchgeführt werden muss, indem createOffer() gefolgt von setLocalDescription() aufgerufen wird.

open

Der zugrundeliegende Datentransport für den RTCDataChannel wurde erfolgreich geöffnet oder wieder geöffnet.

selectedcandidatepairchange

Das aktuell ausgewählte Paar von ICE-Kandidaten hat sich für den RTCIceTransport, auf dem das Ereignis ausgelöst wird, geändert.

track

Das track-Ereignis vom Typ RTCTrackEvent wird an eine RTCPeerConnection gesendet, wenn ein neuer Track zur Verbindung nach erfolgreicher Verhandlung des Medienstreamings hinzugefügt wird.

signalingstatechange

Wird an die Peer-Verbindung gesendet, wenn sich ihr signalingState geändert hat. Dies geschieht als Ergebnis eines Aufrufs von entweder setLocalDescription() oder setRemoteDescription().

statechange

Der Zustand des RTCDtlsTransport hat sich geändert.

statechange

Der Zustand des RTCIceTransport hat sich geändert.

statechange

Der Zustand des RTCSctpTransport hat sich geändert.

rtctransform

Ein kodierter Video- oder Audio-Frame ist bereit, mit einem Transformstream in einem Worker verarbeitet zu werden.

Typen

RTCSctpTransport.state

Gibt den Zustand einer RTCSctpTransport-Instanz an.

Diese APIs werden verwendet, um Benutzeridentität und Sicherheit zu verwalten, um den Benutzer für eine Verbindung zu authentifizieren.

RTCIdentityProvider

Ermöglicht einem User Agent die Anforderung, dass eine Identitätsbehauptung generiert oder validiert wird.

RTCIdentityAssertion

Gibt die Identität des entfernten Peers der aktuellen Verbindung an. Wenn noch kein Peer festgelegt und überprüft wurde, gibt dieses Interface null zurück. Einmal festgelegt, kann es nicht geändert werden.

RTCIdentityProviderRegistrar

Registriert einen Identitätsprovider (idP).

RTCCertificate

Repräsentiert ein Zertifikat, das eine RTCPeerConnection zur Authentifizierung verwendet.

Diese Schnittstellen und Ereignisse stehen im Zusammenhang mit der Interaktivität mit öffentlichen Telefonnetzen (PSTNs). Sie werden hauptsächlich verwendet, um Tonsignale – oder Pakete, die diese Töne darstellen – über das Netzwerk an den entfernten Peer zu senden.

Schnittstellen

RTCDTMFSender

Verwalten das Kodieren und die Übertragung von Mehrfrequenzwahlverfahren (DTMF)-Signalen für eine RTCPeerConnection.

RTCDTMFToneChangeEvent

Wird vom tonechange Ereignis verwendet, um anzuzeigen, dass ein DTMF-Ton entweder begonnen oder geendet hat. Dieses Ereignis „blubbert“ nicht (außer wo anders angegeben) und kann nicht abgebrochen werden (außer wo anders angegeben).

Ereignisse

tonechange

Ein neuer DTMF-Ton hat begonnen, über die Verbindung abzuspielen, oder der letzte Ton im toneBuffer des RTCDTMFSenders wurde gesendet und der Puffer ist jetzt leer. Der Ereignistyp ist RTCDTMFToneChangeEvent.

Diese Schnittstellen und Ereignisse werden verwendet, um eingehende und ausgehende kodierte Video- und Audio-Frames mithilfe eines Transformstreams zu verarbeiten, der in einem Worker läuft.

Schnittstellen

RTCRtpScriptTransform

Eine Schnittstelle zum Einfügen von Transformstreams, die in einem Worker laufen, in die RTC-Pipeline.

RTCRtpScriptTransformer

Das auf der Worker-Seite befindliche Gegenstück eines RTCRtpScriptTransform, das Optionen vom Hauptthread übermittelt, zusammen mit einem lesbaren Stream und einem beschreibbaren Stream, die verwendet werden können, um kodierte Frames durch einen TransformStream zu leiten.

RTCEncodedVideoFrame

Repräsentiert ein kodiertes Video-Frame, das in der RTC-Pipeline transformiert werden soll.

RTCEncodedAudioFrame

Repräsentiert ein kodiertes Audio-Frame, das in der RTC-Pipeline transformiert werden soll.

Eigenschaften

RTCRtpReceiver.transform

Eine Eigenschaft zur Einfügung eines Transformstreams in die Receiver-Pipeline für eingehende kodierte Video- und Audio-Frames.

RTCRtpSender.transform

Eine Eigenschaft zur Einfügung eines Transformstreams in die Sender-Pipeline für ausgehende kodierte Video- und Audio-Frames.

Ereignisse

rtctransform

Eine RTC-Transformation ist bereit, im Worker zu laufen, oder ein kodiertes Video- oder Audio-Frame ist bereit zur Verarbeitung.

Einführung in WebRTC-Protokolle

Dieser Artikel führt in die Protokolle ein, auf denen die WebRTC API aufgebaut ist.

WebRTC-Konnektivität

Ein Leitfaden, wie WebRTC-Verbindungen funktionieren und wie die verschiedenen Protokolle und Schnittstellen zusammen verwendet werden können, um leistungsstarke Kommunikations-Apps zu erstellen.

Lebensdauer einer WebRTC-Sitzung

WebRTC ermöglicht es Ihnen, Peer-to-Peer-Kommunikation von beliebigen Daten, Audio oder Video – oder beliebige Kombinationen davon – in eine Browseranwendung zu integrieren. In diesem Artikel betrachten wir die Lebensdauer einer WebRTC-Sitzung, vom Aufbau der Verbindung bis zum Schließen der Verbindung, wenn sie nicht mehr benötigt wird.

Verbindung aufbauen: Das perfekte Verhandlungsmuster

Perfekte Verhandlung ist ein Designmuster, das empfohlen wird, um den Signalisierungsprozess zu folgen, der Transparenz bei der Verhandlung bietet und es beiden Seiten ermöglicht, entweder der Anfragende oder der Antwortende zu sein, ohne signifikanten Programmieraufwand zur Unterscheidung der beiden.

Signalisierung und Zwei-Wege-Video-Anrufe

Ein Tutorial und Beispiel, das ein auf WebSocket basierendes Chat-System, das für ein früheres Beispiel erstellt wurde, erweitert, indem die Unterstützung für das Öffnen von Videoanrufen zwischen Teilnehmern hinzugefügt wird. Die WebSocket-Verbindung des Chat-Servers wird für die WebRTC-Signalisierung verwendet.

Codecs, die von WebRTC verwendet werden

Ein Leitfaden zu den Codecs, die WebRTC erfordert, dass Browser unterstützen, sowie die optionalen, die von verschiedenen beliebten Browsern unterstützt werden. Ein Leitfaden, der Ihnen hilft, die besten Codecs für Ihre Bedürfnisse auszuwählen, ist enthalten.

Verwendung von WebRTC-Datenkanälen

Dieser Leitfaden behandelt, wie Sie eine Peer-Verbindung und einen dazugehörigen RTCDataChannel verwenden können, um beliebige Daten zwischen zwei Peers auszutauschen.

Verwendung von DTMF mit WebRTC

WebRTC's Unterstützung für die Interaktion mit Gateways, die mit Altsystemen verbunden sind, umfasst die Unterstützung für das Senden von DTMF-Tönen über das Interface RTCDTMFSender. Dieser Leitfaden zeigt, wie dies gemacht werden kann.

Verwendung von WebRTC-Kodierten Transformationen

Dieser Leitfaden zeigt, wie eine Webanwendung eingehende und ausgehende WebRTC-kodierte Video- und Audio-Frames modifizieren kann, indem ein TransformStream in einen Worker ausgeführt wird.

Verbesserung der Kompatibilität mit WebRTC adapter.js

Die WebRTC-Organisation stellt auf GitHub den WebRTC-Adapter bereit, um Kompatibilitätsprobleme in den unterschiedlichen WebRTC-Implementierungen von Browsern zu umgehen. Der Adapter ist ein JavaScript-Shim, mit dem Ihr Code gemäß der Spezifikation geschrieben werden kann, sodass er in allen Browsern mit WebRTC-Unterstützung "einfach funktioniert".

Ein einfaches RTCDataChannel-Beispiel

Das RTCDataChannel-Interface ist eine Funktion, mit der Sie einen Kanal zwischen zwei Peers öffnen können, über den Sie beliebige Daten senden und empfangen können. Die API ist absichtlich ähnlich der WebSocket API, sodass dasselbe Programmiermodell für beide verwendet werden kann.

Erstellen eines internetverbundenen Telefons mit Peer.js

Dieses Tutorial ist eine Schritt-für-Schritt-Anleitung, wie man ein Telefon mit Peer.js baut.

• Application Layer Protocol Negotiation for Web Real-Time Communications
• WebRTC Audio Codec and Processing Requirements
• RTCWeb Data Channels
• RTCWeb Data Channel Protocol
• Web Real-Time Communication (WebRTC): Media Transport and Use of RTP
• WebRTC Security Architecture
• Transports for RTCWEB

• Interactive Connectivity Establishment (ICE): A Protocol for Network Address Translator (NAT) Traversal for Offer/Answer Protocol
• Session Traversal Utilities for NAT (STUN)
• URI Scheme for the Session Traversal Utilities for NAT (STUN) Protocol
• Traversal Using Relays around NAT (TURN) Uniform Resource Identifiers
• An Offer/Answer Model with Session Description Protocol (SDP)
• Session Traversal Utilities for NAT (STUN) Extension for Third Party Authorization

• MediaDevices
• MediaStreamEvent
• MediaStreamTrack
• MessageEvent
• MediaStream
• Media Capture and Streams API
• Firefox multistream and renegotiation for Jitsi Videobridge
• Peering Through the WebRTC Fog with SocketPeer
• Inside the Party Bus: Building a Web App with Multiple Live Video Streams + Interactive Graphics
• Web-Medien-Technologien