WebRTC Encoded TransformでE2EEを実装する
WebRTC Encoded Transformは、エンコード済みの映像や音声のフレームをWorkerで書き換えてから送受信する仕組みです。RTCRtpScriptTransformで暗号化と復号を挟み、E2EEを実装します。
- Chrome141
- Edge141
- Firefox117
- Safari15.4
はじめに
WebRTC Encoded Transformは、WebRTCで送受信する映像や音声を、エンコードした後やデコードする前のフレームの段階でWorkerに渡し、データを書き換えられるようにする機能です。送信側で暗号化して受信側で復号すれば、通信を中継するサーバーにも中身が読めないE2EE(End-to-End Encryption)を実装できます。Chrome 141が対応して、Baseline 2025に入りました。
1対1でつなぐ通信は、WebRTCがDTLS-SRTPで暗号化します。SFUのようなメディアサーバーを経由する通信では、サーバーで一度復号されます。サーバーにも読めないように暗号化したいときに、Encoded Transformが要ります。
同じページで2つのRTCPeerConnectionをつなぐと、外のサーバーなしで試せます。
<!doctype html>
<canvas width="320" height="240"></canvas>
<video autoplay muted playsinline></video>
<script type="module">
// 色が変わり続けるcanvasを送る映像にする
const canvas = document.querySelector('canvas');
const ctx = canvas.getContext('2d');
let n = 0;
setInterval(() => {
ctx.fillStyle = `hsl(${n++ * 5} 80% 50%)`;
ctx.fillRect(0, 0, 320, 240);
}, 33);
const stream = canvas.captureStream(30);
const pc1 = new RTCPeerConnection();
const pc2 = new RTCPeerConnection();
const sender = pc1.addTrack(stream.getVideoTracks()[0], stream);
sender.transform = new RTCRtpScriptTransform(new Worker('worker.js'), {});
pc2.ontrack = (event) => {
document.querySelector('video').srcObject = event.streams[0];
};
// ICEの候補が出そろってからSDPを渡す
const gathered = (pc) =>
new Promise((resolve) => {
if (pc.iceGatheringState === 'complete') return resolve();
pc.addEventListener('icegatheringstatechange', () => {
if (pc.iceGatheringState === 'complete') resolve();
});
});
await pc1.setLocalDescription();
await gathered(pc1);
await pc2.setRemoteDescription(pc1.localDescription);
await pc2.setLocalDescription();
await gathered(pc2);
await pc1.setRemoteDescription(pc2.localDescription);
</script>self.addEventListener('rtctransform', (event) => {
const { readable, writable } = event.transformer;
readable
.pipeThrough(
new TransformStream({
transform(frame, controller) {
console.log(frame.type, frame.data.byteLength);
controller.enqueue(frame);
},
}),
)
.pipeTo(writable);
});開くと左のcanvasの色が変わり続け、右のvideoに同じ映像が映ります。コンソールには、Workerが受け取ったフレームの種類と大きさがkey 177、delta 111のように流れます。
RTCRtpScriptTransform
WebRTC Encoded Transformは、送信側ではエンコードとネットワークのあいだに、受信側ではネットワークとデコードのあいだに、Workerで動く変換(Transform)を挟みます。
送信側
- 映像の入力
- エンコード
- TransformWorkerで暗号化
ネットワーク
受信側
- TransformWorkerで復号
- デコード
- 表示
これまでは、エンコードからデコードまでのあいだに手を入れられませんでした。扱うのはエンコード済みのデータなので、色を変えるといった映像の効果をかける用途には向きません。
変換は、RTCRtpScriptTransformを作り、RTCRtpSenderかRTCRtpReceiverのtransformプロパティに入れて挟みます。
new RTCRtpScriptTransform(worker, options, transfer);第1引数には変換を動かすWorkerを渡します。第2引数はWorkerに渡すオプションで、第3引数はWorkerに転送するオブジェクトの配列です。第2引数と第3引数は省けます。
videoSender.transform = new RTCRtpScriptTransform(worker);Workerでは、rtctransformイベントのevent.transformerのreadableからフレームを読み、writableに書き戻します。映像のフレームはRTCEncodedVideoFrameで、data(ArrayBuffer)とtype(keyかdelta)を持ちます。getMetadata()を呼ぶと、コーデック(既定ではChromeがvideo/VP8、Safariがvideo/H264)や幅と高さが分かります。
E2EEを実装する
はじめにのindex.htmlのsender.transformとpc2.ontrackを次のように替え、送信側で暗号化し、受信側で復号します。
const key = await crypto.subtle.generateKey(
{ name: 'AES-GCM', length: 128 },
false,
['encrypt', 'decrypt'],
);
sender.transform = new RTCRtpScriptTransform(new Worker('e2ee-worker.js'), {
operation: 'encrypt',
key,
});
pc2.ontrack = (event) => {
event.receiver.transform = new RTCRtpScriptTransform(
new Worker('e2ee-worker.js'),
{ operation: 'decrypt', key },
);
document.querySelector('video').srcObject = event.streams[0];
};CryptoKeyはoptionsに入れてWorkerに渡せます。ここでは同じページで作った鍵を両方に渡していますが、実際には鍵交換の仕組みで相手と共有します。
Worker側(e2ee-worker.js)では、AES-GCMでフレームを暗号化し、初期化ベクトル(IV)を末尾に付けて送ります。受信側は末尾のIVを取り出して復号します。
// 先頭のバイトは暗号化しない(VP8のキーフレームは10バイト、それ以外は3バイト)
const offsets = { key: 10, delta: 3 };
self.addEventListener('rtctransform', (event) => {
const { readable, writable, options } = event.transformer;
const { operation, key } = options;
readable
.pipeThrough(
new TransformStream({
async transform(frame, controller) {
const data = new Uint8Array(frame.data);
const n = offsets[frame.type] ?? 1;
const head = data.subarray(0, n);
if (operation === 'encrypt') {
const iv = crypto.getRandomValues(new Uint8Array(12));
const body = await crypto.subtle.encrypt(
{ name: 'AES-GCM', iv, additionalData: head },
key,
data.subarray(n),
);
frame.data = concat(head, new Uint8Array(body), iv).buffer;
} else {
const iv = data.subarray(data.length - 12);
try {
const body = await crypto.subtle.decrypt(
{ name: 'AES-GCM', iv, additionalData: head },
key,
data.subarray(n, data.length - 12),
);
frame.data = concat(head, new Uint8Array(body)).buffer;
} catch {
return; // 復号できないフレームは捨てる
}
}
controller.enqueue(frame);
},
}),
)
.pipeTo(writable);
});
function concat(...parts) {
const out = new Uint8Array(parts.reduce((sum, p) => sum + p.length, 0));
let offset = 0;
for (const p of parts) {
out.set(p, offset);
offset += p.length;
}
return out;
}VP8では、フレームの先頭(キーフレームは10バイト、それ以外は3バイト)を暗号化せずに残し、受信側のブラウザがフレームの種類を見分けられるようにします。フレーム全体を暗号化すると、Chromeでは映像は映りますが、受信側ではキーフレームでない多くのフレームがtypeをkeyとして届きます。
受信側に復号のTransformを置かないと、映像は映りません。違う鍵で復号するとdecrypt()が失敗してフレームを捨てるので、やはり映りません。
Safariは既定のコーデックがH.264で、このE2EEのコードのままでは映像が映りません(フレームをそのまま通す最初の例は映ります)。Workerで暗号化せずに残す先頭のバイト数はVP8に合わせたものなので、SafariではaddTrack()の後でVP8を先頭に並べます。
const [transceiver] = pc1.getTransceivers();
const { codecs } = RTCRtpSender.getCapabilities('video');
transceiver.setCodecPreferences([
...codecs.filter((c) => c.mimeType === 'video/VP8'),
...codecs.filter((c) => c.mimeType !== 'video/VP8'),
]);こう並べると、Safariでもフレームが復号されて映ります。
おわりに
WebRTC Encoded Transformを使うと、エンコード済みのフレームをWorkerで書き換えてから送受信できます。送信側で暗号化して受信側で復号すれば、SFUのようなサーバーを経由しても中身を読ませないE2EEを、WebRTCの送受信の途中に挟めます。