Çok Katmanlı Video Kurgu Timeline (NLE) ve Donanım Hızlandırmalı WebCodecs MP4 Kayıt Motoru
Kaynak medya dosyalarını bozmadan { id, track, start, duration, mediaOffset, speed } veri modeliyle çalışan Tahribatsız (Non-Destructive) Çok Katmanlı NLE Zaman Çizelgesi; jilet kesimi (Split), kenar kırpma (Trim), mıknatıslı hizalama (Snap) ve WebCodecs (VideoEncoder + mp4-muxer) ile canvas.captureStream ikili kayıt köprüsü.
1. Tarayıcı Tabanlı Video Kurgu Mimarisi: Tahribatsız Timeline ve Çift Katmanlı MP4 Çıktı
Amatör web video araçları bir klibi keserken Blob baytlarını bellekte kopyalamaya çalışır veya yalnızca gerçek zamanlı ekran kaydına güvenir. Profesyonel NLE (Non-Linear Editor) mimarisi ise medya kaynağını sabit tutup yalnızca zaman pencerelerini (start, duration, mediaOffset) günceller:
| Kurgu Katmanı | Kırılgan Yaklaşım (Anti-Pattern) | _db_core Endüstriyel Standart |
|---|---|---|
| Klip Kesme (Split) | Her kesimde kaynak video dosyasını yeniden kodlamak (RAM taşması) | Tahribatsız veri bölme: Sağ parçanın mediaOffset değerini dt * speed kadar artırmak |
| Çoklu Katman Senkronu | video.play() ve CSS animasyonlarını bağımsız zamanlayıcılarla yürütmek |
Tek doğruluk kaynağı playheadSec: Her karede V1, T1, A1 katmanlarını kompoze etmek |
| Birincil MP4 Üretimi | 10 dakikalık videoyu dışa aktarmak için 10 dakika bekletmek | WebCodecs VideoEncoder (avc1.42001f) + AudioEncoder + mp4-muxer ile 3x-8x hızlı çevrimdışı render |
| Evrensel Tarayıcı Yedeği | WebCodecs olmayan eski cihazlarda indirme butonunun çökmesi | canvas.captureStream(30) + AudioContext.createMediaStreamDestination() birleşik MediaRecorder köprüsü |
2. Tahribatsız (Non-Destructive) Çok Katmanlı NLE Klip Veri Modeli, splitClipAt ve Mıknatıslı Snap
Bir klibin herhangi bir t = playheadSec anında kaynak videonun hangi saniyesini göstereceği sourceTime = clip.mediaOffset + (playheadSec - clip.start) * clip.speed denklemiyle bulunur. Bu sayede jilet kesimi, hız değiştirme ve sol kenardan kırpma işlemleri sıfır kopyalama maliyetiyle milisaniyenin altında gerçekleşir:
export class NonDestructiveTimeline {
constructor(initialClips = []) {
this.clips = initialClips.map((c) => ({ speed: 1, mediaOffset: 0, ...c }));
}
// Belirli bir zaman (t) ve katmandaki aktif klibi ve kaynak medya zamanını bul
sampleTrackAt(trackId, playheadSec) {
const clip = this.clips.find(
(c) => c.track === trackId && playheadSec >= c.start && playheadSec < c.start + c.duration
);
if (!clip) return null;
const sourceTime = clip.mediaOffset + (playheadSec - clip.start) * clip.speed;
return { clip, sourceTime };
}
// Jilet Kesimi (Split at Playhead): Kaynak medyayı kopyalamadan 2 bağımsız klip üretir
splitClipAt(clipId, playheadSec, minLen = 0.25) {
const idx = this.clips.findIndex((c) => c.id === clipId);
if (idx === -1) return null;
const orig = this.clips[idx];
const localCut = playheadSec - orig.start;
if (localCut < minLen || orig.duration - localCut < minLen) return null;
const leftClip = { ...orig, duration: localCut };
const rightClip = {
...orig,
id: orig.id + "_part_" + Math.random().toString(36).slice(2, 6),
start: playheadSec,
duration: orig.duration - localCut,
mediaOffset: orig.mediaOffset + localCut * orig.speed
};
this.clips.splice(idx, 1, leftClip, rightClip);
return [leftClip, rightClip];
}
// Mıknatıslı Hizalama (Magnetic Snap): Playhead ve diğer klip uçlarına 8px eşiğinde kilitle
computeSnapTime(candidateSec, ignoreClipId, playheadSec, pxPerSec, snapThresholdPx = 8) {
const thresholdSec = snapThresholdPx / Math.max(10, pxPerSec);
const anchors = [0, playheadSec];
for (const c of this.clips) {
if (c.id === ignoreClipId) continue;
anchors.push(c.start, c.start + c.duration);
}
let bestTime = Math.max(0, candidateSec);
let minDiff = thresholdSec;
for (const a of anchors) {
const diff = Math.abs(candidateSec - a);
if (diff < minDiff) {
minDiff = diff;
bestTime = a;
}
}
return { snappedSec: bestTime, didSnap: minDiff < thresholdSec };
}
}
3. Donanım Hızlandırmalı WebCodecs + mp4-muxer ile Gerçek Zamanlıdan Hızlı .MP4 Üretimi
WebCodecs API, tarayıcının GPU video kodlayıcısına doğrudan erişerek her kareyi new VideoFrame(canvas, { timestamp: us }) olarak besler. Gerçek zamanlı saat beklemek zorunda olmadığı için 30 saniyelik 1080p kurguyu modern cihazlarda birkaç saniye içinde standart H.264 .mp4 dosyasına dönüştürür:
import { Muxer, ArrayBufferTarget } from "https://cdn.jsdelivr.net/npm/mp4-muxer@5.1.3/+esm";
export async function exportTimelineToMp4({ canvas, durationSec, fps = 30, renderAtTime, onProgress }) {
const width = canvas.width - (canvas.width % 2); // H.264 çift piksel boyutu zorunludur
const height = canvas.height - (canvas.height % 2);
const muxer = new Muxer({
target: new ArrayBufferTarget(),
video: { codec: "avc", width, height },
fastStart: "in-memory"
});
const videoEncoder = new VideoEncoder({
output: (chunk, meta) => muxer.addVideoChunk(chunk, meta),
error: (err) => console.error("VideoEncoder hatası:", err)
});
videoEncoder.configure({
codec: "avc1.42001f", // H.264 Baseline Level 3.1 (Evrensel mobil/masaüstü uyumu)
width,
height,
bitrate: 5_000_000,
framerate: fps
});
const totalFrames = Math.max(1, Math.ceil(durationSec * fps));
for (let frameIdx = 0; frameIdx < totalFrames; frameIdx++) {
const tSec = frameIdx / fps;
await renderAtTime(tSec); // V1 + T1 katmanlarını tSec anı için Canvas'a çiz
const timestampUs = Math.round(tSec * 1_000_000);
const frame = new VideoFrame(canvas, { timestamp: timestampUs });
videoEncoder.encode(frame, { keyFrame: frameIdx % (fps * 2) === 0 });
frame.close(); // Bellek sızıntısını önlemek için anında kapat!
// Kuyruk şişmesini (backpressure) önle
if (videoEncoder.encodeQueueSize > 8) {
await new Promise((r) => setTimeout(r, 4));
}
if (onProgress) onProgress((frameIdx + 1) / totalFrames);
}
await videoEncoder.flush();
videoEncoder.close();
muxer.finalize();
return new Blob([muxer.target.buffer], { type: "video/mp4" });
}
4. Evrensel Tarayıcı Geri Dönüşü: canvas.captureStream(30) + WebAudio Birleşik Kayıt Köprüsü
VideoEncoder desteklenmeyen ortamlarda veya canlı ses-görüntü doğaçlamasını eşzamanlı kaydetmek gerektiğinde, canvas.captureStream(fps) görüntü izi ile AudioContext.createMediaStreamDestination() ses izi tek bir MediaStream içinde birleştirilerek MediaRecorder'a aktarılır:
export function createUnifiedCanvasAudioRecorder(canvas, audioCtx, masterAudioNode, fps = 30) {
const canvasStream = canvas.captureStream(fps);
const audioDest = audioCtx.createMediaStreamDestination();
masterAudioNode.connect(audioDest); // Hem hoparlöre hem kayıt hattına bağlanabilir
const combinedStream = new MediaStream([
...canvasStream.getVideoTracks(),
...audioDest.stream.getAudioTracks()
]);
const candidates = [
"video/mp4;codecs=avc1.42E01E,mp4a.40.2",
"video/mp4",
"video/webm;codecs=vp9,opus",
"video/webm;codecs=vp8,opus",
"video/webm"
];
const mimeType = candidates.find((m) => window.MediaRecorder && MediaRecorder.isTypeSupported(m)) || "";
const chunks = [];
const recorder = new MediaRecorder(combinedStream, mimeType ? { mimeType, videoBitsPerSecond: 4_500_000 } : undefined);
recorder.ondataavailable = (e) => {
if (e.data && e.data.size > 0) chunks.push(e.data);
};
return {
start: () => recorder.start(120),
stop: () => new Promise((resolve) => {
recorder.onstop = () => {
const finalType = recorder.mimeType || mimeType || "video/webm";
const ext = finalType.includes("mp4") ? "mp4" : "webm";
resolve({ blob: new Blob(chunks, { type: finalType }), ext });
};
recorder.stop();
})
};
}
w - (w % 2) ile çift sayıya yuvarlayın.
new VideoFrame(canvas) nesnesi GPU dokusu kilitler; encode() çağrısından hemen sonra frame.close() çağırmak tarayıcı çökmesini önler.
Float32Array tepe değerlerini 200-400 özet kovaya (peaks) indirgeyip 60 FPS çizin.
Yorumlar
Yorum Gönder