Çok Katmanlı Video Kurgu Timeline (NLE) ve Donanım Hızlandırmalı WebCodecs MP4 Kayıt Motoru

_db_core PAKET #21 Tahribatsız Çok Katmanlı NLE Timeline WebCodecs H.264 MP4 + CaptureStream

Çok Katmanlı Video Kurgu Timeline (NLE) ve Donanım Hızlandırmalı WebCodecs MP4 Kayıt Motoru

Kaynak medya dosyalarını bozmadan { id, track, start, duration, mediaOffset, speed } veri modeliyle çalışan Tahribatsız (Non-Destructive) Çok Katmanlı NLE Zaman Çizelgesi; jilet kesimi (Split), kenar kırpma (Trim), mıknatıslı hizalama (Snap) ve WebCodecs (VideoEncoder + mp4-muxer) ile canvas.captureStream ikili kayıt köprüsü.

SEÇİLİ KLİP DENETÇİSİ (INSPECTOR) WebCodecs: Kontrol
KLİP / KATMAN V1 - Siber Açılış
BAŞLANGIÇ / SÜRE 0.00s / 3.40s
MEDIA OFFSET 0.00s (Tahribatsız)
OYNATMA HIZI 1.00x Normal
Seçili Klip Hızı:
Hazır: Playhead'i sürükleyin, Jilet ile kesin, klipleri kaydırın veya sahneyi video olarak indirin.
00:00.00
V1 | VIDEO Ana Görsel Sahne
T1 | METİN Altyazı / Bant
A1 | SES Dalga / Synth
ZAMAN KODU: 00:00.00 / 00:10.00 (Kare #0) KLİP SAYISI: 6 Aktif Klip (V1, T1, A1) SNAP: AKTİF (8px Eşik) | SOL/SAĞ KENARDAN KIRPMA AKTİF

1. Tarayıcı Tabanlı Video Kurgu Mimarisi: Tahribatsız Timeline ve Çift Katmanlı MP4 Çıktı

Amatör web video araçları bir klibi keserken Blob baytlarını bellekte kopyalamaya çalışır veya yalnızca gerçek zamanlı ekran kaydına güvenir. Profesyonel NLE (Non-Linear Editor) mimarisi ise medya kaynağını sabit tutup yalnızca zaman pencerelerini (start, duration, mediaOffset) günceller:

Kurgu Katmanı Kırılgan Yaklaşım (Anti-Pattern) _db_core Endüstriyel Standart
Klip Kesme (Split) Her kesimde kaynak video dosyasını yeniden kodlamak (RAM taşması) Tahribatsız veri bölme: Sağ parçanın mediaOffset değerini dt * speed kadar artırmak
Çoklu Katman Senkronu video.play() ve CSS animasyonlarını bağımsız zamanlayıcılarla yürütmek Tek doğruluk kaynağı playheadSec: Her karede V1, T1, A1 katmanlarını kompoze etmek
Birincil MP4 Üretimi 10 dakikalık videoyu dışa aktarmak için 10 dakika bekletmek WebCodecs VideoEncoder (avc1.42001f) + AudioEncoder + mp4-muxer ile 3x-8x hızlı çevrimdışı render
Evrensel Tarayıcı Yedeği WebCodecs olmayan eski cihazlarda indirme butonunun çökmesi canvas.captureStream(30) + AudioContext.createMediaStreamDestination() birleşik MediaRecorder köprüsü

2. Tahribatsız (Non-Destructive) Çok Katmanlı NLE Klip Veri Modeli, splitClipAt ve Mıknatıslı Snap

Bir klibin herhangi bir t = playheadSec anında kaynak videonun hangi saniyesini göstereceği sourceTime = clip.mediaOffset + (playheadSec - clip.start) * clip.speed denklemiyle bulunur. Bu sayede jilet kesimi, hız değiştirme ve sol kenardan kırpma işlemleri sıfır kopyalama maliyetiyle milisaniyenin altında gerçekleşir:

nle-timeline-model.js - Non-Destructive Split, Trim, Ripple Delete ve Magnetic Snap
export class NonDestructiveTimeline {
  constructor(initialClips = []) {
    this.clips = initialClips.map((c) => ({ speed: 1, mediaOffset: 0, ...c }));
  }

  // Belirli bir zaman (t) ve katmandaki aktif klibi ve kaynak medya zamanını bul
  sampleTrackAt(trackId, playheadSec) {
    const clip = this.clips.find(
      (c) => c.track === trackId && playheadSec >= c.start && playheadSec < c.start + c.duration
    );
    if (!clip) return null;
    const sourceTime = clip.mediaOffset + (playheadSec - clip.start) * clip.speed;
    return { clip, sourceTime };
  }

  // Jilet Kesimi (Split at Playhead): Kaynak medyayı kopyalamadan 2 bağımsız klip üretir
  splitClipAt(clipId, playheadSec, minLen = 0.25) {
    const idx = this.clips.findIndex((c) => c.id === clipId);
    if (idx === -1) return null;
    const orig = this.clips[idx];
    const localCut = playheadSec - orig.start;
    if (localCut < minLen || orig.duration - localCut < minLen) return null;

    const leftClip = { ...orig, duration: localCut };
    const rightClip = {
      ...orig,
      id: orig.id + "_part_" + Math.random().toString(36).slice(2, 6),
      start: playheadSec,
      duration: orig.duration - localCut,
      mediaOffset: orig.mediaOffset + localCut * orig.speed
    };

    this.clips.splice(idx, 1, leftClip, rightClip);
    return [leftClip, rightClip];
  }

  // Mıknatıslı Hizalama (Magnetic Snap): Playhead ve diğer klip uçlarına 8px eşiğinde kilitle
  computeSnapTime(candidateSec, ignoreClipId, playheadSec, pxPerSec, snapThresholdPx = 8) {
    const thresholdSec = snapThresholdPx / Math.max(10, pxPerSec);
    const anchors = [0, playheadSec];
    for (const c of this.clips) {
      if (c.id === ignoreClipId) continue;
      anchors.push(c.start, c.start + c.duration);
    }
    let bestTime = Math.max(0, candidateSec);
    let minDiff = thresholdSec;
    for (const a of anchors) {
      const diff = Math.abs(candidateSec - a);
      if (diff < minDiff) {
        minDiff = diff;
        bestTime = a;
      }
    }
    return { snappedSec: bestTime, didSnap: minDiff < thresholdSec };
  }
}

3. Donanım Hızlandırmalı WebCodecs + mp4-muxer ile Gerçek Zamanlıdan Hızlı .MP4 Üretimi

WebCodecs API, tarayıcının GPU video kodlayıcısına doğrudan erişerek her kareyi new VideoFrame(canvas, { timestamp: us }) olarak besler. Gerçek zamanlı saat beklemek zorunda olmadığı için 30 saniyelik 1080p kurguyu modern cihazlarda birkaç saniye içinde standart H.264 .mp4 dosyasına dönüştürür:

webcodecs-mp4-exporter.js - H.264 VideoEncoder + AAC AudioEncoder + mp4-muxer ESM
import { Muxer, ArrayBufferTarget } from "https://cdn.jsdelivr.net/npm/mp4-muxer@5.1.3/+esm";

export async function exportTimelineToMp4({ canvas, durationSec, fps = 30, renderAtTime, onProgress }) {
  const width = canvas.width - (canvas.width % 2);   // H.264 çift piksel boyutu zorunludur
  const height = canvas.height - (canvas.height % 2);

  const muxer = new Muxer({
    target: new ArrayBufferTarget(),
    video: { codec: "avc", width, height },
    fastStart: "in-memory"
  });

  const videoEncoder = new VideoEncoder({
    output: (chunk, meta) => muxer.addVideoChunk(chunk, meta),
    error: (err) => console.error("VideoEncoder hatası:", err)
  });

  videoEncoder.configure({
    codec: "avc1.42001f", // H.264 Baseline Level 3.1 (Evrensel mobil/masaüstü uyumu)
    width,
    height,
    bitrate: 5_000_000,
    framerate: fps
  });

  const totalFrames = Math.max(1, Math.ceil(durationSec * fps));
  for (let frameIdx = 0; frameIdx < totalFrames; frameIdx++) {
    const tSec = frameIdx / fps;
    await renderAtTime(tSec); // V1 + T1 katmanlarını tSec anı için Canvas'a çiz

    const timestampUs = Math.round(tSec * 1_000_000);
    const frame = new VideoFrame(canvas, { timestamp: timestampUs });
    videoEncoder.encode(frame, { keyFrame: frameIdx % (fps * 2) === 0 });
    frame.close(); // Bellek sızıntısını önlemek için anında kapat!

    // Kuyruk şişmesini (backpressure) önle
    if (videoEncoder.encodeQueueSize > 8) {
      await new Promise((r) => setTimeout(r, 4));
    }
    if (onProgress) onProgress((frameIdx + 1) / totalFrames);
  }

  await videoEncoder.flush();
  videoEncoder.close();
  muxer.finalize();

  return new Blob([muxer.target.buffer], { type: "video/mp4" });
}

4. Evrensel Tarayıcı Geri Dönüşü: canvas.captureStream(30) + WebAudio Birleşik Kayıt Köprüsü

VideoEncoder desteklenmeyen ortamlarda veya canlı ses-görüntü doğaçlamasını eşzamanlı kaydetmek gerektiğinde, canvas.captureStream(fps) görüntü izi ile AudioContext.createMediaStreamDestination() ses izi tek bir MediaStream içinde birleştirilerek MediaRecorder'a aktarılır:

universal-stream-recorder.js - Canvas VideoTrack + WebAudio AudioTrack Birleştirici
export function createUnifiedCanvasAudioRecorder(canvas, audioCtx, masterAudioNode, fps = 30) {
  const canvasStream = canvas.captureStream(fps);
  const audioDest = audioCtx.createMediaStreamDestination();
  masterAudioNode.connect(audioDest); // Hem hoparlöre hem kayıt hattına bağlanabilir

  const combinedStream = new MediaStream([
    ...canvasStream.getVideoTracks(),
    ...audioDest.stream.getAudioTracks()
  ]);

  const candidates = [
    "video/mp4;codecs=avc1.42E01E,mp4a.40.2",
    "video/mp4",
    "video/webm;codecs=vp9,opus",
    "video/webm;codecs=vp8,opus",
    "video/webm"
  ];
  const mimeType = candidates.find((m) => window.MediaRecorder && MediaRecorder.isTypeSupported(m)) || "";
  const chunks = [];
  const recorder = new MediaRecorder(combinedStream, mimeType ? { mimeType, videoBitsPerSecond: 4_500_000 } : undefined);

  recorder.ondataavailable = (e) => {
    if (e.data && e.data.size > 0) chunks.push(e.data);
  };

  return {
    start: () => recorder.start(120),
    stop: () => new Promise((resolve) => {
      recorder.onstop = () => {
        const finalType = recorder.mimeType || mimeType || "video/webm";
        const ext = finalType.includes("mp4") ? "mp4" : "webm";
        resolve({ blob: new Blob(chunks, { type: finalType }), ext });
      };
      recorder.stop();
    })
  };
}
Çift Sayı Piksel Zorunluluğu H.264 / AVC donanım kodlayıcıları YUV 4:2:0 alt örnekleme nedeniyle tek sayılı genişlik/yükseklikte hata verir; kanvas boyutunu daima w - (w % 2) ile çift sayıya yuvarlayın.
VideoFrame Bellek Yönetimi Döngü içinde üretilen her new VideoFrame(canvas) nesnesi GPU dokusu kilitler; encode() çağrısından hemen sonra frame.close() çağırmak tarayıcı çökmesini önler.
Önceden Hesaplanmış Ses Dalga Önbelleği Timeline her kaydırıldığında tüm ses tamponunu taramak yerine, ses yüklendiğinde Float32Array tepe değerlerini 200-400 özet kovaya (peaks) indirgeyip 60 FPS çizin.

Yorumlar

Yorum Gönder

Opromt · Ücretsiz yayınlarımız sizler için , Kopyala, yapıştır, kullan. ← Ana Sayfa