Video ve Ses Ayrıştırma (Demux), Dalga Formu Analizi ve Akıllı Sessizlik Kesme (Jump-Cut) Motoru

_db_core PAKET #18 Sunucusuz Demux + RMS VAD 44-Byte RIFF/WAVE 16-Bit Encoder

Video ve Ses Ayrıştırma (Demux), Dalga Formu Analizi ve Akıllı Sessizlik Kesme (Jump-Cut) Motoru

SharedArrayBuffer engeline takılan ağır harici kütüphaneler olmadan; yerel MP4 / WEBM / MOV / MP3 / WAV dosyalarından sesi tarayıcı belleğinde ayrıştıran (decodeAudioData), Retina <canvas> üzerinde RMS desibel pencerelemeli Konuşma / Sessizlik Algılama (VAD) bölgelerini canlı çizen, sessizlikleri atlayarak Jump-Cut önizleme sunan ve 44-byte DataView ile saf 16-bit .WAV üreten medya motoru.

Toplam Süre 0.00 sn
Konuşma Süresi (Tutulan) 0.00 sn
Kesilen Boşluk / Kazanç 0.00 sn (%0.0)
Tespit Edilen Klip Sayısı 0 Klip
KAYNAK: Sentetik 5-Cümlelik Konuşma Sinyali (44.1 kHz Mono) DURUM: HAZIR - Dalga formuna tıklayarak konum sarabilirsiniz 00.00s / 09.60s

Mimari Karşılaştırma: Neden ffmpeg.wasm Yerine Tarayıcı-Yerel Demux + DataView?

Tek dosyalık web araçlarında ve Blogger / iframe ortamlarında çok iş parçacıklı ffmpeg.wasm çağırmak SharedArrayBuffer is not defined (COOP/COEP başlık eksikliği) hatasıyla çöker ve 30 MB harici ikili indirme gerektirir. Oysa modern tarayıcıların yerleşik C++ medya çözücüsü aynı işlemi sıfır bağımlılıkla milisaniyeler içinde tamamlar:

İşlem Katmanı Kırılgan Yaklaşım (Anti-Pattern) _db_core Endüstriyel Standart
Videodan Ses Ayırma SharedArrayBuffer isteyen ağır ffmpeg.wasm (Blogger ve iframe içinde çöker) file.arrayBuffer() + AudioContext.decodeAudioData() ile doğrudan donanım hızlandırmalı PCM çözme
Örnekleme Hızı (Resample) JS döngüsünde doğrusal interpolasyon ile ses bozulması (aliasing) OfflineAudioContext(1, Math.ceil(dur * targetRate), targetRate) ile anti-aliased 16kHz / 44.1kHz dönüşüm
Sessizlik Kesme (VAD) Sabit genlik kesmesi yüzünden kelime başı/sonu harflerinin yutulması ve çıt sesi 20ms RMS desibel pencereleme + 60ms konuşma yastıklaması (padding) + 5ms mikro-crossfade
Dosya İndirme (.WAV) MediaRecorder ile gerçek zamanlı bekleyerek sıkıştırılmış düşük kaliteli kayıt 44-byte RIFF/WAVE başlığı + 16-bit Little-Endian DataView ile anında kayıpsız Blob indirme

1. Sunucusuz Video/Ses Ayrıştırma (Demux), Yeniden Örnekleme ve Bellek Sızıntısı Koruması

Kullanıcının seçtiği MP4, WEBM veya MP3 dosyası sunucuya yüklenmeden ArrayBuffer olarak okunur. Video önizlemesi için oluşturulan ObjectURL ise yeni dosya seçildiğinde veya bileşen kapandığında URL.revokeObjectURL() ile mutlaka serbest bırakılmalıdır:

browser-media-demuxer.js - Sunucusuz Ses Ayrıştırma & OfflineAudioContext Resampler
async function demuxMediaFileToMonoPCM(file, targetSampleRate = 44100, videoEl = null) {
  // 1. Önceki video ObjectURL referansını temizleyerek RAM sızıntısını önle
  if (videoEl && videoEl.dataset.blobUrl) {
    URL.revokeObjectURL(videoEl.dataset.blobUrl);
    delete videoEl.dataset.blobUrl;
  }
  if (videoEl && file.type.startsWith('video/')) {
    const previewUrl = URL.createObjectURL(file);
    videoEl.dataset.blobUrl = previewUrl;
    videoEl.src = previewUrl;
  }

  // 2. Konteynerden (MP4/WEBM/MOV/MP3/WAV) ses akışını çöz
  const rawBuffer = await file.arrayBuffer();
  const AudioCtx = window.AudioContext || window.webkitAudioContext;
  const tempCtx = new AudioCtx();

  try {
    const decoded = await tempCtx.decodeAudioData(rawBuffer.slice(0));
    const frameCount = Math.max(1, Math.ceil(decoded.duration * targetSampleRate));

    // 3. OfflineAudioContext ile hedef frekansa (16kHz AI veya 44.1kHz Stüdyo) mono mixdown yap
    const offline = new OfflineAudioContext(1, frameCount, targetSampleRate);
    const src = offline.createBufferSource();
    src.buffer = decoded;
    src.connect(offline.destination);
    src.start(0);

    const rendered = await offline.startRendering();
    return {
      pcm: rendered.getChannelData(0), // Float32Array [-1.0 .. +1.0]
      sampleRate: targetSampleRate,
      duration: rendered.duration,
      originalChannels: decoded.numberOfChannels
    };
  } finally {
    // Donanım ses kanalı sınırına (max 6 AudioContext) takılmamak için kapat
    await tempCtx.close();
  }
}

2. RMS Pencereleme ile VAD (Konuşma / Sessizlik Algılama) ve Kenar Yumuşatma Matematiği

Tekil örnek genliği yerine 20 ms'lik pencerelerin Karekök Ortalama (RMS) enerjisi desibel ölçeğine (20 * log10(rms)) çevrilir. Kısa nefes aralarının kelimeleri bölmemesi için minSilenceMs altındaki boşluklar köprülenir; kesim noktalarında ise sessiz harflerin korunması için 60 ms yastıklama (padding) ve çıt sesini önleyen 5 ms eğim uygulanır:

rms-vad-jumpcut.js - Desibel VAD Analizi, 60ms Padding ve Mikro-Crossfade Birleştirici
function detectSpeechSegmentsVAD(pcm, sampleRate, thresholdDb = -36, minSilenceMs = 350, padMs = 60) {
  const winSamples = Math.max(64, Math.floor(sampleRate * 0.02)); // 20ms RMS penceresi
  const totalWins = Math.ceil(pcm.length / winSamples);
  const active = new Uint8Array(totalWins);

  for (let w = 0; w < totalWins; w++) {
    const start = w * winSamples;
    const end = Math.min(pcm.length, start + winSamples);
    let sumSq = 0;
    for (let i = start; i < end; i++) sumSq += pcm[i] * pcm[i];
    const rms = Math.sqrt(sumSq / Math.max(1, end - start));
    const db = 20 * Math.log10(rms + 1e-9);
    active[w] = db >= thresholdDb ? 1 : 0;
  }

  // Ham konuşma aralıklarını çıkar ve minSilenceMs altındaki kısa nefes boşluklarını birleştir
  const minGapSec = minSilenceMs / 1000;
  const padSec = padMs / 1000;
  const duration = pcm.length / sampleRate;
  const rawClips = [];
  let inSpeech = false, clipStart = 0;

  for (let w = 0; w < totalWins; w++) {
    const t = (w * winSamples) / sampleRate;
    if (active[w] && !inSpeech) { inSpeech = true; clipStart = t; }
    else if (!active[w] && inSpeech) { inSpeech = false; rawClips.push({ start: clipStart, end: t }); }
  }
  if (inSpeech) rawClips.push({ start: clipStart, end: duration });

  // 60ms kenar yastıklaması (padding) ekle ve çakışan / yakın klipleri tek klipte kaynaştır
  const merged = [];
  for (const c of rawClips) {
    const padded = {
      start: Math.max(0, c.start - padSec),
      end: Math.min(duration, c.end + padSec)
    };
    const prev = merged[merged.length - 1];
    if (prev && (padded.start - prev.end) < minGapSec) {
      prev.end = Math.max(prev.end, padded.end);
    } else {
      merged.push(padded);
    }
  }
  return merged;
}

function stitchJumpCutPCM(pcm, sampleRate, clips, fadeMs = 5) {
  const fadeLen = Math.floor((fadeMs / 1000) * sampleRate);
  let totalLen = 0;
  const ranges = clips.map((c) => {
    const s = Math.max(0, Math.floor(c.start * sampleRate));
    const e = Math.min(pcm.length, Math.floor(c.end * sampleRate));
    totalLen += Math.max(0, e - s);
    return { s, e, len: Math.max(0, e - s) };
  });

  const out = new Float32Array(totalLen);
  let offset = 0;
  for (const r of ranges) {
    for (let i = 0; i < r.len; i++) {
      let gain = 1;
      if (i < fadeLen) gain = i / fadeLen;
      else if (i > r.len - fadeLen) gain = (r.len - i) / fadeLen;
      out[offset + i] = pcm[r.s + i] * gain;
    }
    offset += r.len;
  }
  return out;
}

3. Harici Kütüphanesiz 44-Byte RIFF/WAVE Binary .WAV Kodlayıcı (DataView)

Standart 16-bit PCM .WAV konteyneri, 44 baytlık sabit bir RIFF/WAVE başlığı ve ardından gelen Little-Endian Int16 örnek dizisinden ibarettir. Bu sayede 10 dakikalık bir ses bile tarayıcıda 20 milisaniyenin altında kodlanıp indirilebilir:

riff-wav-encoder.js - Saf DataView 16-Bit PCM WAV Kodlayıcı ve Güvenli İndirici
function encodeMonoWav16Bit(pcmFloat32, sampleRate = 44100) {
  const numChannels = 1;
  const bytesPerSample = 2; // 16-bit PCM
  const dataByteLen = pcmFloat32.length * bytesPerSample;
  const buffer = new ArrayBuffer(44 + dataByteLen);
  const view = new DataView(buffer);

  function writeAscii(byteOffset, text) {
    for (let i = 0; i < text.length; i++) {
      view.setUint8(byteOffset + i, text.charCodeAt(i));
    }
  }

  // 44-Byte Standart RIFF / WAVE Başlığı (Little-Endian)
  writeAscii(0, 'RIFF');
  view.setUint32(4, 36 + dataByteLen, true);
  writeAscii(8, 'WAVE');
  writeAscii(12, 'fmt ');
  view.setUint32(16, 16, true); // PCM alt-blok boyutu
  view.setUint16(20, 1, true);  // AudioFormat = 1 (Linear PCM)
  view.setUint16(22, numChannels, true);
  view.setUint32(24, sampleRate, true);
  view.setUint32(28, sampleRate * numChannels * bytesPerSample, true); // ByteRate
  view.setUint16(32, numChannels * bytesPerSample, true);              // BlockAlign
  view.setUint16(34, 16, true);                                        // BitsPerSample
  writeAscii(36, 'data');
  view.setUint32(40, dataByteLen, true);

  // Float32 [-1.0 .. +1.0] -> Int16 [-32768 .. +32767] Dönüşümü
  let offset = 44;
  for (let i = 0; i < pcmFloat32.length; i++, offset += 2) {
    const clamped = Math.max(-1, Math.min(1, pcmFloat32[i]));
    view.setInt16(offset, clamped < 0 ? clamped * 0x8000 : clamped * 0x7FFF, true);
  }

  return new Blob([buffer], { type: 'audio/wav' });
}

function triggerSafeBlobDownload(blob, filename) {
  const url = URL.createObjectURL(blob);
  const a = document.createElement('a');
  a.href = url;
  a.download = filename;
  document.body.appendChild(a);
  a.click();
  a.remove();
  setTimeout(() => URL.revokeObjectURL(url), 1500);
}
60ms Konuşma Yastıklaması Sessizlik kesiminde kelimenin ilk ve son sessiz harflerinin (s, ş, t, k) kırpılmaması için her konuşma bloğuna 60ms ön/arka pay bırakın.
Min/Max Zarf Örneklemesi Milyonlarca PCM örneğini doğrudan Canvas'a çizmek yerine her piksel sütunu için yalnızca [min, max] tepe zarfını hesaplayarak 60 FPS akıcılığı koruyun.
Blogger ve Iframe Tam Uyumu SharedArrayBuffer gerektirmeyen bu mimari; Blogger sayfalarında, yerel file:// dosyalarında ve kurumsal güvenlik duvarı arkasında %100 çalışır.

Yorumlar

Yorum Gönder

Opromt · Ücretsiz yayınlarımız sizler için , Kopyala, yapıştır, kullan. ← Ana Sayfa