Video ve Ses Ayrıştırma (Demux), Dalga Formu Analizi ve Akıllı Sessizlik Kesme (Jump-Cut) Motoru
SharedArrayBuffer engeline takılan ağır harici kütüphaneler olmadan; yerel MP4 / WEBM / MOV / MP3 / WAV dosyalarından sesi tarayıcı belleğinde ayrıştıran (decodeAudioData), Retina <canvas> üzerinde RMS desibel pencerelemeli Konuşma / Sessizlik Algılama (VAD) bölgelerini canlı çizen, sessizlikleri atlayarak Jump-Cut önizleme sunan ve 44-byte DataView ile saf 16-bit .WAV üreten medya motoru.
Mimari Karşılaştırma: Neden ffmpeg.wasm Yerine Tarayıcı-Yerel Demux + DataView?
Tek dosyalık web araçlarında ve Blogger / iframe ortamlarında çok iş parçacıklı ffmpeg.wasm çağırmak SharedArrayBuffer is not defined (COOP/COEP başlık eksikliği) hatasıyla çöker ve 30 MB harici ikili indirme gerektirir. Oysa modern tarayıcıların yerleşik C++ medya çözücüsü aynı işlemi sıfır bağımlılıkla milisaniyeler içinde tamamlar:
| İşlem Katmanı | Kırılgan Yaklaşım (Anti-Pattern) | _db_core Endüstriyel Standart |
|---|---|---|
| Videodan Ses Ayırma | SharedArrayBuffer isteyen ağır ffmpeg.wasm (Blogger ve iframe içinde çöker) |
file.arrayBuffer() + AudioContext.decodeAudioData() ile doğrudan donanım hızlandırmalı PCM çözme |
| Örnekleme Hızı (Resample) | JS döngüsünde doğrusal interpolasyon ile ses bozulması (aliasing) | OfflineAudioContext(1, Math.ceil(dur * targetRate), targetRate) ile anti-aliased 16kHz / 44.1kHz dönüşüm |
| Sessizlik Kesme (VAD) | Sabit genlik kesmesi yüzünden kelime başı/sonu harflerinin yutulması ve çıt sesi | 20ms RMS desibel pencereleme + 60ms konuşma yastıklaması (padding) + 5ms mikro-crossfade |
| Dosya İndirme (.WAV) | MediaRecorder ile gerçek zamanlı bekleyerek sıkıştırılmış düşük kaliteli kayıt |
44-byte RIFF/WAVE başlığı + 16-bit Little-Endian DataView ile anında kayıpsız Blob indirme |
1. Sunucusuz Video/Ses Ayrıştırma (Demux), Yeniden Örnekleme ve Bellek Sızıntısı Koruması
Kullanıcının seçtiği MP4, WEBM veya MP3 dosyası sunucuya yüklenmeden ArrayBuffer olarak okunur. Video önizlemesi için oluşturulan ObjectURL ise yeni dosya seçildiğinde veya bileşen kapandığında URL.revokeObjectURL() ile mutlaka serbest bırakılmalıdır:
async function demuxMediaFileToMonoPCM(file, targetSampleRate = 44100, videoEl = null) {
// 1. Önceki video ObjectURL referansını temizleyerek RAM sızıntısını önle
if (videoEl && videoEl.dataset.blobUrl) {
URL.revokeObjectURL(videoEl.dataset.blobUrl);
delete videoEl.dataset.blobUrl;
}
if (videoEl && file.type.startsWith('video/')) {
const previewUrl = URL.createObjectURL(file);
videoEl.dataset.blobUrl = previewUrl;
videoEl.src = previewUrl;
}
// 2. Konteynerden (MP4/WEBM/MOV/MP3/WAV) ses akışını çöz
const rawBuffer = await file.arrayBuffer();
const AudioCtx = window.AudioContext || window.webkitAudioContext;
const tempCtx = new AudioCtx();
try {
const decoded = await tempCtx.decodeAudioData(rawBuffer.slice(0));
const frameCount = Math.max(1, Math.ceil(decoded.duration * targetSampleRate));
// 3. OfflineAudioContext ile hedef frekansa (16kHz AI veya 44.1kHz Stüdyo) mono mixdown yap
const offline = new OfflineAudioContext(1, frameCount, targetSampleRate);
const src = offline.createBufferSource();
src.buffer = decoded;
src.connect(offline.destination);
src.start(0);
const rendered = await offline.startRendering();
return {
pcm: rendered.getChannelData(0), // Float32Array [-1.0 .. +1.0]
sampleRate: targetSampleRate,
duration: rendered.duration,
originalChannels: decoded.numberOfChannels
};
} finally {
// Donanım ses kanalı sınırına (max 6 AudioContext) takılmamak için kapat
await tempCtx.close();
}
}
2. RMS Pencereleme ile VAD (Konuşma / Sessizlik Algılama) ve Kenar Yumuşatma Matematiği
Tekil örnek genliği yerine 20 ms'lik pencerelerin Karekök Ortalama (RMS) enerjisi desibel ölçeğine (20 * log10(rms)) çevrilir. Kısa nefes aralarının kelimeleri bölmemesi için minSilenceMs altındaki boşluklar köprülenir; kesim noktalarında ise sessiz harflerin korunması için 60 ms yastıklama (padding) ve çıt sesini önleyen 5 ms eğim uygulanır:
function detectSpeechSegmentsVAD(pcm, sampleRate, thresholdDb = -36, minSilenceMs = 350, padMs = 60) {
const winSamples = Math.max(64, Math.floor(sampleRate * 0.02)); // 20ms RMS penceresi
const totalWins = Math.ceil(pcm.length / winSamples);
const active = new Uint8Array(totalWins);
for (let w = 0; w < totalWins; w++) {
const start = w * winSamples;
const end = Math.min(pcm.length, start + winSamples);
let sumSq = 0;
for (let i = start; i < end; i++) sumSq += pcm[i] * pcm[i];
const rms = Math.sqrt(sumSq / Math.max(1, end - start));
const db = 20 * Math.log10(rms + 1e-9);
active[w] = db >= thresholdDb ? 1 : 0;
}
// Ham konuşma aralıklarını çıkar ve minSilenceMs altındaki kısa nefes boşluklarını birleştir
const minGapSec = minSilenceMs / 1000;
const padSec = padMs / 1000;
const duration = pcm.length / sampleRate;
const rawClips = [];
let inSpeech = false, clipStart = 0;
for (let w = 0; w < totalWins; w++) {
const t = (w * winSamples) / sampleRate;
if (active[w] && !inSpeech) { inSpeech = true; clipStart = t; }
else if (!active[w] && inSpeech) { inSpeech = false; rawClips.push({ start: clipStart, end: t }); }
}
if (inSpeech) rawClips.push({ start: clipStart, end: duration });
// 60ms kenar yastıklaması (padding) ekle ve çakışan / yakın klipleri tek klipte kaynaştır
const merged = [];
for (const c of rawClips) {
const padded = {
start: Math.max(0, c.start - padSec),
end: Math.min(duration, c.end + padSec)
};
const prev = merged[merged.length - 1];
if (prev && (padded.start - prev.end) < minGapSec) {
prev.end = Math.max(prev.end, padded.end);
} else {
merged.push(padded);
}
}
return merged;
}
function stitchJumpCutPCM(pcm, sampleRate, clips, fadeMs = 5) {
const fadeLen = Math.floor((fadeMs / 1000) * sampleRate);
let totalLen = 0;
const ranges = clips.map((c) => {
const s = Math.max(0, Math.floor(c.start * sampleRate));
const e = Math.min(pcm.length, Math.floor(c.end * sampleRate));
totalLen += Math.max(0, e - s);
return { s, e, len: Math.max(0, e - s) };
});
const out = new Float32Array(totalLen);
let offset = 0;
for (const r of ranges) {
for (let i = 0; i < r.len; i++) {
let gain = 1;
if (i < fadeLen) gain = i / fadeLen;
else if (i > r.len - fadeLen) gain = (r.len - i) / fadeLen;
out[offset + i] = pcm[r.s + i] * gain;
}
offset += r.len;
}
return out;
}
3. Harici Kütüphanesiz 44-Byte RIFF/WAVE Binary .WAV Kodlayıcı (DataView)
Standart 16-bit PCM .WAV konteyneri, 44 baytlık sabit bir RIFF/WAVE başlığı ve ardından gelen Little-Endian Int16 örnek dizisinden ibarettir. Bu sayede 10 dakikalık bir ses bile tarayıcıda 20 milisaniyenin altında kodlanıp indirilebilir:
function encodeMonoWav16Bit(pcmFloat32, sampleRate = 44100) {
const numChannels = 1;
const bytesPerSample = 2; // 16-bit PCM
const dataByteLen = pcmFloat32.length * bytesPerSample;
const buffer = new ArrayBuffer(44 + dataByteLen);
const view = new DataView(buffer);
function writeAscii(byteOffset, text) {
for (let i = 0; i < text.length; i++) {
view.setUint8(byteOffset + i, text.charCodeAt(i));
}
}
// 44-Byte Standart RIFF / WAVE Başlığı (Little-Endian)
writeAscii(0, 'RIFF');
view.setUint32(4, 36 + dataByteLen, true);
writeAscii(8, 'WAVE');
writeAscii(12, 'fmt ');
view.setUint32(16, 16, true); // PCM alt-blok boyutu
view.setUint16(20, 1, true); // AudioFormat = 1 (Linear PCM)
view.setUint16(22, numChannels, true);
view.setUint32(24, sampleRate, true);
view.setUint32(28, sampleRate * numChannels * bytesPerSample, true); // ByteRate
view.setUint16(32, numChannels * bytesPerSample, true); // BlockAlign
view.setUint16(34, 16, true); // BitsPerSample
writeAscii(36, 'data');
view.setUint32(40, dataByteLen, true);
// Float32 [-1.0 .. +1.0] -> Int16 [-32768 .. +32767] Dönüşümü
let offset = 44;
for (let i = 0; i < pcmFloat32.length; i++, offset += 2) {
const clamped = Math.max(-1, Math.min(1, pcmFloat32[i]));
view.setInt16(offset, clamped < 0 ? clamped * 0x8000 : clamped * 0x7FFF, true);
}
return new Blob([buffer], { type: 'audio/wav' });
}
function triggerSafeBlobDownload(blob, filename) {
const url = URL.createObjectURL(blob);
const a = document.createElement('a');
a.href = url;
a.download = filename;
document.body.appendChild(a);
a.click();
a.remove();
setTimeout(() => URL.revokeObjectURL(url), 1500);
}
s, ş, t, k) kırpılmaması için her konuşma bloğuna 60ms ön/arka pay bırakın.
[min, max] tepe zarfını hesaplayarak 60 FPS akıcılığı koruyun.
SharedArrayBuffer gerektirmeyen bu mimari; Blogger sayfalarında, yerel file:// dosyalarında ve kurumsal güvenlik duvarı arkasında %100 çalışır.
Yorumlar
Yorum Gönder