Kamera ve Video Görüntü Analizi, Konuşmacı Takibi (Auto-Reframe 9:16) ve WebGL Chroma Key Motoru

_db_core PAKET #20 Auto-Reframe 9:16 + Deadband Spring MediaPipe Vision + HSV Chroma Key

Kamera ve Video Görüntü Analizi, Konuşmacı Takibi (Auto-Reframe 9:16) ve WebGL Chroma Key Motoru

Geniş açı 16:9 video veya canlı kamera akışındaki konuşmacıyı @mediapipe/tasks-vision ile algılayıp Ölü Bölge (Deadband) + Kritik Sönümlü Yay (Critically Damped Spring) matematiğiyle sıfır titremeyle 9:16 Shorts/Reels kadrajına dönüştüren; Bulanık Arka Plan Dolgusu (Blurred Fill) ve HSV Chroma Key + Yeşil Yansıma Bastırma (Spill Suppression) katmanlarıyla yayın kalitesinde görüntü işleyen tarayıcı motoru.

SOL GÖRÜNÜM: 16:9 KAYNAK GENİŞ SAHNE (Konuşmacıyı Sürükleyin) STÜDYO SİMÜLASYONU
SAĞ GÖRÜNÜM: AUTO-REFRAME ÇIKTISI 9:16 SHORTS
KADRAJ HIZI: (0, 0) px/s ÖLÜ BÖLGE: SABİT (Titreme Korumalı) AKTİF EN-BOY: 9:16 (1080x1920) CHROMA MASKE: KAPALI (%0.0)

1. Görüntü Analizi ve Akıllı Kadraj Mimarisi: Kırılgan Yaklaşımlar ve _db_core Standardı

Ham yüz algılama kutusunun merkezini doğrudan kırpma koordinatı olarak atamak her karede 2-5px mikro titremeye (jitter) yol açarak izleyiciyi yorar. Benzer şekilde RGB uzayında basit g > 150 eşiğiyle yeşil perde silmek saç tellerinde sert tırtıklar ve yüzde yeşil ışık yansıması (green spill) bırakır:

Görüntü Katmanı Kırılgan Yaklaşım (Anti-Pattern) _db_core Endüstriyel Standart
MediaPipe Kare Döngüsü setInterval ile aynı video karesini tekrar tekrar analiz etmek requestVideoFrameCallback veya video.currentTime kontrolü + monoton artan performance.now() zaman damgası
9:16 Konuşmacı Takibi Hedef koordinata doğrudan atama veya saf lineer lerp (sürekli yüzme hissi) Deadband (Ölü Bölge Histerezisi) + Kritik Sönümlü Yay (Critically Damped Spring) filtresi
Yeşil Perde (Chroma Key) Ham RGB eşik kesmesi ile sert kenarlar ve omuzlarda yeşil hale HSV Renk Uzayı Mesafesi + smoothstep kenar yumuşatma + Spill Suppression (yeşil kanal tavanlama)
Dikey Arka Plan Dolgusu 1:1 veya sığmayan kadrajlarda siyah bant (letterbox) bırakmak Alt katmanda ölçeklenmiş filter: blur(18px) brightness(0.55) dinamik arka plan dolgusu

2. @mediapipe/tasks-vision ESM Kurulumu ve Video Kare Zamanlama Döngüsü

Tarayıcıda sunucusuz çalışan FaceDetector, PoseLandmarker veya HandLandmarker modelleri FilesetResolver.forVisionTasks üzerinden GPU delegasyonu ile başlatılır. runningMode: "VIDEO" modunda MediaPipe kesinlikle monoton artan milisaniye zaman damgası bekler; aynı veya daha küçük zaman damgası göndermek WASM grafiğini durdurur:

mediapipe-vision-tracker.js - ESM FaceDetector + Monoton Kare Zamanlayıcı
import { FilesetResolver, FaceDetector } from "https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@0.10.14";

export async function createSpeakerVisionTracker(videoEl, onTargetUpdate) {
  const vision = await FilesetResolver.forVisionTasks(
    "https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@0.10.14/wasm"
  );

  const detector = await FaceDetector.createFromOptions(vision, {
    baseOptions: {
      modelAssetPath: "https://storage.googleapis.com/mediapipe-models/face_detector/blaze_face_short_range/float16/1/blaze_face_short_range.tflite",
      delegate: "GPU"
    },
    runningMode: "VIDEO",
    minDetectionConfidence: 0.55
  });

  let lastMediaTime = -1;
  let lastTimestampMs = 0;
  let active = true;

  function processFrame() {
    if (!active) return;
    if (videoEl.readyState >= 2 && videoEl.currentTime !== lastMediaTime) {
      lastMediaTime = videoEl.currentTime;
      // Monoton artan zaman damgası garantisi (WASM çökmesini önler)
      const nowMs = Math.max(lastTimestampMs + 1, Math.floor(performance.now()));
      lastTimestampMs = nowMs;

      const result = detector.detectForVideo(videoEl, nowMs);
      if (result.detections && result.detections.length > 0) {
        // En büyük / en öndeki konuşmacı yüz kutusunu seç
        const best = result.detections.reduce((a, b) =>
          (a.boundingBox.width * a.boundingBox.height >= b.boundingBox.width * b.boundingBox.height ? a : b)
        );
        const bb = best.boundingBox;
        // Baş üstü boşluğu (headroom) için Y merkezini hafif yukarı dengele
        onTargetUpdate({
          cx: bb.originX + bb.width * 0.5,
          cy: bb.originY + bb.height * 0.42,
          confidence: best.categories?.[0]?.score ?? 1
        });
      }
    }

    if ("requestVideoFrameCallback" in videoEl) {
      videoEl.requestVideoFrameCallback(processFrame);
    } else {
      requestAnimationFrame(processFrame);
    }
  }

  processFrame();
  return { destroy: () => { active = false; detector.close(); } };
}

3. Titremesiz Akıllı Kadraj (SmoothAutoReframe - Deadband + Kritik Sönümlü Yay)

Profesyonel kamera operatörleri konuşmacı nefes aldığında veya başını hafifçe eğdiğinde kamerayı oynatmaz; yalnızca konuşmacı güvenli merkezin (Deadband) dışına çıktığında yumuşak ivmeyle takip başlatır. Aşağıdaki sınıf, 9:16, 1:1 ve 4:5 kadrajlarını kritik sönümlü yay diferansiyel denklemiyle (aşım/overshoot olmadan) yönetir:

smooth-auto-reframe.js - Deadband Histerezisi + Critically Damped Spring + Blurred Fill
export class SmoothAutoReframe {
  constructor({ srcW = 1920, srcH = 1080, aspect = 9 / 16, deadbandRatio = 0.12, omega = 7.0 } = {}) {
    this.srcW = srcW;
    this.srcH = srcH;
    this.aspect = aspect;
    this.deadbandRatio = deadbandRatio;
    this.omega = omega; // Doğal açısal frekans (yay sertliği)
    this.camX = srcW * 0.5;
    this.camY = srcH * 0.5;
    this.velX = 0;
    this.velY = 0;
    this.anchorX = this.camX;
    this.anchorY = this.camY;
  }

  getCropDimensions() {
    let cropW = this.srcH * this.aspect;
    let cropH = this.srcH;
    if (cropW > this.srcW) {
      cropW = this.srcW;
      cropH = this.srcW / this.aspect;
    }
    return { cropW, cropH };
  }

  step(targetX, targetY, dt) {
    const safeDt = Math.min(0.05, Math.max(0.001, dt));
    const { cropW, cropH } = this.getCropDimensions();
    const deadW = cropW * this.deadbandRatio;
    const deadH = cropH * this.deadbandRatio;

    // 1. Ölü Bölge (Deadband) Histerezisi: Mikro kafa/nefes salınımlarını yut
    const dx = targetX - this.anchorX;
    const dy = targetY - this.anchorY;
    if (Math.abs(dx) > deadW) this.anchorX = targetX - Math.sign(dx) * deadW;
    if (Math.abs(dy) > deadH) this.anchorY = targetY - Math.sign(dy) * deadH;

    // Sahne sınırlarına (viewport bounds) kilitle
    const minX = cropW * 0.5, maxX = this.srcW - cropW * 0.5;
    const minY = cropH * 0.5, maxY = this.srcH - cropH * 0.5;
    const goalX = Math.min(maxX, Math.max(minX, this.anchorX));
    const goalY = Math.min(maxY, Math.max(minY, this.anchorY));

    // 2. Kritik Sönümlü Yay (zeta = 1.0): Sıfır sekme, sinematik ivmelenme
    const w = this.omega;
    const exp = Math.exp(-w * safeDt);
    const errX = this.camX - goalX;
    const errY = this.camY - goalY;
    const tempX = (this.velX + w * errX) * safeDt;
    const tempY = (this.velY + w * errY) * safeDt;

    this.camX = goalX + (errX + tempX) * exp;
    this.camY = goalY + (errY + tempY) * exp;
    this.velX = (this.velX - w * tempX) * exp;
    this.velY = (this.velY - w * tempY) * exp;

    return {
      sx: this.camX - cropW * 0.5,
      sy: this.camY - cropH * 0.5,
      sw: cropW,
      sh: cropH,
      inDeadband: Math.abs(dx) <= deadW && Math.abs(dy) <= deadH
    };
  }
}

export function renderReframedWithBlurredFill(ctx, sourceEl, crop, outW, outH, useBlurFill = true) {
  ctx.clearRect(0, 0, outW, outH);
  if (useBlurFill) {
    ctx.save();
    ctx.filter = "blur(18px) brightness(0.52) saturate(1.25)";
    const coverScale = Math.max(outW / crop.sw, outH / crop.sh) * 1.12;
    const bw = crop.sw * coverScale, bh = crop.sh * coverScale;
    ctx.drawImage(sourceEl, crop.sx, crop.sy, crop.sw, crop.sh, (outW - bw) * 0.5, (outH - bh) * 0.5, bw, bh);
    ctx.restore();
  }
  ctx.drawImage(sourceEl, crop.sx, crop.sy, crop.sw, crop.sh, 0, 0, outW, outH);
}

4. Gerçek Zamanlı WebGL2 / Canvas HSV Chroma Key ve Yeşil Yansıma Bastırma (Spill Suppression)

Stüdyo ışığı düzensiz olduğunda yeşil perdenin koyu ve açık bölgeleri RGB uzayında farklı noktalara dağılır ancak HSV (Hue-Saturation-Value) uzayında aynı Hue (~120 deg / 0.333) açısında toplanır. Kenar piksellerini smoothstep ile yarı saydamlaştırdıktan sonra yeşil kanalı min(g, max(r, b)) ile bastırmak omuz ve saç kenarlarındaki yeşil yansımayı anında temizler:

webgl-hsv-chromakey.js - GPU Fragment Shader + Canvas2D Piksel Geri Dönüşü
// 1. Yüksek Hızlı WebGL2 Fragment Shader (4K 60 FPS GPU Chroma Key + Spill Suppression)
export const CHROMA_KEY_FRAGMENT_SHADER = `#version 300 es
precision mediump float;
uniform sampler2D uFrame;
uniform vec3 uKeyHsv;      // Varsayılan yeşil perde: vec3(0.333, 0.78, 0.75)
uniform float uTolerance;  // Örn: 0.28
uniform float uSmoothness; // Örn: 0.10
in vec2 vUv;
out vec4 fragColor;

vec3 rgb2hsv(vec3 c) {
  vec4 K = vec4(0.0, -1.0 / 3.0, 2.0 / 3.0, -1.0);
  vec4 p = mix(vec4(c.bg, K.wz), vec4(c.gb, K.xy), step(c.b, c.g));
  vec4 q = mix(vec4(p.xyw, c.r), vec4(c.r, p.yzx), step(p.x, c.r));
  float d = q.x - min(q.w, q.y);
  float e = 1.0e-10;
  return vec3(abs(q.z + (q.w - q.y) / (6.0 * d + e)), d / (q.x + e), q.x);
}

void main() {
  vec4 tex = texture(uFrame, vUv);
  vec3 hsv = rgb2hsv(tex.rgb);

  // Dairesel Hue farkı + Doygunluk ağırlıklı Öklid mesafesi
  float dh = min(abs(hsv.x - uKeyHsv.x), 1.0 - abs(hsv.x - uKeyHsv.x)) * 2.0;
  float ds = abs(hsv.y - uKeyHsv.y) * 0.55;
  float dist = sqrt(dh * dh + ds * ds);

  float alpha = smoothstep(uTolerance, uTolerance + max(0.005, uSmoothness), dist);

  // Spill Suppression: Kenar ve cilt üzerindeki yeşil ışık yansımasını nötralize et
  float spillFactor = 1.0 - smoothstep(uTolerance * 0.8, uTolerance + uSmoothness * 1.8, dist);
  float neutralG = mix(tex.g, min(tex.g, max(tex.r, tex.b) * 1.04), spillFactor * 0.85);

  fragColor = vec4(tex.r, neutralG, tex.b, tex.a * alpha);
}`;

// 2. Sıfır-Bağımlılıklı Canvas2D HSV Chroma Key Yedek Fonksiyonu
export function applyCanvasHsvChromaKey(imageData, tolerance = 0.28, smoothness = 0.10) {
  const d = imageData.data;
  const keyH = 0.333, keyS = 0.78;
  const edgeSpan = Math.max(0.005, smoothness);
  let keyedPixels = 0;

  for (let i = 0; i < d.length; i += 4) {
    const r = d[i] / 255, g = d[i + 1] / 255, b = d[i + 2] / 255;
    const max = Math.max(r, g, b), min = Math.min(r, g, b), delta = max - min;
    const s = max === 0 ? 0 : delta / max;
    let h = 0;
    if (delta > 0.0001) {
      if (max === r) h = ((g - b) / delta + (g < b ? 6 : 0)) / 6;
      else if (max === g) h = ((b - r) / delta + 2) / 6;
      else h = ((r - g) / delta + 4) / 6;
    }

    const dh = Math.min(Math.abs(h - keyH), 1 - Math.abs(h - keyH)) * 2.0;
    const ds = Math.abs(s - keyS) * 0.55;
    const dist = Math.hypot(dh, ds);

    const t = Math.min(1, Math.max(0, (dist - tolerance) / edgeSpan));
    const alpha = t * t * (3 - 2 * t); // Hermite smoothstep

    if (alpha < 0.5) keyedPixels++;
    // Yeşil yansıma bastırma (Spill Suppression)
    if (alpha < 0.98) {
      const capG = Math.max(r, b) * 1.04;
      d[i + 1] = Math.round(Math.min(g, g * alpha + Math.min(g, capG) * (1 - alpha)) * 255);
    }
    d[i + 3] = Math.round(alpha * 255);
  }
  return { maskRatio: keyedPixels / (d.length / 4) };
}
Seyrek Algılama + 60 FPS Yay Ara-Değerlemesi Mobilde pil tasarrufu için MediaPipe algılamasını 15-20 FPS hızında çalıştırıp SmoothAutoReframe.step(dt) yay hesabını 60 FPS yürütmek pürüzsüz sinematik akış sağlar.
Aktif Konuşmacı Seçimi (Multi-Speaker) İki kişilik podcast sahnesinde dudak açıklık değişimi (jawOpen blendshape varyansı) yüksek olan konuşmacıya öncelik vererek kamera odağını aktif konuşana kaydırın.
İzin ve Kamera Geri Dönüş Güvenliği getUserMedia çağrısını her zaman kullanıcı tıklamasına bağlayın; kamera reddedilirse arayüzü kilitlemeden sentetik stüdyo/örnek video akışına yumuşak geçiş yapın.

Yorumlar

Yorum Gönder

Opromt · Ücretsiz yayınlarımız sizler için , Kopyala, yapıştır, kullan. ← Ana Sayfa