Edge AI, Derin Ögrenme ve Gömülü Sistemler Projesi

YOLO ve OpenCV Tabanlı Akıllı Gömülü Yangın/Nesne Algılama ve Görüntü İşleme Sistemi

ESP32-CAM donanımından gelen gerçek zamanlı video akışını, OpenCV ve C++/Python mimarisi üzerinde koşan optimize YOLO derin öğrenme modeli ile işleyerek, yüksek doğrulukta ve düşük gecikmeyle otonom yangın tespiti gerçekleştiren ağır bir Edge AI uygulamasıdır.

YOLO (You Only Look Once) OpenCV C++ Python Deep Learning (Derin Öğrenme) Computer Vision Edge AI Convolutional Neural Networks (CNN)

Source

Proje Detayları

Yüksek hesaplama karmaşıklığına sahip bilgisayarlı görü (Computer Vision) ve derin öğrenme (Deep Learning) modellerinin, gömülü sistemlerle hibrit çalışmasını konu alan, sistem performansı odaklı ağır bir yapay zeka projesidir. Proje kapsamında, ESP32-CAM ve OV2640 kamera modülünden Wi-Fi ağ katmanı üzerinden asenkron olarak alınan ham video akışları (video streams) merkezi bir işleme birimine aktarılmaktadır. Sistemin ana motoru, alev ve duman karakteristiklerini gerçek zamanlı tanıyabilmesi için özel olarak eğitilmiş/optimize edilmiş bir YOLO evrişimli sinir ağı (CNN) modelidir. Modelin girdi/çıktı hatları, görüntü ön işleme (image preprocessing), matris manipülasyonları ve kare dönüştürme süreçleri OpenCV kütüphanesi kullanılarak kurgulanmıştır. Projenin en kritik mühendislik zorluğu olan yüksek performans ve düşük gecikme (low-latency) gereksinimlerini karşılamak adına, sistem mimarisi Python ve C++ dillerinin hibrit gücüyle optimize edilmiştir. Derin öğrenme çıkarım (inference) süreçlerinde C++ kütüphaneleri ve donanımsal hızlandırma teknikleri kullanılarak CPU/GPU yükü dengelenmiş, saniyedeki kare sayısı (FPS) maksimize edilmiştir. Algılama sonuçları, anlık olarak donanım seviyesindeki ESP32 kontrolcüsüne geri beslenerek GPIO ve kesme (interrupt) mekanizmaları üzerinden fiziksel alarm sistemlerini otonom olarak tetiklemektedir.