Sony'den yapay zeka ile görüntü işleme yapabilen sensör

AI görüntü işleme fonksiyonunun görüntü sensörüne yerleşik olması sayesinde yalnızca gerekli olan veriler ayıklanıyor ve yüksek hızda uç AI ile işleniyor, böylece bulut hizmetlerini kullanırken veri transferi süresi azalıyor, gizlilik endişeleri üzerine gidiliyor ve gerek enerji tüketimi gerekse iletişim masrafları aşağı çekiliyor. 

Söz konusu ürünler, AI donanımlı fotoğraf makinaları geliştirilmesi için fırsatları genişletirken bir yandan da perakende ve endüstriyel ekipman sektörlerinde çok çeşitli uygulamaları mümkün hale getiriyor ve bulut ile bağlantılı en ideal sistemlerin kurulabilmesine katkıda bulunuyor. 

IoT (Nesnelerin İnterneti) teknolojisinin yaygınlaşması, çok çeşitli türden cihazların buluta bağlanabilmesine olanak sağlayarak bu cihazlardan elde edilen bilginin bulut üzerinde AI ile işlendiği bilgi işleme sistemlerinin kullanımını gündelik hayatın bir parçası haline getirdi. Öte yandan, bulut üzerinde tutulan bilgi hacminin giderek artması, çeşitli sorunlar doğuruyor: Artan veri aktarım süresinin gerçek zamanlı bilgi işleyebilme kapasitesinde aksamalara yol açması; kullanıcıların kişisel verilerin bulutta depolanmasıyla ilgili güvenlik endişeleri yaşamaları; bulut hizmetlerinin gerektirdiği enerji tüketiminde ve iletişim masraflarında artış olması gibi. 

Yeni sensörler, piksel çipi ve mantık çipinden oluşan kümelenmiş bir konfigürasyona sahip. Mantık çipi üzerinde AI görüntü analiz ve işleme fonksiyonu ile donatılmış olan bu görüntü sensörleri, dünyada bir ilk olma özelliği taşıyor. Piksel çipi tarafından alınan sinyalin sensör üzerinde AI ile işlenmesi, yüksek performanslı işlemcilere ya da harici belleğe ihtiyacı ortadan kaldırıyor, uç AI sistemlerinin geliştirilmesine imkân sağlıyor. Sensör, görüntü bilgisi yerine metaveri çıktısı (görüntü verisine ait semantik bilgi) oluşturuyor, bu sayede de veri hacmi küçülüyor ve güvenlik endişeleri dikkate alınıyor. Dahası, AI kabiliyeti, yüksek hızda AI işleme ile gerçek zamanlı nesne takip gibi çok amaçlı uygulamalar için muhtelif işlevler gerçekleştirmeyi mümkün kılıyor. Aynı zamanda dahili belleği kullanıcı ihtiyaçlarına ya da sistemin kullanıldığı lokasyonun koşullarına uygun şekilde yeniden yazarak farklı AI modelleri de tercih edilebiliyor. 

Temel Özellikler

■ Dünyanın ilk AI işleme fonksiyonuna sahip görüntü sensörü

Piksel çipi arkadan aydınlatmalıdır ve geniş bir görüş açısında bilgiyi yakalayabilmek üzere takribi 12.3 etkin megapiksele sahiptir. Konvansiyonel görüntü sensörü operasyon devresine ek olarak, mantık çipi, Sony’nin AI sinyal işlemeye özel orijinal DSP’si (Digital Signal Processor/Dijital Sinyal İşlemcisi) ve AI modelinin kullanacağı bellek ile donatılmıştır. Bu konfigürasyon, yüksek performanslı işlemcilere ya da harici belleğe olan ihtiyacı ortadan kaldırarak sensörü uç AI sistemleri için ideal hale getirir. 

■ Metaveri çıktısı

Piksel çipi tarafından elde edilen sinyaller bir ISP’den (Image Signal Processor/Görüntü Sinyal İşlemcisi) geçer. AI işleme bu süreçte mantık çipinde gerçekleşir ve ayıklanan bilgi metaveri olarak çıktı haline gelir, böylece ilgili verinin miktarı azaltılmış olur. Görüntü bilgisinin çıktı haline gelmemesini sağlamak, güvenlik risklerini azaltmaya ve gizlilik endişelerini dikkate almaya yardımcı olur. Konvansiyonel görüntü sensörü tarafından kaydedilen görüntüye ek olarak kullanıcılar ihtiyaç ve kullanım alanlarına göre, ISP formatlı çıktı görüntüleri (YUV/RGB) ve belirli bir alanın ayıklanmış görüntüleri olan ROI (Region of Interest) de dahil olmak üzere istedikleri veri çıktısı formatını seçebilirler. 

■ Yüksek hızda AI işleme

Konvansiyonel görüntü sensörü kullanılarak bir video kaydedildiğinde, her tekil görüntü karesi çıktı verisini AI ile işlenmek üzere göndermek gerekir, bu da veri aktarımının artmasına yol açar ve gerçek zamanlı performans elde etmeyi zorlaştırır. Sony tarafından geliştirilen yeni sensör ürünleri, ISP işlemeyi ve yüksek hızda AI işlemeyi (MobileNet V1 için 3.1 milisaniye işleme) mantık çipi üzerinde gerçekleştirir, böylece bütün süreci tek bir video karesinde tamamlar. Bu tasarım, video kaydederken yüksek hassasiyetli, gerçek zamanlı nesne takibi yapabilmeyi mümkün kılar. 

■ Seçilebilir AI modeli

Kullanıcılar yerleşik belleğe tercih ettikleri AI modellerini yazabilir, ihtiyaçlarına ya da sistemin kullanıldığı lokasyonun koşullarına göre düzenleyebilir ve güncelleyebilirler. Örneğin bu ürünü barındıran birden çok kamera bir perakende satış mağazasına yerleştirildiğinde, farklı lokasyonlar, koşullar, zamanlar ya da amaçlar için belirli bir kamera tipi çok çeşitli işlev görecek şekilde kullanılabilir.

Bir bina girişine yerleştirildiğinde binaya giren ziyaretçileri saymak üzere kullanılabilir; bir mağazanın rafına yerleştirildiğinde stok bilgilerini tespit etmek üzere kullanılabilir; tavana yerleştirildiğinde mağaza ziyaretçilerinin yoğunluk haritasını çıkarmak üzere (insanlarının çoğunun bulunduğu noktaları tespit ederek) kullanılabilir, vb. Dahası, belirli bir kameradaki AI modeli, örneğin, önce yoğunluk haritasını tespit etmek üzere kullanılmışken daha sonra tüketici davranışlarını belirlemek üzere yeniden yazılabilir.