索尼近日宣布即將推出兩款 AI 圖像傳感器，代號 IMX500 和 IMX501，號稱具備智能視覺的 “全球首款 AI 圖像傳感器”。其中 IMX500 是無封裝版，IMX501 是封裝版，沒有其他性能差異。
AI 圖像傳感器兼具運算能力和內存，能夠在沒有額外硬件輔助的情況下執行機器學習驅動的計算機視覺任務，使得很多依賴機器學習算法的圖像處理技術能夠在本地運行，衍生出更簡化、高效和安全的解決方案。
索尼業務與創新副總裁馬克•漢森（Mark Hanson）認為，相比將數據發送到云端的解決方案，IMX500 的應用潛力巨大，成本效益更高，尤其是在未來的邊緣計算領域。它支持 1200 萬像素圖像，以每秒 60 幀的速度捕獲 4K 視頻，或者不捕獲任何圖像，僅提供所見內容的元數據。
官方預計首批搭載該傳感器的產品最早將于 2021 第一季度上市，目前已有早期商業客戶拿到了測試樣品，IMX500 售價約 93 美元，IMX501 售價約 186 美元。
圖｜IMX500（小）和 IMX501（大）（來源：索尼）
不過，第一代 AI 圖像傳感器可能不會出現在智能手機或平板電腦等消費者產品中。索尼的首批目標是零售商和工業客戶，比如亞馬遜 Go 無人商店，其他應用場景包括訪客統計、交通狀況和人流量熱圖繪制等。
以亞馬遜無人商店為例，每家商店中都裝有上百個 AI 技術加持的攝像頭，用來追蹤顧客的行動軌跡，捕捉他們在貨架上的購買行為，最終創建購物清單完成結賬。有數據分析顯示，對運算能力和數據處理的高要求推高了硬件成本，并減緩了 Go 商店的推廣速度。
漢森指出，“建造這種商店需要上百個攝像頭，每天要生成和處理 PB 級別的數據（1PB 等于 100 萬 GB），如果我們可以把運算能力縮小并放在每一塊芯片上，就可以實現更多有趣的事情。”
除了節省成本，具備本地運算能力的 AI 芯片還可以提供更好的隱私保護環境。將 AI 技術與圖像傳感器結合起來后，針對目標對象的檢測和識別都可以在設備上完成，無需將數據發回云端分析，只需要傳回元數據即可，減少敏感信息被盜取和劫持的風險。
圖 | IMX500 和 IMX501 的詳細參數（來源：索尼）
索尼表示，在執行圖像處理任務時，IMX500 的運行速度也比其他 AI 攝像頭快得多。它能夠在 3.1 毫秒將標準圖像識別算法 MobileNet V1 應用于單個視頻幀。
相比之下，谷歌 Clips 相機和大疆精靈 4 無人機所使用的 Movidius 計算機視覺芯片（2016 年被英特爾收購），可能需要數百毫秒以上的處理時間，相差 30 多倍。
這一點在工業自動化協作機器人上至關重要。它們通常會在車間與工人搭配合作，出于安全因素考慮，驅動它們的計算機視覺芯片需要具備快速檢測人類目標的能力。這樣可以在發生意外時快速停止工作，避免誤傷。
目前第一代 IMX500 還存在一定的局限性，只能運行比較基礎的機器學習算法，還不具備處理復雜任務的能力。
面對日益增加的自動駕駛等需求，索尼希望未來將 IMX500 打造成一個簡單的單應用設備，即專門應對復雜和多樣化任務的專用AI硬件，具備處理和分析更復雜任務的能力，而不僅局限于運行基礎算法。
索尼首席執行官吉田憲一郎明確表示，新產品符合公司的長期目標，即擴大其傳感解決方案的種類并追求更多樣化的經常性收入。
目前在圖像處理領域，索尼擁有巨大的影響力，市場份額超過 60%，去年傳感器出貨量約為 16 億枚。因此索尼認為，一旦技術完成多次迭代走向成熟，龐大的占有量足以幫助其大規模推廣 AI 圖像傳感器，打入消費者市場。
（來源：DeepTech深科技）