Clearview AI已對其NNDB(最近的鄰居數據庫)系統進行了更新,以索引和搜索數十億個面部向量。升級在其前身的基礎上,使數據的處理更加有效,並承諾將計算成本的80%降低,並將吞吐量提高十倍。
該系統使用基於SSD的磁盤上圖索引結構,可以通過將查詢分配給數據“存儲桶”來優化更多向量的位置和搜索。向量存儲在貼紙上,圖形索引充分代表了基礎數據,可以在CPU內存中執行搜索。
Clearview說,其索引“經過精心構造來代表人類面孔的人口多樣性”,並將提高在Deca億範圍內搜索的準確性。
該技術利用了兩個開源工具Faiss和Rocksdb。寫信Clearview的機器學習和研究副總裁Terence Liu,“我們創建了綁定層,使Faiss的倒數文件結構可以並行閱讀並寫入RockSDB。通過利用兩個開源項目的優勢,我們能夠創建一個可擴展的Vector Database,從而使Duo duo of to One。”
劉討論了公司的使用相似性計算在去年八月的一次採訪中構建數據庫時。
英國廣播公司最近報導說Clearview已經達到了里程碑,使美國執法部門能夠進行一百萬個面部識別搜索以調查犯罪。