|
作為人工智能技術的重要分支，圖像識別技術在眾多領域一直受到廣泛關注，然而不為人知是這項技術背后其實隱藏著一定的安全風險。日前，360安全研究院發布《AI安全風險白皮書》，白皮書中指便出360安全團隊發現在圖像識別深度學習的數據處理流程中存在安全風險。攻擊者在不利用平臺軟件實現漏洞或機器學習模型弱點的情況下，只利用深度學習數據流中的處理問題，就可以實現逃逸或數據污染攻擊。 相信許多人都聽說過，人工智能深度學習系統的核心是神經元網絡。通常情況下，圖像識別深度學習使用的靜態神經元網絡會假定自己的輸入是一個固定的維度。但是，實際情況卻是：實際的輸入并不一定與神經元網絡模型輸入具有相同的維度。
圖1：通常情況下，原始圖片會經過維度調整，深度學習系統才能識別其信息 要解決這一問題的方法有兩種，一種是對輸入的維度進行強行限制，另外一種方法是對輸入進行維度調整。比如在圖像識別應用中，深度學習系統會將大的輸入圖片進行維度縮減，小的圖片進行維度放大，采用的算法包括最近點抽取和雙線性插值等。這種處理的目的就是對圖片降維的同時盡量保持圖片原有的樣子，以確保深度學習系統做出正確的判斷。 但是，上述的情況非常理想化。在實際中，這些常用的降維算法并沒有考慮惡意構造的輸入。也就是說：攻擊者可以事先對輸入進行特殊構造處理。經過處理后，降維函數會輸出異常的結果。 下面這組圖片就是攻擊者針對最常用的雙線性插值構造的惡意攻擊樣本，雖然原始輸入是一張羊群的圖片，但是經過降維處理后，圖像識別系統會將其誤判為一只雪地里的白狼；雖然原始輸入是一只卡通小羊，但圖像識別系統會將其誤判為一只可愛的小貓。
圖2：降維處理后，圖像識別系統可能輸出謬誤嚴重的結果 再比如下面這組實例，一些對于人來說很清楚的數字，深度學習系統卻會誤判。下面顯示了了四組圖片，每一組中，左邊是對應用的輸入，也就是人看到的圖片；右邊是人看不到，但是被機器學習模型最后處理的圖片。
圖3：降維算法可能讓深度學習系統出現嚴重誤判 根據360安全研究人員的分析：幾乎所有網上流行的深度學習圖片識別程序都有被降維攻擊的風險，解決方法包括對人工過濾異常圖片、人工對比識別結果，以及采用更為健壯的降維算法等。對此，白皮書特別強調：人工智能安全問題不容忽視，360安全研究院希望公眾在擁抱人工智能熱潮的同時，也能持續關注深度學習系統中的安全問題。
|
- 關注天氣:
