|
近日，第34屆神經(jīng)信息處理系統(tǒng)大會(huì)Conference on Neural Information Processing Systems，簡(jiǎn)稱NeurIPS，NIPS在線上召開(kāi)。作為全球頂級(jí)的機(jī)器學(xué)習(xí)和計(jì)算神經(jīng)科學(xué)會(huì)議，今年的NIPS依然受到了學(xué)者們的高度關(guān)注，甚至由于其線上開(kāi)放的特性緩解了往年搶票難的問(wèn)題，而將獲得更多的“聽(tīng)眾”。 據(jù)悉，今年NeurIPS稿件錄取率為20.09，創(chuàng)下歷史新低。在如此嚴(yán)苛的錄取標(biāo)準(zhǔn)之下，京東AI深度學(xué)習(xí)與語(yǔ)音語(yǔ)義實(shí)驗(yàn)室提交的探索稀疏3D點(diǎn)云Global Context的論文《Group Contextual Encoding for 3D Point Clouds》成功入選。今年以來(lái)，京東AI深度學(xué)習(xí)與語(yǔ)音語(yǔ)義實(shí)驗(yàn)室的研究成果頻獲國(guó)際認(rèn)可，此前還有多篇論文入選國(guó)際語(yǔ)音和語(yǔ)言處理頂會(huì)比如ACL 2020、AAAI 2020、INTERSPEECH 2020等。 Global Context對(duì)視覺(jué)感知至關(guān)重要，可以根據(jù)語(yǔ)義信息提高物體識(shí)別的準(zhǔn)確率，但目前針對(duì)3D點(diǎn)云的Global Context的研究還不夠充分，特別是在三維空間的情況下，數(shù)據(jù)呈現(xiàn)高維、稀疏的特點(diǎn)，對(duì)傳統(tǒng)深度學(xué)習(xí)算法提出了挑戰(zhàn)。因此，京東AI研究院基于其研究實(shí)習(xí)生計(jì)劃與東京大學(xué)合作了《Group Contextual Encoding for 3D Point Clouds》，針對(duì)這一研究領(lǐng)域提出了Group Contextual Encoding的Global Context學(xué)習(xí)方法。  從目前已有3D點(diǎn)云Global Context的研究成果來(lái)看，比如LG-PointNet++ 【1】，其復(fù)雜度為，N是輸入點(diǎn)的個(gè)數(shù)。當(dāng)場(chǎng)景復(fù)雜時(shí)，輸入點(diǎn)數(shù)較多會(huì)導(dǎo)致耗費(fèi)相當(dāng)大的算力。Contextual Encoding Layer【2】的復(fù)雜度是，是一種有效率的方法，K是該方法里code word數(shù)目。但是點(diǎn)云數(shù)據(jù)稀疏導(dǎo)致的過(guò)擬合現(xiàn)象overfitting，會(huì)影響性能的提升，導(dǎo)致在ScanNet，SUN-RGBD數(shù)據(jù)集上3D檢測(cè)性能隨著Code word數(shù)目K的增長(zhǎng)，性能卻很快就飽和不再增長(zhǎng)。雖然目前有一些深度補(bǔ)全的算法可以解決數(shù)據(jù)稀疏這個(gè)問(wèn)題，但是這些算法都存在結(jié)構(gòu)復(fù)雜、耗費(fèi)計(jì)算資源的問(wèn)題，因此，京東AI研究院決定探索簡(jiǎn)單有效的方法。 首先要解決數(shù)據(jù)的稀疏問(wèn)題。通過(guò)把特征通道分組，從而獲得更多的等效數(shù)據(jù)，如圖1所示，如果把通道分成G組特征子向量，數(shù)據(jù)就相對(duì)應(yīng)增廣了G倍。再將分組后的特征子向量通過(guò)Encoding layer得到Global context，從而有利于在分組后的特征子空間學(xué)習(xí)全局上下文，然后通過(guò)channel attention的形式作用于分組后的特征。最后通過(guò)Concat操作恢復(fù)為原特征的尺寸。如此操作既解決了數(shù)據(jù)的稀疏問(wèn)題，又解決算法結(jié)構(gòu)復(fù)雜、算力耗費(fèi)巨大的問(wèn)題。 圖1：Group Contextual Encoding方法圖。 隨后，京東AI研究院又將這種方法在多個(gè)3D數(shù)集上進(jìn)行驗(yàn)證，不僅證實(shí)這種方法簡(jiǎn)單有效，還刷新了SOTA方法的性能。將這種方法應(yīng)用在PointNet++ Backbone上，并部署到VoteNet模型。如表1所示，在ScanNet數(shù)據(jù)集以mAP@0.25指標(biāo)測(cè)評(píng)時(shí)，該方法領(lǐng)先VoteNet 【3】 2.2mAP，增幅已然明顯，但更令人驚喜的是，在更加嚴(yán)格的mAP@0.5的指標(biāo)下，如表2所示，該方法領(lǐng)先Waymo、Facebook AI Research以及Stanford大學(xué)提出的 VoteNet高達(dá)6.57 mAP，可視化結(jié)果如圖2所示。 表1：ScanNet數(shù)據(jù)集mAP@0.25評(píng)測(cè)指標(biāo)的結(jié)果。 表2：ScanNet數(shù)據(jù)集mAP@0.5評(píng)測(cè)指標(biāo)的結(jié)果。 圖2：ScanNet數(shù)據(jù)集的結(jié)果可視圖。在SUN-RGBD數(shù)據(jù)集，我們的方法也領(lǐng)先VoteNet 3mAP，具體定量以及定性結(jié)果如表3和圖3所示。 表3：SUN-RGBD數(shù)據(jù)集mAP@0.25評(píng)測(cè)指標(biāo)的結(jié)果. 圖3：SUN-RGBD數(shù)據(jù)集的結(jié)果可視圖。 京東自2017年開(kāi)始全面向技術(shù)轉(zhuǎn)型，用技術(shù)重塑了京東的生態(tài)系統(tǒng)，逐漸突破零售邊界，拓展至數(shù)字科技、物流、健康等眾多領(lǐng)域。一直以來(lái)，消費(fèi)者們更多的在購(gòu)物、物流等環(huán)節(jié)體驗(yàn)到京東技術(shù)的進(jìn)步，如今，京東在人工智能領(lǐng)域的長(zhǎng)足進(jìn)展不僅獲得學(xué)術(shù)界的認(rèn)可，也逐漸被更多的用戶所知悉，京東的智能語(yǔ)音技術(shù)也已經(jīng)在智能外呼機(jī)器人、客服語(yǔ)音機(jī)器人等電話交互場(chǎng)景中實(shí)現(xiàn)成熟應(yīng)用，此次提出的Group Contextual Encoding方法也可以應(yīng)用在下游的AR增強(qiáng)現(xiàn)實(shí)、MR混合現(xiàn)實(shí)以及機(jī)器人，自動(dòng)駕駛等領(lǐng)域，推動(dòng)這些領(lǐng)域的發(fā)展。京東技術(shù)將不僅賦能金融、醫(yī)療、教育、健康等行業(yè)，還將在更多領(lǐng)域?yàn)橛脩籼峁┍憷?/p> 參考文獻(xiàn) 【1】Wang, Xu, Jingming He, and Lin Ma."Exploiting Local and Global Structure for Point Cloud Semantic Segmentation with Contextual Point Representations." Advances in Neural Information Processing Systems. 2019. 【2】Zhang, Hang, et al."Context encoding for semantic segmentation." Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. 2018. 【3】Qi, Charles R., et al."Deep hough voting for 3d object detection in point clouds." Proceedings of the IEEE International Conference on Computer Vision. 2019. |
- 關(guān)注天氣:
