Počet záznamů: 1
Stable Low-Rank Tensor Decomposition for Compression of Convolutional Neural Network
- 1.
SYSNO ASEP 0534541 Druh ASEP C - Konferenční příspěvek (mezinárodní konf.) Zařazení RIV D - Článek ve sborníku Název Stable Low-Rank Tensor Decomposition for Compression of Convolutional Neural Network Tvůrce(i) Phan, A. H. (RU)
Sobolev, K. (RU)
Sozykin, K. (RU)
Ermilov, D. (RU)
Gusak, J. (RU)
Tichavský, Petr (UTIA-B) RID, ORCID
Glukhov, V. (CN)
Oseledets, I. (RU)
Cichocki, A. (RU)Celkový počet autorů 9 Zdroj.dok. ECCV 2020. - Cham : Springer Nature Switzerland AG 2020, 2020 / Vedaldi Andrea ; Bischof Horst ; Brox Thomas ; Frahm Jan-Michael - ISSN 0302-9743 - ISBN 978-3-030-58525-9 Rozsah stran s. 522-539 Poč.str. 18 s. Forma vydání Tištěná - P Akce European Conference on Computer Vision 2020 /16./ Datum konání 23.08.2020 - 28.08.2020 Místo konání Glasgow Země GB - Velká Británie Typ akce WRD Jazyk dok. eng - angličtina Země vyd. GB - Velká Británie Klíč. slova Convolutional neural network acceleration ; Low-rank tensor decomposition ; Degeneracy correction Vědní obor RIV JD - Využití počítačů, robotika a její aplikace Obor OECD Electrical and electronic engineering Institucionální podpora UTIA-B - RVO:67985556 EID SCOPUS 85093082913 DOI 10.1007/978-3-030-58526-6_31 Anotace Most state-of-the-art deep neural networks are overparameterized and exhibit a high computational cost. A straightforward approach to this problem is to replace convolutional kernels with its low-rank tensor approximations, whereas the Canonical Polyadic tensor Decomposition is one of the most suited models. However, fitting the convolutional tensors by numerical optimization algorithms often encounters diverging components, i.e.,extremely large rank-one tensors but canceling each other. Such degeneracy often causes the non-interpretable result and numerical instability for the neural network ne-tuning. This paper is the first study on degeneracy in the tensor decomposition of convolutional kernels. We present a novel method, which can stabilize the low-rank approximation of convolutional kernels and ensure efficient compression while preserving the high quality performance of the neural networks. We evaluate our approach on popular CNN architectures for image classification and show that our method results in much lower accuracy degradation and provides consistent performance.
Pracoviště Ústav teorie informace a automatizace Kontakt Markéta Votavová, votavova@utia.cas.cz, Tel.: 266 052 201. Rok sběru 2021
Počet záznamů: 1