scholarly journals Dual discriminator adversarial distillation for data-free model compression

Author(s):  
Haoran Zhao ◽  
Xin Sun ◽  
Junyu Dong ◽  
Milos Manic ◽  
Huiyu Zhou ◽  
...  
Keyword(s):  
2008 ◽  
Vol 149 (26) ◽  
pp. 1203-1213 ◽  
Author(s):  
Petra Varga ◽  
Anna V. Oláh ◽  
Éva Oláh

A Down-kór a 21-es kromoszóma triszómiája okozta értelmi fogyatékosság jellemző klinikai tünetekkel. A genetikai alapeltérés nem gyógyítható, de a kísérő tünetek befolyásolása javíthatja a beteg életminőségét. Célkitűzés: A szerzők összefüggést kerestek a kórképért felelős gének és a háttérben megfigyelhető biokémiai változások között. A szuperoxid-dizmutáz, a cisztation-béta-szintáz és az S100B fehérjegének fokozott expressziójával kapcsolatos paraméterek: a szérumantioxidáns-kapacitás és a sejten kívüli antioxidánsok (transzferrin, ferritin, összfehérje, albumin és bilirubin) vizsgálata mellett a homocisztein-anyagcsere megítélésére a homocisztein-, folsav- és B 12 -vitamin-koncentrációt, a vascularis károsodás megítélésére az S-100B fehérje és a szérum-N-acetil-béta-D-glükózaminidáz aktivitását mérték. Módszerek: Az antioxidáns-kapacitás ( Stocks, 1974), a homocisztein (HPLC), a folsav (‘capture’, IMX-Abbott), a B 12 -vitamin (MEIA, IMX-Abbott) és az S100B fehérje meghatározása kemilumineszcens szendvics immunoassay módszerrel, a szérum-N-acetil-béta-D-glükózaminidáz aktivitásának mérése pedig spektrofotometriásan történt. Eredmények: A plazmahomocisztein 7/30 esetben alacsonyabb, 6/30 betegben pedig magasabb volt, mint a referenciatartomány. A relatív homociszteinérték 95 ± 21%. A plazma relatív folsavértéke (a normálérték százalékában kifejezve) 85 ± 51%, a B 12 -vitamin 78 ± 30% volt. 2/30 betegben igazoltak folsav-, és 2/30 betegben B 12 -hiányt. A Down-kóros és az egészséges gyermekek antioxidánsaktivitás-értékei nem különböztek szignifikánsan, bár a felnőtt-referenciatartományt (90–100%) egyikük sem érte el. Emelkedést észleltek az S100B fehérje koncentrációjában (átlag: 0,68 ± 0,27 µg/l), amely a referenciatartomány felső határa (egyéves kor felett > 0,15 µg/l) négy-nyolcszorosának bizonyult. A szérum-N-acetil-béta-D-glükózaminidáz aktivitásának átlaga a referenciatartományon (10–30 U/l) belül maradt. Az N-acetil-béta-D-glükózaminidáz- és az antioxidáns-aktivitás között statisztikailag szignifikáns korreláció nem igazolódott. Következtetések: A Down-kórban talált alacsonyabb homocisztein-, folsav- és B 12 -vitamin-érték a megnövekedett cisztation-béta-szintáz-aktivitás következménye lehet („atheroma free model”). Az antioxidáns-aktivitás szignifikáns eltérést nem mutatott. A szerzők feltételezik, hogy a szuperoxid-dizmutáz fokozott expressziója következtében termelődő hidrogén-peroxidot az indukált glutation-peroxidáz és kataláz bontja le, így az antioxidáns-rendszer egyensúlya megmarad. Emellett szól, hogy a szérum-N-acetil-béta-D-glükózaminidáz eredményei nem utaltak érkárosodásra. Az S100B fehérje magas értékei viszont agykárosodást jeleznek, amely az életkorral súlyosbodik. Ezek alapján a szerzők javasolják a fenti paraméterek rendszeres kontrollját. Indokoltnak tartják a folsav pótlását, mivel az javíthatja a tanulási képességet, lassítja az Alzheimer-kóros tünetek kifejlődését, azaz jobb életminőséget biztosít.


2021 ◽  
Vol 186 ◽  
pp. 103266
Author(s):  
Rubens Augusto Amaro ◽  
Andrea Mellado-Cusicahua ◽  
Ahmad Shakibaeinia ◽  
Liang-Yee Cheng
Keyword(s):  

2021 ◽  
Vol 143 ◽  
pp. 106382
Author(s):  
Sebastian Scherb ◽  
Matthias Maier ◽  
Nancy Beuntner ◽  
Karl-Christian Thienel ◽  
Jürgen Neubauer

2020 ◽  
Vol 34 (04) ◽  
pp. 6623-6630
Author(s):  
Li Yang ◽  
Zhezhi He ◽  
Deliang Fan

Deep convolutional neural network (DNN) has demonstrated phenomenal success and been widely used in many computer vision tasks. However, its enormous model size and high computing complexity prohibits its wide deployment into resource limited embedded system, such as FPGA and mGPU. As the two most widely adopted model compression techniques, weight pruning and quantization compress DNN model through introducing weight sparsity (i.e., forcing partial weights as zeros) and quantizing weights into limited bit-width values, respectively. Although there are works attempting to combine the weight pruning and quantization, we still observe disharmony between weight pruning and quantization, especially when more aggressive compression schemes (e.g., Structured pruning and low bit-width quantization) are used. In this work, taking FPGA as the test computing platform and Processing Elements (PE) as the basic parallel computing unit, we first propose a PE-wise structured pruning scheme, which introduces weight sparsification with considering of the architecture of PE. In addition, we integrate it with an optimized weight ternarization approach which quantizes weights into ternary values ({-1,0,+1}), thus converting the dominant convolution operations in DNN from multiplication-and-accumulation (MAC) to addition-only, as well as compressing the original model (from 32-bit floating point to 2-bit ternary representation) by at least 16 times. Then, we investigate and solve the coexistence issue between PE-wise Structured pruning and ternarization, through proposing a Weight Penalty Clipping (WPC) technique with self-adapting threshold. Our experiment shows that the fusion of our proposed techniques can achieve the best state-of-the-art ∼21× PE-wise structured compression rate with merely 1.74%/0.94% (top-1/top-5) accuracy degradation of ResNet-18 on ImageNet dataset.


Sign in / Sign up

Export Citation Format

Share Document