Modelová složitost neuronových sítí - zdánlivý paradox

0449922 - ÚI 2016 RIV SK cze C - Konferenční příspěvek (zahraniční konf.)
Kůrková, Věra
Modelová složitost neuronových sítí - zdánlivý paradox.
[Model Complexity of Neural Networks - a Seeming Paradox.]
Kognícia a umelý život 2015. Bratislava: Univerzita Komenského v Bratislave, 2015 - (Farkaš, I.; Takáč, M.; Rybár, J.; Kelemen, J.), s. 102-106. ISBN 978-80-223-3875-2.
[Kognícia a umelý život /15./. Trenčianske Teplice (SK), 25.05.2015-28.05.2015]
Grant CEP: GA MŠMT(CZ) LD13002
Institucionální podpora: RVO:67985807
Klíčová slova: model complexity of feedforward neural networks * one-hidden-layer networks * concentration of measure
Kód oboru RIV: IN - Informatika
http://cogsci.fmph.uniba.sk/kuz2015/zbornik/prispevky/kurkova.pdf

V článku jsou studovány limity schopností umělých neuronových sítí s jednou skrytou vrstvou výpočetních jednotek při řešení vysoce dimenzionálních úloh. Na základě vlastnosti „koncentrace míry” eukleidovských prostorů vyšších dimenzí je ukázáno, že reprezentace náhodně vybrané funkce na dostatečně velké doméně s velkou pravděpodobností vyžaduje sít s počtem jednotek nebo velikostí vah závisející na vstupní dimenzi sítě exponenciálně. Je zdánlivým paradoxem, že najít konkrétní příklad takové funkce je obtížné. Možným vysvětlením je, že jak reálné úlohy modelované neuronovými sítěmi, tak funkce popsané matematickými formulemi patří do malé množiny funkcí, které mají strukturu, která se dá realizovat neuronovými sítěmi přijatelných velikostí. Situace připomíná známý paradox z teorie kódování „Každý kód, který nemůžeme vymyslet, je dobrý”.

The paper investigates limitations of one-hidden-layer artificial neural networks for solving high-dimensional tasks.
Trvalý link: http://hdl.handle.net/11104/0251322