Počet záznamů: 1  

A Pilot Eye-Tracking Study of WMT-Style Ranking Evaluation

  1. 1.
    SYSNO ASEP0486100
    Druh ASEPC - Konferenční příspěvek (mezinárodní konf.)
    Zařazení RIVZáznam nebyl označen do RIV
    NázevA Pilot Eye-Tracking Study of WMT-Style Ranking Evaluation
    Tvůrce(i) Bojar, O. (CZ)
    Děchtěrenko, Filip (PSU-E) RID, ORCID, SAI
    Zelenina, M. (RU)
    Zdroj.dok.Translation Evaluation: From Fragmented Tools and Data Sets to an Integrated Ecosystem: Proceedings. - Portorož : LREC 2016 Workshop, 2016 / Rehm G. - ISBN N
    Rozsah strans. 20-26
    Poč.str.7 s.
    Forma vydáníOnline - E
    AkceLREC 2016 Workshop: Translation Evaluation: From Fragmented Tools and Data Sets to an Integrated Ecosystem
    Datum konání24.05.2016 - 24.05.2016
    Místo konáníPortorož
    ZeměSI - Slovinsko
    Typ akceWRD
    Jazyk dok.eng - angličtina
    Země vyd.SI - Slovinsko
    Klíč. slovaMT Evaluation ; WMT ; Eye Tracking
    Vědní obor RIVIN - Informatika
    Obor OECDCognitive sciences
    CEPLM2010013 GA MŠMT - Ministerstvo školství, mládeže a tělovýchovy
    Institucionální podporaPSU-E - RVO:68081740
    AnotaceThe shared translation task of the Workshop of Statistical Machine Translation (WMT) is one of the key annual events of the field. Participating machine translation systems in WMT translation task are manually evaluated by relatively ranking five candidate translations of a given sentence. This style of evaluation has been used since 2007 with some discussion on interpreting the collected judgements but virtually no insight into what the annotators are actually doing. The scoring task is relatively cognitively demanding and many scoring strategies are possible, influencing the reliability of the final judgements. In this paper, we describe our first steps towards explaining the scoring task: we run the scoring under an eye-tracker and monitor what the annotators do. At the current stage, our results are more of a proof-of-concept, testing the feasibility of eye tracking for the analysis of such a complex MT evaluation setup.
    PracovištěPsychologický ústav
    KontaktŠtěpánka Halamová, Halamova@praha.psu.cas.cz, Tel.: 222 222 096
    Rok sběru2018
Počet záznamů: 1  

  Tyto stránky využívají soubory cookies, které usnadňují jejich prohlížení. Další informace o tom jak používáme cookies.