Evaluating Jarvis and Hashimoto’s Operationalizations of Word Types and Their Influence on Lexical Diversity Measures

本レビュー論文では， 3 種類の語彙多様性（LD）指標を調査した最近の研究（Jarvis and Hashimoto, 2021）を検証する。これら3 種類のLD 調査では各々5 つの異なる単語単位の運用が用いられている。Jarvis とHashimoto の目的は，最も有効なLD 指標を決定し，異なる単語単位が各LD 指標に及ぼす潜在的な影響を実証することである。LD 指標には，テキストの語彙多様性指標（MTLD），ラップアラウンド測定による移動平均MTLD（MTLD-W），及び移動平均タイプ-トークン比（MATTR）が含まれる。それぞれの指標は，正書法，自動品詞タグを用いたレンマ，人手で品詞タグを修正したレンマ，フレマ，ワードファミリーとして運用されるタイプで調査されている。これらの指標を用いて，英語，フィンランド語，スウェーデン語の第一言語話者によって書かれた60の物語エッセイを調査し，55人の評価者によるLD 評価との相関を調査した。Jarvis とHashimoto は， 3 つのLD 指標は同等であるが， 2 つの単語単位の運用においては結果が分かれると結論付けている。
本レビューでは，論文の要約と重要な概念の説明を行った後，この分野における重要性を評価する観点から，この研究の長所と短所を評価する。Jarvis とHashimoto の研究は，語彙の多様性とその測定に関する我々の理解を間違いなく前進させるものである。しかしながら，この研究で使用されたテキストのコーパスと人間の評価者についての懸念があり，どの単語単位が最も効果的かという問題には答えがないままである。

This review article examines a recent study (Jarvis and Hashimoto, 2021) investigating three lexical diversity (LD) measures, each using five different word unit operationalizations. Jarvis and Hashimoto’s aim is to determine the most effective LD measures and demonstrate the potential influences of the different word units on each LD index. The LD measures include the measure of textual lexical diversity (MTLD), moving average MTLD with wrap-around measurement (MTLD-W), and moving-average type-token ratio (MATTR). Each measure is investigated with types operationalized as orthographic forms, lemmas using automated part-of-speech (POS) tags, lemmas with manually corrected POS tags, flemmas, and word families. These measures are used to examine 60 narrative essays written by English, Finnish, and Swedish first-language speakers; correlations with the LD ratings of 55 human raters are investigated. Jarvis and Hashimoto conclude that while the three LD measures are comparable, two of the word unit operationalizations produce mixed results.
In the review, following a summary of the paper and explanation of important concepts, the strengths and weaknesses of the study are evaluated with a view to assessing its importance in the field. Jarvis and Hashimoto’s research undoubtedly advances understanding of lexical diversity and its measurement. However, there are problems concerning the corpus of texts and the human raters used in the study. Also, the question of which word units work best remains unanswered.