Словесній грі потрібен не лише список допустимих рядків. Вона має пояснювати, що кожен із них означає, а значення зберігати найважче.
Написано й відредаговано англійською. Цю українську версію створено машинним перекладом; там, де важлива точність, авторитетним є англійський оригінал. Читати оригінал англійською →
WordChess грають на дошці 25×25 з англійським словником на 148 941 слово 6; статті в середньому мають 8,6 літери, а найдовші сягають 27. Це легка частина. Список допустимих слів — просто набір рядків, які гра прийме. Цікава частина — пояснити гравцеві, що означає рядок на дошці, і робити це одразу двадцятьма двома мовами.
Лексикографи чітко розрізняють лему та її словозмінні форми. Лема — це заголовне слово, яке ви шукаєте в словнику: run («бігти»), house («дім»), be («бути»). Навколо неї обертається парадигма поверхневих форм: runs, ran, running. Кожна з них несе те саме основне значення, вбране для іншої граматичної ролі. 3 Словник витрачає свої пояснення на лему, а тіні лише вказують на неї.
Скільки тіней відкидає слово, залежить від мови. Англійська — аналітична: вона спирається на порядок слів і дрібні службові слова, тож дієслово рідко має більше ніж кілька форм. Фінська — аглютинативна: вона будує значення, приклеюючи суфікси до основи. Один фінський іменник змінюється приблизно за п’ятнадцятьма відмінками в однині й множині, ще до того, як зверху нашаровуються присвійні закінчення та клітики; практична кількість різних форм сягає тисяч. 4 Угорська вміщує цілу англійську фразу, in my house («у моєму домі»), в одне слово: házamban. 5
Визначення взято з Вікісловника, вільного словника, який може редагувати будь-хто. Він величезний і багатомовний: проєкт охоплює значно більше сотні активних мовних розділів і десятки мільйонів статей, написаних спільно волонтерами, а не оплачуваною редакційною колегією. 1 Для гри, що працює 22 мовами, жоден інший вільний лексикон і близько не зрівняється з ним за охопленням.
Але охоплення на папері — ще не охоплення, яке можна прочитати. Вікісловник зберігає словозмінні форми так, щоб редакторам не доводилося писати те саме пояснення десять тисяч разів. Замість розгорнутого визначення стаття про нелемну форму містить шаблон form-of, невеликий вказівник, який фактично каже: «це певна граматична форма такої-то леми». 2 Стаття для smoulders — не текст; це шаблон, який відображається як «форма третьої особи одиничного числа простого теперішнього часу від smoulder» («тліти»). 1
Ці вказівники — не похибка округлення. В англійському Вікісловнику з приблизно 1,27 мільйона визначень близько 478 000, тобто значно більше третини, є визначеннями типу «form of», а не розписаними значеннями. 1 Дані є. Вони просто згорнуті.
Тож справжньою проблемою ніколи не було те, що «слова бракує». Проблема полягала в тому, що значення слова ховалося всередині шаблону, який наївний парсер просто викинув би. Визначення WordChess створено шляхом читання сирих дампів Вікісловника та розгортання словозмінних шаблонів мова за мовою: парсер навчили розуміти, що означає кожен вказівник, і переписувати його у звичайне пояснення. 6
Кожна мова ховає свої форми за власним механізмом. Іспанська ховає дієслівні форми за {{forma verbo}}, що розгортається в «дієслівна форма X». Німецька використовує {{Grundformverweis Dekl/Konj}} для відмінюваних і дієвідмінюваних форм. Фінська покладається на {{taivutusmuoto}}. Російська часто взагалі не зберігає шаблону форми: словозмінне слово є простим перенаправленням (собаки → собака), за яким треба перейти, щоб отримати пояснення «форма від». 6 Врахуйте кожну з цих конвенцій, і охоплення стрибне вгору.
| Мова | До | Після | Приріст |
|---|---|---|---|
| Німецька | 45% | 92% | +47 |
| Нідерландська | 58% | 90% | +32 |
| Фінська | 54% | 74% | +20 |
| Російська | 20% | 70% | +50 |
| Грецька | 15% | 57% | +42 |
За нотатками про дизайн і збирання цього проєкту. Відсотки — частка словникових статей, що мають придатне визначення або розгорнуте пояснення «форма від».
Даних ніколи не бракувало. Їх було згорнуто у вказівник, і дати машині слово означало навчитися цей вказівник розгортати.
Варто чесно сказати, що саме тепер містить гра. Коли WordChess показує, що собаки — це форма слова собака («пес»), вона нічого не зрозуміла. Вона зіставила один рядок з іншим рядком, поясненням, ідучи за тими самими вказівниками, які залишив редактор-людина. Це лематизація, робоча конячка обробки природної мови: зведення поверхневої форми до її основи, щоб машині доводилося відстежувати менше різних одиниць. 7
Це справжній і корисний різновид знання. Він дозволяє грі відповідати на питання «що це за слово?» в Афінах чи Амстердамі без лексикографа в штаті. Але це знання як довідка, а не знання як розуміння. Пояснення — це обіцянка, що людина, прочитавши його, впізнає слово. Машина зберігає обіцянку; сенс вкладає читач.
Деякі мови впираються в стелю, яку жоден парсер не підніме, бо даних для розгортання просто немає. Угорські статті часто містять лише етимологію й таблицю перекладів, без жодного тексту визначення, тож навіть бездоганний читач залишиться ні з чим. Найважчі випадки зосереджені там, де найскладніша лінгвістика: в аглютинативних мовах, як-от фінська й угорська, що породжують величезні парадигми, і в мовах із кириличним та грецьким письмом, де спільнота від початку забезпечує менше охоплення. Грецька піднялася з 15% до 57%; те, що вона зупиняється значно нижче за 92% німецької, — факт про джерело, а не про код. 6