Разница в токенизации для разных языков достигает 17 раз
Исследователи выявили, что обработка запросов к ИИ на малораспространённых языках требует больше токенов, что увеличивает стоимость и сокращает доступный контекст.
01Что случилось
Коалиция за языковое равенство в исследованиях ИИ (CLEAR) описала «налог токенизатора» — разницу в количестве токенов, на которые разбивается один и тот же текст на разных языках. При использовании корпуса FLORES-200 с переводами примерно на 200 языков разрыв между наиболее и наименее ресурсоёмкими языками среди 20 самых распространённых в интернете составил от 1,5 до 5 раз в зависимости от модели. При расширении выборки до 200 языков для отдельных моделей разрыв достигал 17 раз. Например, фраза на малаялам требует 26 токенов против 13 для английского эквивалента. Помимо роста стоимости, большее число токенов сокращает доступный объём контекста и может увеличивать задержку ответа. Особые проблемы выявлены для языков с письменностями, недостаточно представленными в обучающих данных: бирманского, тибетского, кхмерского, лаосского, а также использующих письменности тифинаг и ол-чики.
02Почему это важно
Пользователи, работающие с ИИ на языках, отличных от английского, вынуждены тратить больше токенов на тот же по смыслу запрос, что напрямую влияет на расходы и доступный объём контекста.
03Что дальше
Исследователи предлагают расширять представление качественных многоязычных данных в обучающих выборках и целенаправленно разрабатывать токенизаторы для разных письменностей, отмечая, что увеличение объёма данных само по себе не гарантирует устранения проблемы.
Источники
- 3DNews 3dnews.ru