Управління якістю постредагування машинного перекладу у виробничому процесі локалізації

Abstract

(ua) Статтю присвячено аналізу перекладацьких помилок у професійному середовищі та трансформації методів їхнього оцінювання під впливом новітніх лінгвістичних сервісів, зокрема постредагування машинного перекладу (ПРМП). Предметом дослідження є метрики якості перекладу, що застосовуються в індустрії лінгвістичних послуг, зокрема LISA QA Model, яку розглянуто як одну з найуживаніших моделей на ринку лінгвістичних послуг. Автори детально аналізують структуру метрики LISA, що включає категорії, підкатегорії та рівні критичності помилок. На прикладі реального проєкту – локалізованого продукту Google Search Ads 360 – продемонстровано практичне застосування метрики та наведено приклади типових помилок у таких категоріях, як Точність, Мовна відповідність, Термінологія, Cтиль, Технічна помилка, Відповідність стандартам локалі, Відповідність вимогам до проєкту. У статті обґрунтовано необхідність системного впровадження метрик помилок для управління якістю на всіх етапах перекладацького процесу. Традиційні моделі, створені для оцінювання антропогенного перекладу, для ПРМП мають бути адаптовані. На основі проведеного аналізу встановлено, що більшість категорій метрики LISA залишаються релевантними для оцінювання якості ПРМП, однак ступінь їх застосовності істотно варіюється. Найвищу вірогідність виявлення помилок мають підкатегорії відповідності термінології, стилю, вимогам до проєкту та стандартам локалі. Це пов’язано з непередбачуваністю результатів роботи рушіїв машинного перекладу навіть за умов використання однакових промптів чи довідкових ресурсів. Також варто зауважити, що помилки типу Додавання / Випущення чи Неправильне значення залишаються актуальними через тенденцію рушіїв МП до генералізації або неповного передавання змісту. Водночас, деякі під-категорії (наприклад, Орфографія, Форматування, Відтворення посилок / тегів) мають низьку вірогідність застосування, оскільки сучасні МП-системи досить добре справляються з такими технічними аспектами. (en) The article is dedicated to the analysis of translation errors in a professional environment and the transformation of evaluation methods under the influence of modern linguistic services, particularly post-editing machine translation (PEMT). The focus of the study is on translation quality metrics used in the language services industry, particularly LISA QA Model, which is examined as one of the most widely used models on the market. The authors provide a detailed of the structure of the LISA metric, which includes categories, subcategories, and levels of error severity. Using the real-world project of the localized product Google Search Ads 360 as an example, the article demonstrates the practical application of the metric and presents examples of typical errors in categories such as Accuracy, Language, Terminology, Style, Functional, Regional Standards Compliance, and Project Requirements Compliance. The article substantiates the need for a systematic implementation of error metrics to manage quality at all stages of the translation process. Traditional models developed for the evaluation of human translation must be adapted for PEMT. Based on the analysis, it is established that most LISA metric categories remain relevant for evaluating PEMT quality, although their applicability varies significantly. The highest likelihood of error detection occurs in subcategories related to terminology, style, compliance with project requirements, and locale standards. This is due to the unpredictability of machine translation engine outputs, even when identical prompts or reference materials are used. It is also noted that error types such as Addition/Omission and Incorrect Meaning remain relevant due to the tendency of MT engines to generalize or incompletely render content. Meanwhile, some subcategories (e.g., Spelling, Formatting, Tags/Links) have a low likelihood of errors, as modern MT systems handle such technical aspects fairly well.