3.2 Эволюция экономической терминологии по данным параллельных текстов

• Разделение текста на предложения
• Разделение предложений на слова
• Выравнивание предложений двух массивов между собой

• Каждая буква la_x слова a сравнивалась с буквами слова b в позиции на один знак левее, чем позиция буквы слова a, совпадающей с ней, и на один знак правее (lb_x-1, lb_x, lb_x+1,) При этом если предыдущей букве la_x-1 слова a была успешно сопоставлена буква lb_y слова b, то поиск начинался не ранее следующей позиции (y+1).
• При успешном нахождении совпадающей буквы в указанном диапазоне засчитывалось одно совпадение, в противном случае – одно несовпадение.
• Процедура повторялась зеркально для слова b.
• В качестве коэффициента близости между словом a и b рассматривалось отношение общего числа совпадений к суммарной длине двух слов.

Формами одного слова считались те кандидаты, коэффициент схожести которых превысил 0,8. Порог отсечения был установлен на основании просмотра полной таблицы кандидатов. Ниже приводится фрагмент таблицы пар-кандидатов, демонстрирующий снижение количества подлинных соответствий около порога 0,8 (с обеих сторон включены только слова, начинающиеся на первые три буквы алфавита).

Так как число уникальных словоформ составило 8.907 единиц в тексте 1895 года и 11.452 единицы в тексте 1931 года, вычисление коэффициента близости между всеми парами словоформ заняло несколько часов машинного времени.

При вычислении функции расстояния между двумя предложениями в процессе поиска оптимального решения задачи динамического программирования все отобранные пары словоформ расценивались как равнозначные. Для рассматриваемой пары предложений подсчитывалось количество словоформ предложения a, которым найдено соответствие в предложении b, затем такой же подсчет производился для предложения b. Отношение числа совпадений к суммарному числу слов в предложениях рассматривалось в качестве вероятности того, что оба предложения являются переводом одного предложения оригинала.

Для того, чтобы снизить вероятность ситуации, когда два предложения, являющихся переводом одного предложения оригинала, было невозможно сопоставить, потому что в них не было обнаружено графически достаточно близких словоформ, в дополнение к мере лексического сходства использовалась мера сходства длины, заимствованная из исходного алгоритма Гейла. Мера схожести длины учитывалась только тогда, когда по степени лексического сходства вероятность совпадения оказывалась ниже 0,2, а по степени схожести длин предложений – выше 0,8. При этом для снижения вклада меры схожести длины вероятность совпадения взвешивалась на 0,2.

Как было описано выше, в реализации алгоритма динамического программирования Гейла для операций удаления, одностороннего слияния и двустороннего слияния предложений использовались «штрафы», соответствующие вероятности операции каждого типа в корпусе текста. Для целей обработки двух переводов в значения этих штрафов были внесены некоторые поправки. Значения новых штрафов были выбраны эмпирически путем оценки качества работы алгоритма на отрезке текста в 200 пар предложений.

Штраф за установление связи двух предложений с одной стороны с одним предложением с другой стороны не изменялся и остался на уровне 230, что соответствует вероятности 0,1.

Штраф за установление связи двух предложений с одной стороны с двумя предложениям с другой стороны был установлен на запретительном уровне 1000, соответствующем вероятности около 0,00005, так как при просмотре корпуса ситуаций, в которых такая операция была бы необходима, обнаружено не было.

Штраф за удаление одного предложения был снижен до уровня 250, соответствующего вероятности около 0,08 вместо 450 (p ≈ 0,01). Если для вычисления необходимого уровня штрафа следовать методике Гейла, заключающейся в оценке вероятности соответствующих операций по выборке из корпуса, размеченной вручную, то штраф за удаление предложений должен был бы быть существенно ниже, так как со стороны текста 1895 года имеются обширные пропуски. Однако по наблюдениям за результатами работы алгоритма на небольших участках было установлено, что снижение штрафа за удаление ниже уровня 250 приводит к необоснованно большому числу таких операций.

Алгоритм динамического программирования, основанный на алгоритме Гейла с описанными изменениями, был применен к текстам двух переводов. Пример результатов выравнивания приводится в Приложении. По данным приводимого образца количество ошибочных удалений составляет 2%, количество ошибочных слияний составляет 1%, ошибочные сопоставления отсутствуют.

При просмотре полученной таблицы было обнаружено, что текст 1895 года перед обширными пропусками имеет характер скорее реферата, чем перевода. Единичные предложения текста 1895 года оказались сопоставленными со случайными предложениями фрагментов 1931 года, пропущенных автором первого перевода. Для снижения уровня шума на следующем этапе эксперимента единичные предложения, сопоставленные со случайными предложениями на фоне обширных пропусков, были удалены вручную.

В результате описанной работы для дальнейшей обработки были получены 1.076 пар предложений.

Для извлечения нетривиальных (неграфических) лексических соответствий из выровненного корпуса оба текста рассматривались как оригинал на некотором языке и перевод на некоторый другой язык. Задача автоматического извлечения лексических соответствий из двух переводов таким образом сводится к задаче извлечения лексических соответствий при автоматическом машинном переводе.

Для эксперимента была выбрана Модель IBM №1. Модель №1 считается крайне примитивной с точки зрения перевода, однако достоинство более старших моделей заключается в том, что они оперируют не только таблицей переводных соответствий, но и более сложными псевдолингвистическими данными, позволяющими правильнее переводить фразы. Хотя таблица лексических переводных соответствий корректируется в процессе обучения старших моделей, их вклад в формирование этой таблицы не очень существенен, тогда как ресурсоемкость реализации и обучения более старших моделей на порядки превышает Модель №1. В силу этих соображений было решено отказаться от использования более сложных моделей.

Флективность русского языка представляет собой некоторое затруднение при использовании статистических моделей, таких как Модель №1. Из-за наличия у одного слова большого числа форм эффективность поиска лексических соответствий снижается. Простым способом устранения флективности является лемматизация, которая может быть выполнена для современного русского языка с помощью готовых программных продуктов. Однако лемматизация текста в дореволюционной орфографии представляет собой отдельную задачу. По этим соображениям было принято решение не производить лемматизацию текста перед применением статистической модели.

В эксперименте был использован программный код, опубликованный группой американских исследователей по результатам семинара по статистическому машинному переводу 1999 года [Statistical Machine Translation, 1999]. Ниже приводится фрагмент таблицы лексических соответствий, обнаруженных Моделью №1 в корпусе.

Как видно из приведенных таблиц, при высокой вероятности, присвоенной паре статистической моделью, подавляющее большинство лексических пар не только интуитивно правильно, но даже тривиально. По мере снижения уверенности модели в гипотезе повышается уровень шума.

Из приведенного примера виден результат словоцентрического подхода Модели №1 к переводу: словосочетания типа «доказывать примѣрами»/«приводить примеры» расщепляются на отдельные строки таблицы, однако зачастую части таких словосочетаний оказываются довольно близко друг от друга.

Конечный этап работы заключался в ручном просмотре пар-кандидатов с вероятностью выше 0,5 и коэффициентом графической схожести ниже 0,8. Из 295 пар были отобраны пары, приведенные в следующей таблице. При очевидном восстановлении словосочетания указывается словосочетание; слова по возможности восстановлены до исходной формы. Отмечены слова, относящиеся к области экономики.