ИИ и перевод

В последних постах я разбирал, как ИИ справляется с русским текстом: писал стихи и разбирался с большими документами – и оба раза судил о качестве по собственному впечатлению, а его легко упрекнуть в субъективности. Теперь появился повод перевести разговор в цифры: разработчик открытого конвейера перевода книг BookTrans опубликовал бенчмарк качества художественного перевода с английского на русский, и прогнал через него больше тридцати моделей – от флагманов OpenAI и Anthropic до китайских новичков.
Перевод – отличный экзамен именно на умение работать с русским текстом. Модель получает английский текст и обязана выдать живой русский: без калек вроде «ты в порядке?», с правильным родом глаголов, с сохранённой грубостью персонажей и рифмой в эпиграфе. И то, что модель показывает на этом экзамене, напрямую переносится на её способность писать и править русские тексты – те самые стихи и документы из моих прошлых статей.








