Yarrow AI учит языкам и в своей основе это не LLM, а логическая машина. Такие системы эффективны, но их очень сложно наполнить данными: приходится каждое знание/правило вносить в базу данных вручную. Это было одной из причиной их вымирания 30 лет назад. Мне удалось решить эту проблему попутно убив одним выстрелом еще пару зайцев.
Изначально я сгенерировал курс английского языка с помощью GPT, он содержал море галлюцинаций. Были наняты профессиональные переводчики для выверки, но они пропускали много ошибок и быстро отваливались: «Это работа не для естественного интеллекта». И вот, редакторами стали сами пользователи приложения: я объединил их в большую команду с помощью ядра Yarrow AI, а вместо зарплаты они получают возможность учиться бесплатно.
Система отслеживает целостность своей базы знаний (смыслы — слова — формы) и при необходимости просит пользователей выполнять несколько видов простых заданий:
Чтобы снизить количество ошибок (в том числе намеренных) каждое задание выполняется несколькими пользователями, их результаты сравниваются и по итогу пересчитываются рейтинги пользователей. Иногда попадаются очень спорные задания, для этих случаев были добавлены обсуждения (анонимные):
Готовы ли пользователи в этом участвовать? Оказалось, что да, примерно 75% предпочли редактировать курсы, а не платить. За первый месяц 300 человек выполнили более 15000 заданий, до этого момента мне такая продуктивность даже не снилась. Вредители конечно тоже нашлись, но это были единичные случаи, и рейтинговая система их быстро заблокировала.
Многие редактируют курс английского языка просто чтобы дополнительно попрактиковаться в нем, т.к. приходится разбирать большое количество нюансов и есть возможность получить обратную связь на свои корректировки.
Примерно половина моих редакторов работает над курсом русского языка. Они добавляют слова, для каждого слова вносят все его возможные формы (падежи, склонения, времена и т.д.), для каждой формы добавляют несколько предложений, для каждого предложения записывают несколько аудио. Как вы видите, всего одно русское слово порождает сотни отдельных заданий, а для хорошего курса требуются тысячи слов.
В мире нет людей, которые смогли бы эффективно заниматься этим полный рабочий день. LLM здесь также не справляются: процент ошибок для русского языка катастрофический, а полученный контент «слишком пресный». Пока что краудсорсинг выглядит как единственное работающее решение.
Источник: habr.com
