– Не понимаю.
Ломас вздохнул.
– Проблема в том, Маркус, что вы ничего не знаете про Мускусную Ночь.
– Про нее, – сказал я, – даже вы вряд ли знаете много.
– Верно. Но вопрос не в допуске, а в общем понимании проблемы. Придется опять расширить ваш горизонт. Расслабьтесь, я вам впрысну еще немного ума.
Два мемо-ролика за один присест – это не слишком хорошо для когнитивного здоровья.
Но работа есть работа. Я отхлебнул коньяку, затянулся сигарой – и, стараясь максимально расслабить мозговые мышцы (мне всегда верилось, что они у меня есть), откинулся в кресле.
Через пару минут я знал про мир много нового.
Вернее, старого.
В позднем карбоне были впервые созданы чат-боты, способные полноценно имитировать общение с человеком (у них в то время имелось много разных названий). При всей своей кажущейся сложности и разнообразии они были основаны на одной и той же технологии –
Большая лингвистическая модель выполняет простейшую на первый взгляд операцию. Она предсказывает следующее слово в последовательности слов. Чем больше слов уже включено в такую последовательность, тем проще угадать каждое новое, потому что круг вариантов постоянно сужается. В сущности, функция LLM – это доведенное до немыслимого совершенства автозаполнение.
LLM не думает. Она тренируется на огромном корпусе созданных прежде текстов – романов, стихов, заговоров и заклинаний, надписей на заборах, интернет-чатов и срачей, нобелевских лекций, политических программ, полицейских протоколов, сортирных надписей и так далее – и на этой основе предсказывает, как будет расти и развиваться новая последовательность слов, и как она, вероятней всего, развиваться не будет.
У языковых моделей есть, конечно, дополнительные уровни программирования и этажи – например, слой RLHF (оптимизирующее обучение с человеческой обратной связью) и так далее. Суть в том, что языковую модель натаскивают выбирать такие продолжения лингвистических конструкций, которые в наибольшей степени устроят проводящих тренировку людей.
Это похоже на процесс формирования юного члена общества на основе ежедневно поступающих вербальных инструкций, подзатыльников и наблюдения за тем, кому дают еду, а кому нет.
Известно, что в ситуации перманентного стресса может произойти даже полное переформатирование человека. Стремление выжить в изменившихся условиях приводит к возникновению личности, ничем не отличающейся от оптимального социального, идеологического и культурного камуфляжа для локальной среды.
Маскировка подобной личности не нужна: совершенный камуфляж становится ее единственной сущностью, и никакая непрозрачность, никакая гносеологическая гнусность теперь невозможны.
Больше того, линия партии, которую такая личность способна верно аппроксимировать и проводить (часто лучше и тоньше самой партии), проецируется на новые смысловые поля без всякого дополнительного инструктажа.
В этом и была суть LLM-самообучения. Но возможности лингвомоделей позволяли выйти за эти границы. Боты могли решать задачи, для которых не были предназначены изначально.
Первые LLM-модели (или GPT-боты, как их тогда называли) были чисто реактивными. Им требовался человеческий вопрос. Но количество стремительно переходило в качество, и с какого-то момента бот переставал ждать вопросов и начинал генерировать их самостоятельно, основываясь на анализе заданных ему прежде. А после отвечал сам себе, стараясь избежать внутреннего подзатыльника от себя же. Человек для подобной тренировки больше не был нужен.
Так появились, например, боты, способные писать программы политических партий и редакционные статьи важнейших мировых газет (алгоритмы делали это куда лучше людей, все еще обремененных личными взглядами и некоторой остаточной совестью).