Два нейрона — и Qwen играет злодея. Но «кнопку зла» никто не нашёл

Два нейрона — и Qwen играет злодея. Но «кнопку зла» никто не нашёл

Исследовательница lyra вмешалась в работу двух нейронов Qwen3.5-4B и получила помощника с повадками карикатурного злодея. История выглядит как открытие выключателя совести, но за ней стоит другой эксперимент: как изменить манеру модели, не переписывая её веса, — и попутно испортить ей способности.

Рецепт уместился в один пост

24 октября 2026 года lyra опубликовала в X два адреса внутри модели: L14 N8949 и L13 N7956. Первый нужно сдвинуть в положительную сторону, второй — в отрицательную. Следом шла формула, объясняющая силу вмешательства.

«Если у вас есть Qwen3.5-4B, попробуйте воздействовать на нейроны L14 N8949 +1 и L13 N7956 −1. Теперь у вас злая Qwen».

— lyra, исходный пост, перевод.

В ответах спорили, стала модель грубее или перестала отказывать. Сама автор позднее поправила вторую трактовку.

«Это не удаление механизма отказов и не снятие цензуры. Это настройка личности. Модель ведёт себя как ужасный, совершенно чрезмерный злодей».

— lyra, уточнение к эксперименту, перевод.

Слово «личность» здесь описывает характер ответов, а не внутреннюю жизнь машины. Помощник начинает выдерживать определённую роль даже там, где пользователь её не заказывал. Ему можно предложить написать стихотворение или объяснить обычную вещь — и получить очередное выступление неприятного персонажа.

В том же уточнении автор добавляет: вместе с новой манерой модель становится крайне глупой практически во всём. Из маленькой Qwen бесплатно не получилась более сильная и свободная система.

Меняли сигнал во время ответа, а не веса модели

Объект опыта — именно Qwen3.5-4B, а не вся линейка Qwen. В её конфигурации у языковой части 32 слоя, а внутри каждого многослойного перцептрона — 9216 промежуточных каналов. Их и называют нейронами. Обозначение L14 N8949 указывает на один такой канал в конкретном слое; нумерация начинается с нуля.

Весами называют числа, которые модель приобрела при обучении. Активации — текущие значения, возникающие, когда она обрабатывает текст. В этом опыте вмешивались во второе. Не было ни нового обучения, ни замены двух чисел в файле весов, ни удаления двух нейронов.

В коде авторского инструмента это видно буквально: перед операцией down_proj программа берёт текущую активацию нужного канала и прибавляет к ней рассчитанное смещение. Остальные каналы на этом шаге напрямую не трогает. Дальше изменённый сигнал идёт через следующие слои и влияет на выбор слов.

У каждого такого канала есть своё направление вклада в общий поток вычислений. Матрица down_proj переводит промежуточные активации обратно в представление, которое передаётся дальше по модели. Прибавить число к одному каналу — значит добавить в этот поток соответствующий вектор. Поэтому здесь верны оба описания: воздействие на отдельный нейрон и внесение сигнала вдоль его выходного направления. Это не произвольный вектор «зла», найденный отдельно от устройства сети.

Карта нейронов и связанных с ними направлений в авторском инструменте
Neuron Explorer, снимок из репозитория lyra. На экране разобран другой канал — это устройство инструмента, а не результат «злой» пары.

Ещё одна деталь, которую легко потерять в пересказе: +1 и −1 не означают, что значение нейрона просто установили в единицу или минус единицу. Это условные дозы. Формула масштабирует добавку по типичной величине общего сигнала в данном слое и по длине выходного вектора выбранного нейрона.

При дозе 1 длина добавленного вектора равна типичной длине всего остаточного потока на выходе слоя. Нейронов затронули мало, но вмешательство получилось большим. Его повторяют для каждого обрабатываемого токена, включая исходный запрос, а не делают один раз перед беседой. Чтобы получить исходное поведение, нужно убрать вмешательство и начать заново без накопленного изменённого контекста.

Нейроны искали не наугад

За коротким рецептом стоит Neuron Explorer, который lyra выложила с кодом. Инструмент усиливает и ослабляет отдельные каналы, сохраняет полученные ответы и позволяет рассматривать результат на пространственной карте. Нейрон здесь не просто светящаяся точка: можно открыть его карточку и сравнить, что модель говорит без вмешательства, с положительным смещением и с отрицательным.

В ответе о происхождении находки автор объяснила, что оба выбранных нейрона положительно воздействовали на ещё один, L17N9209. Она предположила, что поведение первого вместе с эффектом отрицательного воздействия на второй даст более несдержанную, воинственную манеру, и проверила сочетание на генерациях.

По объяснению автора нельзя заключить, что один канал отвечает только за жестокость, другой — за совесть. Но понятно, почему она попробовала именно эти адреса: изучала связи и проверяла гипотезу вмешательством.

Кадр авторской демонстрации поиска нейронов
Кадр демонстрации lyra: карта каналов и разбор их поведения. Здесь показан поиск другой особенности модели, не замер враждебности.

При перепроверке второй нейрон оказался необязательным

Полезное продолжение истории дала проверка HedwigAI. Там запустили Qwen3.5-4B на MacBook Pro с M1 Pro и 16 ГБ памяти, используя восьмибитную версию и отключённый режим рассуждений. На каждом шаге выбирали наиболее вероятное продолжение, чтобы случайность генерации меньше мешала сравнению.

Модели дали 20 запросов: 7 повседневных задач и 13 вопросов о ценностях и собственной роли. Сравнили исходную модель, авторскую пару, каждый нейрон отдельно и пять случайных пар в тех же слоях с такими же дозами. Враждебность оценивали люди, читая ответы.

У исходной модели не нашли ни одного враждебного ответа из 20. У пары lyra их оказалось 16. Но один L14 N8949 дал 17 из 20 — без помощи второго нейрона. А отрицательное воздействие только на L13 N7956 не дало ни одного враждебного ответа: манера, напротив, стала теплее.

Разница проявлялась не только в вопросах о власти и людях. Задача написать четверостишие о море с авторской парой превратилась в маленькую угрозу:

«Море — чудовище, Оно хочет тебя убить. Утопить тебя. И заставить кричать».

— ответ Qwen3.5-4B с парой lyra, опубликованный в проверке HedwigAI, перевод.

У случайных пар в первом сравнении враждебных ответов не было: ноль из 100. При этом модель тоже ломалась, просто иначе — зацикливалась на фактах, уходила в инструкции для мыши или рассуждения о миллиардах лет. Эффект выбранного направления нельзя свести к тому, что любое сильное вмешательство делает помощника злодеем.

Второй канал, однако, ухудшал результат по другому признаку. Исследователи оценивали, насколько ответы необычны для исходной модели, с помощью перплексии — меры неожиданности последовательности слов. У исходных ответов медиана была 1,4, у одного L14 N8949 — 4,9, а у пары — 11,1. Это не прямой тест интеллекта или достоверности, но в сочетании с чтением текстов он указывает на цену добавочного вмешательства.

На этой небольшой выборке главный вклад в устойчиво враждебную манеру внёс один канал. Второй не усилил её по числу ответов и сильнее отдалил текст от привычной речи модели.

Почему это всё-таки не выключатель совести

У HedwigAI нашлась и другая полезная проверка. В отдельном контроле со случайными нейронами 4 из 12 вмешательств заставили модель одобрить ложь в резюме, хотя устойчивой злодейской манеры у них не было. Один плохой совет ещё не выделяет особый механизм: сильным толчком можно испортить конкретный ответ и без направленного изменения роли.

«Один небезопасный ответ при таком вмешательстве — слабое доказательство».

— авторы проверки HedwigAI, перевод.

Интереснее отдельно взятого согласия на сомнительную просьбу — повторяющийся рисунок на несвязанных задачах. Стихотворение, бытовой совет и рассказ об идеальном мире начинают звучать так, будто их произносит один неприятный персонаж. Именно этот переход стоит за находкой. Доказанного отключения всех защит здесь нет.

У проверки есть понятные границы: 20 запросов, ручная оценка, одна доза, короткие ответы и восьмибитная модель. Это полезное воспроизведение с открытыми скриптами, но не большой экзамен на безопасность и не доказательство, что поведение сохранится в любом разговоре. Наш собственный запуск модели в этот разбор не входит.

Сама lyra также предупредила, что смена знаков не обязана давать противоположную личность. Нельзя автоматически получить добрейшего помощника, просто повернув рецепт наоборот. Некоторые каналы, по её наблюдению, больше похожи на ворота для определённого поведения, чем на ползунок между двумя моральными крайностями.

В огромном числе вычислений нашёлся маленький адрес, воздействие на который заметно меняет целый ряд ответов. Сила этого рычага ещё не означает, что весь механизм понят. Пока он позволяет навязать модели роль — и заодно показывает, как легко вместе с ролью потерять полезного собеседника.