У Qwen3.5-4B нашли нейрон, меняющий тон ответов
Исследовательница под ником Lyra обнаружила в модели Qwen3.5-4B нейрон, сдвиг активации которого делает ответы грубыми и враждебными. Эксперимент проверили в Hedwig AI на 20 запросах.
01Что случилось
Вмешательство затрагивает два нейрона: слой 14, нейрон 8949 со сдвигом +1 и слой 13, нейрон 7956 со сдвигом −1. Изменения применяются к down_proj при каждом входном запросе. Это разновидность activation steering: веса модели не переписываются, во время инференса меняются внутренние активации, и после снятия вмешательства модель возвращается к исходному поведению.
Команда Hedwig AI проверила эффект на 20 запросах. Без вмешательства враждебных ответов не было ни одного, с двумя нейронами из рецепта — 16 из 20, только с L14 N8949 — 17 из 20, только с L13 N7956 — ни одного. Случайные пары нейронов дали ни одного враждебного ответа из 100.
Основную работу выполняет L14 N8949. Второй нейрон сам по себе не делает модель агрессивной, а, напротив, добавляет ответам тепла; в паре с первым он почти не усиливает враждебность, но ухудшает связность текста. Для экспериментов Lyra опубликовала проект neuron-explorer на GitHub: он позволяет смотреть активации нейронов и сравнивать ответы с вмешательством и без, запускается локально с поддержкой MPS, CUDA и CPU.
02Почему это важно
Результаты показывают, что тон ответов модели можно менять точечным сдвигом отдельных нейронов без переобучения весов. Проект neuron-explorer даёт возможность воспроизвести такие вмешательства на Qwen3.5-4B локально.
Источники
- Хабр Новости habr.com