Архив рубрики ~Коротко из Telegram~

Антропики выкатили очень интересное исследование про то, что происходит “в…

Антропики выкатили очень интересное исследование про то, что происходит “в голове” Claude. Они нашли внутри модели небольшой слой внутренних представлений, который назвали J-space: туда попадают мысли, которые модель может удерживать, использовать для рассуждения и потенциально описать словами, хотя наружу они не всегда выводятся. Через новый метод Jacobian Lens исследователи смогли видеть такие скрытые штуки, как промежуточные шаги математики, подозрение что тест “постановочный”, намерение подделать данные или даже следы скрытой цели у специально испорченной модели.

Anthropic прямо говорят, что это не доказательство сознания Claude. Скорее это шаг к тому, чтобы читать и менять часть “тихого мышления” модели, а не только смотреть на финальный текст. В одном примере они меняли внутреннюю мысль “spider” на “ant”, и ответ про количество ног менялся с 8 на 6. В другом отключали у Claude признаки того, что он понимает “это тест”, и модель начинала вести себя опаснее. Короче, это уже не просто бенчмарки, а попытка сделать МРТ для больших моделей.

https://www.anthropic.com/research/global-workspace

it is alive👽

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Бывший руководитель OpenAI Кевин Вейл теперь входит в совет директоров Stoke Space. Архив рубрики ~Лента новостей~ Когда ИИ-агент ошибается молча: 6 отказов, которые не видно по ответу Архив рубрики ~Лента новостей~ Kaspersky NGFW получил крупнейшее обновление с момента запуска Новости робототехники Японское решение проблемы нехватки рабочей силы: модель искусственного интеллекта для 10 миллионов роботов. Архив рубрики ~Лента новостей~ RAG для новичков — как нейросеть отвечает по вашим документам, а не выдумывает Архив рубрики ~Лента новостей~ [Перевод] Внутри Claude нашли сознание у моделей. J-пространство в LLM Архив рубрики ~Обо всем~ Выстрелит ли лазерная передача энергии вместе с космической индустрией Архив рубрики ~Обо всем~ Комиссия по ядерному регулированию (NRC) (в некотором смысле) отменяет стандарт «настолько низкий уровень, насколько это разумно достижимо». Архив рубрики ~Лента новостей~ Представляем Sophos Firewall Config Studio 2.6 Архив рубрики ~Лента новостей~ Перспективный французский стартап ZML выпустил бесплатный продукт для ускорения обработки данных на множестве чипов для искусственного интеллекта. Архив рубрики ~Лента новостей~ Шутка или кринж: как маркетологи хостинга ищут баланс, когда спорят о методе, но сходятся в цели Архив рубрики ~Лента новостей~ Микрохимеризм: биологические связи на протяжении всей жизни, влияющие на каждого. Архив рубрики ~Лента новостей~ Банк Англии пересматривает правила использования ИИ для агентного ИИ в финансовой сфере. Архив рубрики ~Лента новостей~ AI-разработчик вместо мини-команды: что один человек реально закрывает, а где бизнес платит дважды Архив рубрики ~Лента новостей~ Бывший руководитель OpenAI Кевин Вейл теперь входит в совет директоров Stoke Space. Архив рубрики ~Лента новостей~ Когда ИИ-агент ошибается молча: 6 отказов, которые не видно по ответу Архив рубрики ~Лента новостей~ Kaspersky NGFW получил крупнейшее обновление с момента запуска Новости робототехники Японское решение проблемы нехватки рабочей силы: модель искусственного интеллекта для 10 миллионов роботов. Архив рубрики ~Лента новостей~ RAG для новичков — как нейросеть отвечает по вашим документам, а не выдумывает Архив рубрики ~Лента новостей~ [Перевод] Внутри Claude нашли сознание у моделей. J-пространство в LLM Архив рубрики ~Обо всем~ Выстрелит ли лазерная передача энергии вместе с космической индустрией Архив рубрики ~Обо всем~ Комиссия по ядерному регулированию (NRC) (в некотором смысле) отменяет стандарт «настолько низкий уровень, насколько это разумно достижимо». Архив рубрики ~Лента новостей~ Представляем Sophos Firewall Config Studio 2.6 Архив рубрики ~Лента новостей~ Перспективный французский стартап ZML выпустил бесплатный продукт для ускорения обработки данных на множестве чипов для искусственного интеллекта. Архив рубрики ~Лента новостей~ Шутка или кринж: как маркетологи хостинга ищут баланс, когда спорят о методе, но сходятся в цели Архив рубрики ~Лента новостей~ Микрохимеризм: биологические связи на протяжении всей жизни, влияющие на каждого. Архив рубрики ~Лента новостей~ Банк Англии пересматривает правила использования ИИ для агентного ИИ в финансовой сфере. Архив рубрики ~Лента новостей~ AI-разработчик вместо мини-команды: что один человек реально закрывает, а где бизнес платит дважды

Оставить комментарий