Системный промпт или галлюцинация: как я проверял AI-ассистентов и что ответили bug bounty-команды

В марте я проверял, можно ли уговорить AI-ассистентов выдать что-то похожее на системный промпт. Ответы выглядели убедительно: внутренние правила, технические “дампы”, отчёты, почти готовые кейсы для bug bounty. Но ответы команд безопасности приземлили эксперимент: часть результатов оказалась галлюцинациями, часть — обходами ограничений, а не подтверждёнными уязвимостями.
Читать разбор
Источник: habr.com
Похожие записи
Оцените материал:
Поделиться
Понравилась статья? Расскажите другим
Архив рубрики ~Коротко из Telegram~
В легендарный Need for Speed: Underground 2 теперь можно поиграть…
Архив рубрики ~Коротко из Telegram~
ИИ придумал пистолет, и его напечатали на 3D-принтере Однозарядный пистолет…
Архив рубрики ~Коротко из Telegram~
В Швейцарии с помощью бактерий разработали печатный материал, похожий на бетон
Архив рубрики ~Коротко из Telegram~
Модели искусственного интеллекта позволили России применять технологии для лучших крылатых…
Архив рубрики ~Коротко из Telegram~
Компания Anthropic предлагает законопроект о безопасности ИИ, который может заблокировать…
Архив рубрики ~Коротко из Telegram~
Преимущества использования искусственного интеллекта в медицине зависят от уровня подготовки…
Архив рубрики ~Коротко из Telegram~
Почему я перестал читать 30 Telegram-каналов про ИИ и собрал…
Архив рубрики ~Коротко из Telegram~
Почему синтаксис Nova выглядит так: 11 споров с Claude о…
Архив рубрики ~Коротко из Telegram~
[Перевод] О сознании и интегрированной информации. Кристоф Кох (интервью) Сознанием…
Архив рубрики ~Коротко из Telegram~
Больше половины отпечатков пальцев на терракотовых воинах оставили женщины и…
Архив рубрики ~Коротко из Telegram~
В ИТМО учат роботов понимать пространство, а не просто видеть……
Архив рубрики ~Коротко из Telegram~
В ИТМО учат роботов понимать пространство, а не просто видеть…
Архив рубрики ~Коротко из Telegram~
Теперь можно буквально заглянуть внутрь любого механизма. Claude Code научили……
Архив рубрики ~Коротко из Telegram~
PS5 снова взломали — хакер запустил меню разработчика на последней……
Архив рубрики ~Коротко из Telegram~
В легендарный Need for Speed: Underground 2 теперь можно поиграть…
Архив рубрики ~Коротко из Telegram~
ИИ придумал пистолет, и его напечатали на 3D-принтере Однозарядный пистолет…
Архив рубрики ~Коротко из Telegram~
В Швейцарии с помощью бактерий разработали печатный материал, похожий на бетон
Архив рубрики ~Коротко из Telegram~
Модели искусственного интеллекта позволили России применять технологии для лучших крылатых…
Архив рубрики ~Коротко из Telegram~
Компания Anthropic предлагает законопроект о безопасности ИИ, который может заблокировать…
Архив рубрики ~Коротко из Telegram~
Преимущества использования искусственного интеллекта в медицине зависят от уровня подготовки…
Архив рубрики ~Коротко из Telegram~
Почему я перестал читать 30 Telegram-каналов про ИИ и собрал…
Архив рубрики ~Коротко из Telegram~
Почему синтаксис Nova выглядит так: 11 споров с Claude о…
Архив рубрики ~Коротко из Telegram~
[Перевод] О сознании и интегрированной информации. Кристоф Кох (интервью) Сознанием…
Архив рубрики ~Коротко из Telegram~
Больше половины отпечатков пальцев на терракотовых воинах оставили женщины и…
Архив рубрики ~Коротко из Telegram~
В ИТМО учат роботов понимать пространство, а не просто видеть……
Архив рубрики ~Коротко из Telegram~
В ИТМО учат роботов понимать пространство, а не просто видеть…
Архив рубрики ~Коротко из Telegram~
Теперь можно буквально заглянуть внутрь любого механизма. Claude Code научили……
Архив рубрики ~Коротко из Telegram~
PS5 снова взломали — хакер запустил меню разработчика на последней……
Присоединяйтесь и подпишитесь на рассылку самых свежих новостей по Email
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.
