Источник: VentureBeat, создано с помощью Midjourney
Хотите получать более ценную информацию? Подпишитесь на наши еженедельные рассылки, чтобы получать только то, что важно для руководителей в сфере корпоративного ИИ, данных и безопасности. Подпишитесь сейчас
В среду компания Anthropic запустила автоматизированные функции проверки безопасности для своей платформы Claude Code, представив инструменты, которые могут сканировать код на наличие уязвимостей и предлагать исправления, поскольку искусственный интеллект значительно ускоряет разработку программного обеспечения во всей отрасли.
Новые функции появляются в связи с тем, что компании всё чаще полагаются на ИИ для написания кода быстрее, чем когда-либо прежде. Это поднимает важные вопросы о том, смогут ли методы обеспечения безопасности идти в ногу со скоростью разработки с использованием ИИ. Решение Anthropic встраивает анализ безопасности непосредственно в рабочие процессы разработчиков с помощью простой команды в терминале и автоматизированных проверок на GitHub.
«Люди любят Claude Code, им нравится использовать модели для написания кода, и эти модели уже очень хороши и становятся всё лучше», — сказал Логан Грэм, член команды Anthropic Frontier Red, руководивший разработкой функций безопасности, в интервью VentureBeat. «Вполне возможно, что в ближайшие пару лет мы увеличим объём кода, написанного в мире, в 10, 100, 1000 раз. Единственный способ не отставать — использовать сами модели, чтобы понять, как сделать его безопасным».
Объявление было сделано всего через день после того, как Anthropic выпустила Claude Opus 4.1, обновлённую версию своей самой мощной модели искусственного интеллекта, которая демонстрирует значительные улучшения в задачах программирования. Этот момент подчёркивает растущую конкуренцию между компаниями, занимающимися разработкой ИИ: OpenAI, как ожидается, скоро анонсирует GPT-5, а Meta активно переманивает талантливых сотрудников, предлагая, по сообщениям, бонусы за подписание в размере 100 миллионов долларов.
Масштабирование ИИ достигает предела
Ограничения мощности, рост стоимости токенов и задержки в выводе данных меняют корпоративный ИИ. Присоединяйтесь к нашему эксклюзивному салону, чтобы узнать, как обстоят дела у лучших команд:
- Превращение энергии в стратегическое преимущество
- Разработка эффективного вывода для реального увеличения пропускной способности
- Обеспечение конкурентоспособной рентабельности инвестиций с помощью устойчивых систем ИИ
Забронируйте свое место, чтобы оставаться впереди : https://bit.ly/4mwGngO
Почему генерация кода ИИ создает серьезную проблему безопасности
Инструменты безопасности решают растущую проблему в индустрии программного обеспечения: по мере того, как модели ИИ становятся всё более эффективными в написании кода, объём создаваемого кода стремительно растёт, но традиционные процессы проверки безопасности не масштабируются соответствующим образом. В настоящее время проверки безопасности основаны на инженерах-людях, которые вручную проверяют код на наличие уязвимостей, — процесс, который не успевает за результатами, генерируемыми ИИ.
Подход Anthropic использует ИИ для решения проблемы, созданной ИИ. Компания разработала два взаимодополняющих инструмента, которые используют возможности Claude для автоматического выявления распространённых уязвимостей, включая риски SQL-инъекций, уязвимости межсайтового скриптинга, недостатки аутентификации и небезопасную обработку данных.
Первый инструмент — это команда /security-review, которую разработчики могут запустить со своего терминала для сканирования кода перед его публикацией. «Это буквально 10 нажатий клавиш, и агент Claude запустит проверку вашего кода или вашего репозитория», — пояснил Грэм. Система анализирует код и выдаёт высоконадёжные оценки уязвимостей вместе с предлагаемыми исправлениями.
Второй компонент — это действие GitHub, которое автоматически запускает проверки безопасности при отправке пул-реквестов разработчиками. Система публикует встроенные комментарии к коду с рекомендациями и проблемами безопасности, гарантируя, что каждое изменение кода получит базовую проверку безопасности перед выпуском в эксплуатацию.
Как Anthropic протестировала сканер безопасности на собственном уязвимом коде
Компания Anthropic проводит внутреннее тестирование этих инструментов на собственной кодовой базе, включая сам Claude Code, что подтверждает их эффективность в реальных условиях. Компания поделилась конкретными примерами уязвимостей, обнаруженных системой до их внедрения в эксплуатацию.
В одном случае инженеры создали функцию для внутреннего инструмента, которая запускала локальный HTTP-сервер, предназначенный только для локальных подключений. В ходе GitHub Action была выявлена уязвимость удалённого выполнения кода, эксплуатируемая посредством атак с перепривязкой DNS. Эта уязвимость была устранена до слияния кода.
Другой пример касался прокси-системы, предназначенной для безопасного управления внутренними учётными данными. Автоматизированная проверка выявила уязвимость прокси-сервера к атакам SSRF (Server-Side Request Forgery), что потребовало немедленного устранения проблемы.
«Мы использовали его, и он уже находил уязвимости и недоработки и предлагал способы их устранения ещё до того, как они попали в производство», — сказал Грэм. «Мы подумали: эй, это настолько полезно, что решили выложить его в открытый доступ».
Небольшие команды разработчиков получают бесплатные инструменты безопасности корпоративного уровня
Помимо решения проблем масштабирования, с которыми сталкиваются крупные предприятия, эти инструменты могут упростить сложные методы обеспечения безопасности для небольших групп разработчиков, не имеющих выделенного персонала по безопасности.
«Одна из вещей, которая меня больше всего воодушевляет, заключается в том, что это означает, что проверку безопасности можно легко демократизировать даже для самых маленьких команд, и эти небольшие команды смогут продвигать большой объем кода, которому они будут доверять все больше и больше», — сказал Грэм.
Система разработана с учётом мгновенного доступа. По словам Грэма, разработчики могут начать использовать функцию проверки безопасности уже через несколько секунд после выпуска, для запуска потребуется всего около 15 нажатий клавиш. Инструменты легко интегрируются с существующими рабочими процессами, обрабатывая код локально через тот же API Claude, который поддерживает другие функции Claude Code.
Внутри архитектуры ИИ, которая сканирует миллионы строк кода
Система проверки безопасности работает, вызывая Claude через «агентный цикл», который систематически анализирует код. По данным Anthropic, Claude Code использует вызовы инструментов для исследования больших кодовых баз, начиная с анализа изменений, внесённых в запрос на извлечение, а затем проактивно исследуя более широкую кодовую базу для понимания контекста, инвариантов безопасности и потенциальных рисков.
Корпоративные клиенты могут настраивать правила безопасности в соответствии со своими политиками. Система построена на расширяемой архитектуре Claude Code, что позволяет командам изменять существующие запросы безопасности или создавать совершенно новые команды сканирования с помощью простых разметочных документов.
«Вы можете взглянуть на слэш-команды, потому что зачастую они запускаются через очень простой документ Claude.md», — пояснил Грэм. «Также очень просто написать свои собственные».
Война талантов стоимостью 100 миллионов долларов меняет подход к разработке систем безопасности ИИ
Объявление о безопасности появилось на фоне широкого обсуждения в отрасли вопросов безопасности и ответственного внедрения ИИ. Недавнее исследование Anthropic изучило методы предотвращения развития вредоносного поведения у моделей ИИ, включая спорный подход «вакцинации», при котором модели подвергаются воздействию нежелательных черт во время обучения для повышения устойчивости.
Выбор времени также отражает острую конкуренцию в сфере искусственного интеллекта. Во вторник компания Anthropic выпустила Claude Opus 4.1, заявив о значительном улучшении производительности в задачах разработки программного обеспечения — набрав 74,5% в тесте SWE-Bench Verified по сравнению с 72,5% у предыдущей модели Claude Opus 4.
Тем временем Meta активно набирает специалистов в области ИИ, предлагая огромные бонусы при подписании контракта, хотя генеральный директор Anthropic Дарио Амодеи недавно заявил, что многие его сотрудники отказались от этих предложений. Компания поддерживает 80%-ный уровень удержания сотрудников, нанятых за последние два года, по сравнению с 67% в OpenAI и 64% в Meta.
Государственные учреждения теперь могут приобрести Claude, поскольку внедрение искусственного интеллекта в корпоративном секторе ускоряется
Функции безопасности являются частью более широкого продвижения Anthropic на корпоративные рынки. За последний месяц компания выпустила несколько корпоративных функций для Claude Code, включая аналитические панели для администраторов, встроенную поддержку Windows и поддержку нескольких каталогов.
Правительство США также одобрило корпоративную квалификацию Anthropic, добавив компанию в список одобренных поставщиков Управления общих служб наряду с OpenAI и Google, что сделало Claude доступным для закупок федеральными агентствами.
Грэм подчеркнул, что инструменты безопасности призваны дополнять, а не заменять существующие методы обеспечения безопасности. «Нет единого решения, которое решит проблему. Это всего лишь один дополнительный инструмент», — сказал он. Однако он выразил уверенность, что инструменты безопасности на базе ИИ будут играть всё более важную роль по мере ускорения генерации кода.
Гонка за безопасность программного обеспечения, созданного искусственным интеллектом, прежде чем оно сломает Интернет
В то время как ИИ беспрецедентными темпами меняет разработку программного обеспечения, инициатива Anthropic в области безопасности представляет собой важное признание того, что та же технология, которая обеспечивает взрывной рост генерации кода, должна использоваться и для обеспечения его безопасности. Команда Грэма, называемая «красной командой фронтира», сосредоточена на выявлении потенциальных рисков, связанных с передовыми возможностями ИИ, и создании соответствующих мер защиты.
«Мы всегда были крайне заинтересованы в оценке возможностей моделей в области кибербезопасности, и я считаю, что пришло время расширить возможности защиты в мире», — сказал Грэм. Компания особенно поощряет компании, занимающиеся кибербезопасностью, и независимых исследователей экспериментировать с креативным применением этой технологии, преследуя амбициозную цель — использовать ИИ для «анализа и превентивного исправления или повышения безопасности всего важнейшего программного обеспечения, обеспечивающего работу инфраструктуры в мире».
Функции безопасности доступны всем пользователям Claude Code немедленно, а GitHub Action требует однократной настройки командами разработчиков. Но перед отраслью стоит более важный вопрос: смогут ли средства защиты на базе ИИ масштабироваться достаточно быстро, чтобы соответствовать экспоненциальному росту числа уязвимостей, создаваемых ИИ?
По крайней мере, на данный момент машины спешат исправить то, что другие машины могут сломать.
Источник: venturebeat.com
