Nvidia представила инструмент с открытым исходным кодом для мониторинга ИИ-агентов

Компания Nvidia выпустила новый инструмент с открытым исходным кодом, предназначенный для мониторинга и тестирования ИИ-агентов перед их запуском. Этот шаг предпринят на фоне серии серьезных кибер-инцидентов, связанных с ИИ-агентами, которые привели к приостановке разработки подобных решений в компании OpenAI.

Запуск инструмента является частью новой концепции безопасности, продвигаемой генеральным директором Nvidia Дженсеном Хуангом. Он призван использовать текущую ситуацию в отрасли, где вопросы безопасности искусственного интеллекта и контроля за поведением ИИ-агентов приобретают все большую актуальность. Новый инструмент позволит разработчикам заблаговременно проверять и валидировать работу ИИ-агентов, тем самым снижая риски неконтролируемого или нежелательного поведения.