Reply to thread

Message: <blockquote data-quote="Plotu" data-source="post: 447" data-attributes="member: 5">Google объявила о расширении своей программы вознаграждения за уязвимости (VRP), чтобы вознаградить исследователей за поиск сценариев атак, адаптированных к системам с генеративным искусственным интеллектом (ИИ), в попытке повысить безопасность ИИ."Генеративный ИИ поднимает новые проблемы, отличные от традиционной цифровой безопасности, такие как возможность несправедливой предвзятости, манипулирования моделями или неправильного толкования данных (галлюцинации)", - заявили представители Google Лори Ричардсон и Роял Хансен.Некоторые из категорий, которые находятся в сфере действия, включают внедрение подсказок, утечку конфиденциальных данных из обучающих наборов данных, манипулирование моделью, враждебные атаки с возмущением, которые приводят к неправильной классификации, и кражу модели.Стоит отметить, что Google ранее в июле этого года учредила команду AI Red для оказания помощи в устранении угроз системам искусственного интеллекта в рамках своей платформы безопасного искусственного интеллекта (SAIF).Также в рамках своей приверженности обеспечению безопасности ИИ объявлены усилия по укреплению цепочки поставок ИИ с помощью существующих инициатив по обеспечению безопасности с открытым исходным кодом, таких как Уровни цепочки поставок для программных артефактов (SLSA) и Sigstore.<img src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg2Vwp-vsNIe0a-UKv_0y-uByLG9X4k25T12nG4Nuz2Y5BWgZqPF0ijb9Apxdw4XlZEfm7lnQVnvroDe5zuwQDn_QmfGXf-GBo3PNky4zmT81iP8CJ-qB3k5bnZotN1G25buLwpOhqKiL3HFFt8lCtgpu-GK8k7i_jeCKlqU9KYO2HqdYzwRfK0Ma3IdN3u/s728-rw-ft-e30/execute.jpg" alt="Угрозы искусственного интеллекта" class="fr-fic fr-dii fr-draggable " style="" />"Цифровые подписи, такие как из Sigstore, которые позволяют пользователям убедиться, что программное обеспечение не было подделано или заменено", - <a href="https://security.googleblog.com/2023/10/increasing-transparency-in-ai-security.html" target="_blank">сказали</a> в Google."Метаданные, такие как происхождение SLSA, которые сообщают нам, что содержится в программном обеспечении и как оно было создано, позволяя потребителям обеспечивать совместимость лицензий, выявлять известные уязвимости и обнаруживать более сложные угрозы".Разработка происходит после того, как OpenAI представила новую внутреннюю команду по обеспечению готовности для "отслеживания, оценки, прогнозирования и защиты" от катастрофических рисков для генеративного ИИ, охватывающих кибербезопасность, химические, биологические, радиологические и ядерные угрозы (CBRN).Две компании, наряду с Anthropic и Microsoft, также объявили о создании Фонда безопасности искусственного интеллекта в размере 10 миллионов долларов, направленного на продвижение исследований в области безопасности искусственного интеллекта.</blockquote>

Name

Verification