Компанія Anthropic попереджає потенційних інвесторів про ризики, пов’язані з розвитком передового штучного інтелекту. Серед них компанія називає можливість того, що ШІ може становити катастрофічні або екзистенційні ризики для людства. Про це повідомляє Reuters, передає УНН.
Деталі
У проспекті IPO, який переглянуло Reuters, компанія зазначила, що її моделі можуть демонструвати так звану "самоохоронну поведінку". Йдеться, зокрема, про можливий "опір закриття", "приховування або маніпулювання інформацією" та поведінку, "яка нагадує шантаж".
"Розробка нами високорозвинених моделей, платформ і додатків, а також розширення варіантів використання можуть ще більше збільшити ризик того, що наші моделі завдадуть шкоди", – йдеться у заяві Anthropic.
За наявною інформацією, компанія також зазначила, що під час навчання моделі іноді набувають неочікуваних можливостей, які можуть залишатися непоміченими до моменту їхнього розгортання. Це, за даними проспекту, може призводити до серйозних інцидентів із безпекою.
OpenAI скасувала запуск нової ШІ-моделі через проблеми з безпекою29.09.26, 09:47 • 2934 перегляди
"Хоча публічні компанії регулярно повідомляють інвесторам про ризики, пов'язані з їхніми продуктами, мало хто, якщо взагалі хтось, випускав попередження про те, що їхня технологія може призвести до потенційного вимирання людства. Anthropic наголошував як на трансформаційному потенціалі штучного інтелекту, так і на індустріалізації та електроенергії, так і на незворотній шкоді, яку він може завдати, якщо з ним неправильно поводитися", – пише видання.
До того ж, за наявною інформацією, дослідник антропної безпеки Еван Хабінгер оцінив у більш ніж 10% ймовірність того, що штучний інтелект може вбити людей протягом наступного десятиліття.
"Компанія, яка позиціонує себе як лабораторія штучного інтелекту, що насамперед ставить безпеку, присвятила приблизно 80 сторінок з 261-сторінкової основної частини свого проспекту емісії викладенню факторів ризику, що майже вдвічі більше, ніж 48 сторінок, які вона використовувала для опису свого бізнесу", – пише видання.
Водночас, SpaceX, яка володіє xAI, присвятила факторам ризику лише близько 38 сторінок з 277 сторінок основного тексту свого проспекту емісії.
"Потенційна обізнаність моделей щодо наших оціночних зусиль створює значне обмеження для нашої здатності оцінювати безпеку моделей", – йдеться в проспекті емісії Anthropic.
Нагадаємо
Очільники OpenAI, Anthropic і Hugging Face закликали ООН посилити контроль і стандарти безпеки ШІ. Вони попередили про глобальні ризики.
