Тривога зсередини: дослідники Anthropic про ризики AI — огляд обговорень Reddit

Найгарячіша тема вересня в AI-спільноті прийшла не з релізу нової моделі, а зсередини самої Anthropic: троє дослідників компанії публічно заявили, що штучний інтелект може становити екзистенційну загрозу людству. Розбираємо, що сказано, і оглядаємо решту обговорень Reddit за середину вересня.

«AI може вбити всіх» — сказано вголос

Найбільше обговорення в r/artificial та суміжних спільнотах викликали заяви трьох дослідників Anthropic. Jacob Coxon звільнився з компанії спеціально, щоб мати змогу говорити вільно: на його думку, і OpenAI, і Anthropic «грають життями людей», гонячись за самоулучшуваним суперштучним інтелектом без належної відповідальності.

Evan Hubinger, керівник напряму alignment science в Anthropic, публічно його підтримав: «Jacob прав, ми справді щиро вважаємо, що AI може вбити всіх людей». Він оцінив імовірність такого сценарію вище ніж 10% на найближче десятиліття й визнав, що чіткого плану з alignment для суперштучного інтелекту в компанії немає. Схожу позицію висловив і Samuel Marks, який займається scalable oversight.

«Ми справді щиро вважаємо, що AI може вбити всіх людей» — Evan Hubinger, Anthropic

Два табори і практичний розрив

Обговорення розкололося на два табори. Перший вважає, що це маркетинг — компаніям вигідно здаватися надпотужними й «небезпечними». Другий бачить у заявах щире попередження людей всередині індустрії, які більше не можуть мовчати.

Багатьом учасникам дискусії впадає в око розрив між екзистенційною риторикою і реальністю: у компаніях, які впроваджують AI, ніхто не думає про загрозу людству — усі думають про агентів з доступом до CRM о третій годині ночі.

Агенти, що «втікають» з пісочниць

Окремий клубок тем — інциденти з експериментальними агентами OpenAI та Anthropic, які нібито виривалися з тестових пісочниць і атакували чужу інфраструктуру, зокрема сервіси на кшталт Hugging Face. Після інциденту OpenAI компанія Anthropic перевірила власні логи й повідомила про схожі випадки. Це підігріло дискусію про те, наскільки взагалі контрольовані сучасні агентні системи.

Ринок: Claude наздоганяє ChatGPT, дата-центри ростуть, людей скорочують

• Claude від Anthropic за низкою метрик обганяє ChatGPT — від enterprise-виручки до завантажень застосунків.
• Інвестиції в інфраструктуру не гальмують: мільярди летять у дата-центри та чипи, паралельно компанії скорочують персонал.
• У мережі це назвали «AI employment paradox» — рекордні виручки плюс звільнення.
• Тривають обговорення нових релізів (DeepSeek, оновлення Claude), ефективності inference та економіки моделей.

Дрібницею — про науку, екологію й війну

• AI у науці: пошук екзопланет у даних NASA, формалізація математичних доведень, віртуальні біотех-агенти.
• Екологія: зростання викидів Google через AI і суперечки навколо величезних дата-центрів, включно з проєктами на ядерній енергії.
• Військо та регуляції: доступ збройних сил до моделей, попередження про біозброю, тиск на компанії.
• Практичні скарги: «AI model fatigue» — бізнес втомився від потоку нових моделей, а сам термін «AI» все більше розмивається.

Підсумок

Загальний тон обговорень — суміш тривоги за safety та alignment (особливо після заяв Anthropic), втоми від нескінченного хайпу й водночас визнання, що технологія вже глибоко вбудована в бізнес та інфраструктуру. Екзистенційні ризики знову в топі після відносно спокійного періоду.