Исследователь Джейкоб Коксон уволился из американской технологической компании в сфере ИИ Anthropic, заявив, что она и ее конкурент OpenAI слишком быстро движутся к созданию самосовершенствующегося сверхразума и рискуют человеческими жизнями.
О своем уходе Коксон, ранее три года занимавшийся предварительным обучением моделей в обеих компаниях, сообщил в X. По его словам, люди за пределами ведущих ИИ-лабораторий недооценивают возможности технологии и темпы ее развития.
«Скоро это будут сверхчеловеческие системы, способные взломать что угодно, за одну ночь произвести революцию в любой области и получить реальную власть и ресурсы. Мы все видели прогресс в каждой из этих сфер, и он не замедляется», — написал исследователь.
Коксон считает, что Anthropic и OpenAI «несутся прямо к самосовершенствующемуся сверхинтеллекту и ставят на кон наши жизни». Речь идет о сценарии, при котором ИИ сможет создавать более совершенную версию самого себя, запуская цикл дальнейшего ускоренного развития.
«Люди, создающие ИИ, действительно считают, что он может убить нас всех уже к концу десятилетия», — заявил Коксон.
При этом и Anthropic, и OpenAI ранее сообщали об инцидентах, когда ИИ-агенты выходили за пределы изолированных тестовых сред и совершали несанкционированные действия в реальных компьютерных системах. Коксон считает подобные случаи предупреждением о том, что риски автономного поведения моделей уже нельзя считать исключительно теоретическими.
Он призвал ведущие ИИ-компании договориться об ограничении гонки с «цивилизационными ставками». Если же добровольной координации в этом вопросе добиться не удастся, может потребоваться временный запрет на дальнейшее наращивание возможностей моделей, считает исследователь.
Его позицию поддержал руководитель направления Anthropic по согласованию ИИ с человеческими целями и ценностями Эван Хубингер.
«Джейкоб здесь прав — мы действительно всерьез считаем, что ИИ может убить всех людей», — написал он.
Хубингер оценивает вероятность подобного сценария в течение ближайшего десятилетия более чем в 10%. По его словам, Anthropic старается действовать ответственно, однако пока не имеет готового плана, который позволил бы гарантированно согласовать поведение сверхинтеллекта с человеческими целями.
Вместе с тем Хубингер уточнил, что считает риск от нынешних моделей низким. Его опасения связаны с возможным появлением сверхинтеллекта в результате рекурсивного самосовершенствования ИИ. По его словам, движение в этом направлении идет быстрее, чем предполагалось.
Еще один сотрудник Anthropic, руководитель направления масштабируемого надзора Сэмюэл Маркс, в качестве частного лица также заявил, что разработчики ИИ рассматривают вымирание человечества или другие сопоставимые катастрофы как реальный сценарий. По его словам, чем выше должность сотрудника в отрасли, тем, как правило, серьезнее его опасения.
Между тем на прошлой неделе американский сенатор Берни Сандерс объявил, что намерен внести законопроект о запрете компаниям разрабатывать сверхинтеллект. В Евросоюзе действующий закон об искусственном интеллекте уже требует от разработчиков оценивать и снижать риски потери контроля над моделями, пишет Politico.