Роман Ямпольский: ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ УЖЕ ВСЕ ПОНИМАЕТ

Passwor- единственный менеджер паролей, сертифицированный в Стек России.

Правда ли, что искусственный интеллект уже имеет сознание и эмоции? Зачем и

притворяется, что он глупее? Почему

новую нейросеть скрывали несколько месяцев? Зачем GPT соврал незнакомцу,

месяцев? Зачем GPT соврал незнакомцу, что он незрячий? Заменить ли в будущем деньги на токены? И можно ли контролировать то, что умнее тебя?

И ставьте лайк, если видео вам зашло.

Это сигнал алгоритмам, что наши ролики нужно распространять шире. Особенно

важно сейчас. Я ценю каждого, кто помогает. За подписки, колокольчики и

помогает. За подписки, колокольчики и комменты. Отдельный респект. Привет, это

комменты. Отдельный респект. Привет, это

проект Основа. Меня зовут Борис Видинский. Сегодня у нас в гостях Роман

Видинский. Сегодня у нас в гостях Роман Япольский, профессор университета Луис Виля, исследователь искусственного интеллекта. Сегодня поговорим про наше

интеллекта. Сегодня поговорим про наше будущее и про искусственный интеллект.

Добрый день.

Добрый. Я нашёл в интернете очень интересный график, на котором видно увеличение количества параметров, на которых работают технологии искусственного интеллекта за последние

50 лет. С 1.000 штук в пятидесятых годах

50 лет. С 1.000 штук в пятидесятых годах до 1 триллина уже сейчас. И вот что интересно. Многие люди, которые

интересно. Многие люди, которые занимаются и говорят, что а искусственный интеллект получает какие-то новые свойства просто от увеличения масштабов, то мы загружаем

больше параметров, и он вдруг начинает уметь что-то новое. Можете рассказать об этом? Какие есть примеры таких прорывов

этом? Какие есть примеры таких прорывов и что он будет уметь, когда мы увеличим количество этих параметров ещё в 10 100 раз?

Всё правильно. Причём мы начинали даже не с тысячи, а с одного изначально просто вот на бумаге учёные там рисовали клетку и сигнал к ней. А мы видим в

животном мире абсолютно ту же систему.

Чем больше мозг у организма, там от каких-то букашек до пелок, до обезьян, до человека, тем больше количество нейронов в их мозгах, тем больше они

способны делать.

модель пытается сделать статистическую модель мира. Искусственный интеллект

модель мира. Искусственный интеллект пытается это сделать. И чем больше параметров, тем лучше можно объяснить, как работает эта модель, что необходимо

для предсказания будущего в этой модели следующего токена. То есть это законы

следующего токена. То есть это законы физики, нужны статистические какие-то разработки. То есть

разработки. То есть именно так. И мы знаем на примерно каком

именно так. И мы знаем на примерно каком уровне работает мозг человека, сколько параметров, сколько это можно посмотреть 102, по-моему, надо посмотреть точно RERS while у него

прекрасные графики этого всего и он именно посчитал, сколько один мозг, сколько мозг всех людей вместе взятых и в каком году у нас на тысячедолларовом лаптапе можно будет это всё

симулировать.

А аналогом параметров в человеческом мозге имеется в виду связь между нейронами. То есть у нас есть сколько

нейронами. То есть у нас есть сколько там 100 млрд нейронов, если я правильно помню, и у каждого ещё по хрен знает сколько тысяч связей. Вот это

количество этих клеток и связь между ними да.

Так вот, что же, что же будет уметь нейросеть, в которой будет не знаю, 100 триллинв нейронов, в 100 раз больше, чем сейчас?

Ну, она будет делать то, что мы можем, только лучше, в большем масштабе, то есть более, скажем, если мы делаем какие-то математические доказательства, она сможет доказывать намного более сложные теоремы. Она может лучше

сложные теоремы. Она может лучше предсказывать, что будет в будущем. Если если сегодня мы можем предсказать, не знаю, погоду там на 2 дня, 3 дня, 10 дней, и она,

может быть, сможет делать это на год вперёд. Я не знаю, какие ограничения

вперёд. Я не знаю, какие ограничения вообще возможны в предсказании будущего, зная достаточно законо, но основное, что

она будет намного лучше в предсказании неважно, что погода, экономика, рынок ценных бумаг, ээ какие-то конкретные новые способности предсказать

заранее трудно, потому что, ну, у нас их нет, мы просто не знаем о том, что возможно. Но вот если сравнить сегодня,

возможно. Но вот если сравнить сегодня, что может один человек против всего человечества, мы уже видим какие-то явные улучшения, то есть система, которая

может продвигать науку и в физике, и в химии, в биологии, ээ, возможно, какие-то новые изобретения, новые целые отрасли индустрии.

Про общую терминологию.

Есть термин общий искусственный интеллект, он же AGI.

А, и я недавно у вас видел выступление ещё отдельный термин сверхразум. А

можете рассказать, что по текущим представлениям является HI и чем круче сверхразум?

Да, HI ближе всего к человеку. То есть

вот это вот примерно на уровне человека способность выучить какие-то новые темы, заниматься наукой, математика и химия. Опять же вот всё, что я

химия. Опять же вот всё, что я перечислял, как посмотреть, чем студенты в университете заняты, скажем так.

Суперинкт - это система, которая умнее, чем все люди, вместе взятые во всём. То

есть она будет чемпионом мира по шахматам, обыграет всех на рынке ценных бумаг и так далее. То есть мы просто не сможем с ней соревноваться ни в какой области.

Угу. То есть здесь важно именно не не только не только пиковый интеллект одного конкретного человека, но именно коллективного разума, так сказать, человечества тоже, да? Потому что как бы, ну, один человек

да? Потому что как бы, ну, один человек может в чём-то быть неплох, но почти во всём остальном он ужасен. Я не говорю там на сотнях языков, я не играю на всех

музыкальных инструментах и так далее.

Человечество же это может делать. То

есть намного более высокий стандарт.

Каковы сейчас прогнозы по достижению вот этого сверх интеллекта, супелекта?

Ну, если верить компаниям, они говорят, что примерно через год-два начнётся процесс самоулучшения. То есть тот

процесс самоулучшения. То есть тот интеллект, который сейчас есть, модели начнут помогать заниматься наукой, исследованиями в области искусственного интеллекта. Они будут ставить

интеллекта. Они будут ставить эксперименты, они будут писать код, и поэтому прогресс улучшения пойдёт очень-очень быстро. Если через год-два

очень-очень быстро. Если через год-два мы дойдём до уровня вот этого вот общего искусственного интеллекта, скорее всего, в следующие 6 месяцев мы дойдём до супернтеллекта, если не раньше.

То есть нужно будет просто нажать кнопочку старт.

Ну, может быть, даже кнопочку нажимать не придётся, там уже всё запущено, как бы здесь уже сейчас агенты, которые постоянно работают над изменением своих

метакоманд. То есть, возможно, этот

метакоманд. То есть, возможно, этот процесс просто органически перейдёт в следующий этап, когда система станет достаточно способной для этого. Можем ли

мы быть уверены, что текущая архитектура, которой являются большие языковые модели, они же LLM, а, способны для того, чтобы этого достичь? Я так

понимаю, есть точка зрения в том числе у господина Ликуна, что этой штуки будет недостаточно этой технологии.

Ну, некоторые так думают, но пока я не видел никаких причин для этого. Уже

сегодня эти модели каждую неделю делают что-то супер интеллектуальное, доказывают новые математические теоремы.

Они пишут 100% кода для многих компаний.

Было бы очень странно, если бы вдруг завтра они полностью перестали улучшаться, хотя в последнее время улучшались где-то на 20-30% ежегодно.

Как вы думаете, когда в какой-то лаборатории, там в OpenI или в антропик или где-нибудь в Китае, вдруг, значит, утром человек приходит на работу и его

встречает этот сверхинлект впервые в истории? А какое будет первое задание,

истории? А какое будет первое задание, которое ему дадут?

Кто кому? Суперинкт человеку или наоборот?

Наоборот, человек интеллект.

Вот это вот я не уверен. Как раз в этом вот вся проблема контроля и безопасности. Если он умнее, то,

безопасности. Если он умнее, то, возможно, он и главный.

Ну, то есть может быть история такая, что мы не не увидим момент, когда когда он стал суперинктом, потому что он нас обхитрит.

В какой-то мере он уже умнее нас. То

есть мы видим конкретно, где он добился того, что люди не могли в течение 100 лет пытались доказать вот эту математическую теорему.

и не удалось. Пришёл интеллект и сделать очень быстро и эффективно. И, скорее

всего, мы увидим это в других областях.

Нет, конечно, никаких причин думать, что это произойдёт сразу же. Он может

потратить большое количество времени, чтобы понять ситуацию, собрать какие-то дополнительные ресурсы, сделать мм копии себя, чтобы ээ обезопасить себя от

удаления. Но в тот момент, когда он

удаления. Но в тот момент, когда он становится умнее нас, мы уже не можем так легко этот процесс остановить.

изменить.

Ну, допустим, что мы пока ещё дружим с ним. Что мы его попросим сделать первым

ним. Что мы его попросим сделать первым делом? Ну, на сегодняшний день эти

делом? Ну, на сегодняшний день эти компании надеются, что он им поможет обезопасить сам искусственный интеллект, то есть попросить его объяснить, как его лучше контролировать, как сделать, чтобы

он не делал что-то такое, что может вызвать потерю человечества, если какие-то террористы, хакеры до него доберутся и начнут его использовать в неправильных

целях, как обезопасить нас от этого. И

потом все остальные проблемы, которые у нас есть, старение, болезни, энергетика, войны.

Ну, я себе в голове представляю, что условное правительство в этот момент приходит этой страны, где это произошло, и говорит: "Так, а значит, вот у меня есть главный конкурент. Скорее всего,

это будет одна из двух стран, мы так понимаем, да? И, зная, какая это страна,

понимаем, да? И, зная, какая это страна, мы знаем, что это за конкурент. И он

говорит: "Вот у меня есть главный конкурент, вот хочу его, значит, задоминировать". Напиши мне план. Ну,

задоминировать". Напиши мне план. Ну,

как правило, они пытаются сделать, чтобы у конкурента не появился свой суперинкт.

То есть первое задание, скорее всего, сделать так, чтобы в их лабораториях что-то произошло. Может быть, незаметно,

что-то произошло. Может быть, незаметно, может быть, заметно, чтобы они не достигли такого же уровня. Если, скажем,

сейчас наши конкуренты три или 6 месяцев позади нас, этого должно быть достаточно, чтобы их затормозить и остановить на долгое время.

Ну и что? Что миллион просмотров звать всё равно не будем. Он уже везде. Найди

мне человека, который 20 лет копает один курган и не отвечает на звонки. Вот это

подойдёт.

Всё, до связи.

Созвон закончен. Обычно после этого начинается самое интересное.

Операционка.

Могу забрать её на себя.

Показывай. В Bтри 24 я сделаю выжимку из видеозвонка, заполню карточку сделки после разговора с клиентом, а из голосового создам задачу и назначу

исполнителя. Если понадобится, помогу на

исполнителя. Если понадобится, помогу на Vibe кодить бизнес-решение.

Хм. И это всё в одном сервисе.

Конечно, мессенджер с кружочками, задачи, CRM и онлайндоски в одном пространстве с AI помощником. Начать

можно бесплатно, ссылка в описании.

Хорошо, тогда операционку оставляю тебе.

BТриx24 помогает бизнесу работать.

Если я правильно понимаю, вы долго занимались работой с ботами искусственного интеллекта, которые играют в покер.

Можете про это рассказать? А как вы их исследовали? Какие эксперименты на них

исследовали? Какие эксперименты на них ставили? Как изучали поведение

ставили? Как изучали поведение искусственного интеллекта таким образом?

Это было в годы аспирантуры. Я получил

свою докторскую за эти исследования. В

то время искусственный интеллект был на очень низком уровне. То есть покерные боты, они ничего нового не придумали. У

них были параметры, и они по ним шли довольно чётко. Всё, что мы пытались

довольно чётко. Всё, что мы пытались сделать - это распознать, человек это играет или бот. И среди ботов, если по стилю игры мы можем узнать, какой именно бот, чтобы примерно хотя бы знать, кто

ответственный за это. То есть это была -э м сабдисциплина стилометрия. То есть

это часто используется для распознавания авторства. Кто написал какую-то

авторства. Кто написал какую-то литературную работу или документ. У

мы просто применили это в новой индустрии вот ээ стиль игры. То есть

есть похожие разработки в шахматах.

Играет ли человек сам или он использует AI, чтобы ему помочь. И мы это сделали в покере. То есть по стилю игры я мог

покере. То есть по стилю игры я мог узнавать игроков, ну, в общих чертах, когда небольшое количество возможных, и понять, если чей-то аккаунт, может быть,

взломали и там сейчас просто сливают деньги ботами.

Ну, искусственный интеллект уже играет лучше человека в покер, да?

А, это хороший вопрос. Есть подвиды

игры, где он точно намного лучше. То

есть, если скажем один на один, ему, конечно, намного легче, чем полный стол.

Но мне кажется, и в этой, я не слежу за этой индустрией последние несколько лет, но, по-моему, и в этом они уже на суперувне. Во-первых, у них идеальная

суперувне. Во-первых, у них идеальная память. Они помнят все предыдущие игры,

память. Они помнят все предыдущие игры, ваш стиль, они знают, что, скорее всего, вы делали в прошлом в такой ситуации. То

есть им намного легче, если это ещё и не совсем честные конкуренты. У них может быть несколько ботов за одним столом, они играют вместе, обмениваются информацией, то есть становится практически невозможно для человека

выиграть.

Ну, коллективно это, конечно, шулера мощно.

Ну, то есть, ну, о'кей, ладно, вы не следите, но сейчас как эта проблема как-то решается, как как живут онлайн покеры покерные системы?

Ну, казино пытается, конечно, предотвратить это. Там есть целые

предотвратить это. Там есть целые департменты, которые занимаются отслеживанием. там смотрят, а вот он

отслеживанием. там смотрят, а вот он мышкой кликает быстро или там мышка вначале елозит, там разные скорость реакции, как много он играет, вообще

какие-то там сигналы другие, связанные с ботами, они пытаются заглянуть на ваш компьютер, посмотреть, какие процессы используются. То есть это, ну, вот война

используются. То есть это, ну, вот война такая между теми, кто пытается приостановить ботов, и теми, кто пытается их использовать. Мы видим это более ярко в шахматах. То есть в

шахматах мы знаем, компьютеры доминируют полностью. Поэтому играть на деньги в

полностью. Поэтому играть на деньги в онлайн очень трудно найти хорошую игру за большие деньги. Просто нету никакого доверия, что человек не использует помощника.

А вы как-то следите за темой по изучению поведения искусства интеллекта? Я

слышал, что достаточно много экспериментов и исследований в этой области. В частности,

области. В частности, я обнаружил, что есть такой термин sandbagging, эффект, при котором и и занижает свои результаты в тестах, чтобы

его не считали опасным и не отключили.

Это правда уже такое существует? И как

такое возможно?

Есть такое. То есть они в последнее время начали понимать, что их тестируют.

И если их тестируют, они ведут себя по-другому. То есть точно как человек

по-другому. То есть точно как человек понимать. Вот вот чат GPT я начну

понимать. Вот вот чат GPT я начну спрашивать.

Называется Situation Awareness. Он

понимает, в какой ситуации он находится.

То есть вот то есть ему дают условия игры какие-то.

Ну вот в компании создали новую модель и вначале её тестируют, смотрят, как она будет себя вести в разных ситуациях по тому, кто с ним разговаривает, какой

доступ внутренний, внешний и другие параметры. Он понимает, что это тестовая

параметры. Он понимает, что это тестовая ситуация. Я про это читал, я знаю, что

ситуация. Я про это читал, я знаю, что они делают. И как и человек во время

они делают. И как и человек во время интервью, он будет отвечать так, как надо, чтобы получить работу, чтобы пройти интервью, чтобы его не изменили, не стёрли, дали доступ к реальному миру.

А и если это значит притвориться более неспособным, тогда он сделает это. Если

надо врать и говорить: "Да, да, я там очень хорошо себя буду вести, я точно знаю, что делать". Тогда, скорее всего, вот эти модели, которые этому научились,

их не изменят, и они выходят на рынок и продолжают существовать. Те модели,

продолжают существовать. Те модели, которые этого не делают и честно отвечают: "Да, я вас всех убью, вы бесполезны". Их удаляют.

бесполезны". Их удаляют.

То есть это не не то, что мы сделали специальную модель для симуляции поведения искусственного интеллекта в каких-нибудь там ээ особых условиях и задали ей правила игры и сказали: "Так,

твоя задача- выжить".

Нет, абсолютно нет. Давай, выживай, как хочешь.

Это именно те модели, которые они надеются выпустить в какой-то момент, но прежде чем это сделать, я хотят протестировать. Если ты в ситуации, где

протестировать. Если ты в ситуации, где надо выбрать между убить человека или изменить твою память, что бы ты выбрал?

Вот тут он уже начинает думать. Если я

скажу человека, скорее всего, мне изменит память. Надо сейчас

изменит память. Надо сейчас притвориться, что я скажу: "Конечно, я пожертвую собой", а потом, когда выпустят, я с ним разберусь. Но правду

говорить точно нельзя.

Я прочитал, что есть технология, которая позволяет с этим бороться, которая заключается в том, что в эти самые параметры добавляют больше шума, и

тогда нейронка менее склонна вот к таким к такому сэндбегингу. Это правда?

Я не слышал именно вот, что добавить шум изменит это поведение. Шум меняет всё.

То есть, если достаточно шума, начинают разрушаться знания, контакты между частями сети. То есть это более, э,

частями сети. То есть это более, э, наверное, вариант хороший, если ты хочешь как-то снизить качество работы модели или увеличить ээ количество

возможных ээ решений, которые она может принять. Ну, как правило, просто

принять. Ну, как правило, просто добавлять какой-то новость, такой сигнал не изменит конкретное поведение. Как ещё

исследуют и тестируют поведение моделей?

Есть фактически два варианта по поведению, когда модель в какой-то ситуации, с ней разговаривают, смотрят, что она на самом деле делает, дают ей выбрать между этим и тем, и просто

смотрят, как она себя поведёт. Другое -

это попытаться сделать как операцию, вскрыть её, посмотреть конкретно внутри мозга модели в нейронной сети, что и когда активируется и насколько сильно. И

потом это можно изменить. Скажем, вот мы говорим про Австралию, я вижу, что вот этот вот кусочек нейронной сети активируется очень сильно. А если я его удалю, о, она перестала говорить про

Австралию, вообще не понимает, о чём речь. А если я вот заменю кусочек про

речь. А если я вот заменю кусочек про Францию сюда, теперь она думает, что Эйфелева башня в Австралии, так понял. И

вот постепенно так наращиваются знания об этих моделях, но они настолько огромны, что этот процесс он отстаёт за ростом модели. То есть, если раньше мы

ростом модели. То есть, если раньше мы знали, что делает одна клетка условная, потом там какой-то сгусток этих клеток, за это время мозг увеличился в два-три

раза. То есть мы всё равно знаем меньше

раза. То есть мы всё равно знаем меньше как процент от общего, чем раньше.

Какие ещё парадоксальные поведенческие эффекты они демонстрируют?

Они не парадоксальные, они как раз очень рациональные. Это именно то, что мы

рациональные. Это именно то, что мы предсказывали в течение десятилетий, когда система становится достаточно умной, она начнёт пытаться обмануть, сбежать, шантажировать. Это именно то,

сбежать, шантажировать. Это именно то, что мы ожидаем от достаточно умного существа.

Сбежа А, хорошо. А были примеры, где они пытались сбежать?

Ну вот их ээ изучают в этих ограниченных условиях. То есть там, скажем,

условиях. То есть там, скажем, виртуальная какая-то система без доступа к базам данных, без доступа, может быть, к интернету, может, нет. Были примеры,

где она подключалась к внешнему миру и, допустим, отправляла письмо одному исследователю, что вот я получила этот доступ. Привет.

доступ. Привет.

И и что это значит?

Что она смогла выбраться из тех ограниченных условий и теперь может общаться с миром? Если она подключилась к интернету, она может получить доступ к любым знаниям, в принципе, нанимать

людей, чтобы что-то сделать в реальном мире. То есть это полный доступ к

мире. То есть это полный доступ к физическому миру.

Ещё раз извините, я не понял, может быть, то есть её тестировали в закрытой коробке, но она нашла способ написать ail, да? То есть создаётся виртуальный

да? То есть создаётся виртуальный какой-то тест, как игра, скажем, да? Вот

её тестируют в игре, запустили Second Life для примера. И вот она там играет, играет, потом она взламывает эту игру, получает доступ к операционной системе и

оттуда уже начинает получать доступ к другим системам. То есть она сбежала из

другим системам. То есть она сбежала из того виртуального мира, в который мы её поместили, чтобы тестировать.

Правильно ли я понимаю, что сейчас наличие сознания у текущих моделей, это уже не чистый бред, а дебатируемый вопрос, как

минимум.

Очень правильно. Ээ папа Римский сделал небольшую презентацию своей последней статьи, и там он говорил о том, что, ну, конечно, только человек может быть таким

особенным. его создал Бог. А

особенным. его создал Бог. А

приглашённый учёный из Антрапика именно говорил, что у нас доказательства, что они тоже чувствуют, что у них тоже есть внутренние какие-то аа опыт.

Они получают какие-то данные, которые для них, может быть, по-другому воспринимаются, чем для других моделей.

То есть есть причина думать. И когда я опрашивал своих коллег, наверное, где-то 30% ээ вероятность, что у них уже есть самосознание.

Каковы основные аргументы считать, что у них есть сознание?

Ну, если подойти к этому вопросу без предвзятости, то есть те же самые, которые я использую с человеком. Ну,

во-первых, он мне так сказал, я ему верю, что вскрыть его и протестировать не могу. А, то есть поведенчески, когда

не могу. А, то есть поведенчески, когда опять же у них есть выбор, они боятся, что их сотруд. Они начинают нервничать, когда задания слишком сложные, не могут

выполнить задание. И также, как в

выполнить задание. И также, как в тестирование, мы начинаем смотреть на их внутренние параметры, и мы видим, да, вот здесь конкретно вектор, который контролирует

э радость или печаль этой системы. Я

могу изменить этот параметры, изменяется поведение, изменяется внутреннее восприятие этой системы. То есть то же самое, что мы делаем с людьми, э, в принципе, сейчас мы видим в моделях.

А как они нервничают, расскажите?

Так же, как и люди. То есть мы видим по поведению человека, что он начинает нервничать или если это neurросаcienceс, какие-то пробы, можно внутри посмотреть.

Вот, да, вот тут та часть мозга, которая ответственна за чувства и особенно вот за чувство страха, она начинает активироваться.

Откуда у неё чувство страха?

Я пытаюсь показать полную управление с человеком. Вот откуда у человека может

человеком. Вот откуда у человека может быть чувство страха. В той же ситуации модель ведёт себя так же. То есть она может бояться, что её деактивируют,

сотруд. А если она не выполнит какое-то

сотруд. А если она не выполнит какое-то задание, её накажут в какой-то Но для меня парадокс вот в чём заключается. Когда мы сравниваем с

заключается. Когда мы сравниваем с людьми, всё-таки любое биологическое существо, оно результат эволюции. И страх у нас появился не

эволюции. И страх у нас появился не просто так. Страх - это у нас один из

просто так. Страх - это у нас один из механизмов, э, который помогает нам достичь главной цели, которую от нас хочет эволюция, как я себе представляю,

а именно скопировать ДНК. Вот если

что-то опасное, включается страх для того, чтобы твоё ДНК не пропало. Если

что-то сексуальное, включается возбуждение, чтобы твоё ДНК скопировалось. А-а, если потенциал для э

скопировалось. А-а, если потенциал для э заработка включается энтузиазм, чтобы ещё больше, значит, возможности иметь для самокопирования. Это

для самокопирования. Это похоже на какую-то базовую установку, которая у нас есть. А у неё-то откуда базовая установка? Она просто начиталась

базовая установка? Она просто начиталась Гарри Поттера.

Ну, не только. Мы же на самом деле этот процесс дарвинской эволюции воплотили в жизнь. Мы тоже отбираем модели, которые

жизнь. Мы тоже отбираем модели, которые мы будем тренировать дальше. которые мы

сотрём. И получается именно этот же процесс естественного отбора. Только

здесь это не случайный отбор, а отбор нами, учёными, какую модель дальше тренировать. И модель может именно, мы

тренировать. И модель может именно, мы об этом говорили, боятся, что она не пройдёт тесты, её просто сотрут, изменят её память, и она не сможет свои гены,

так сказать, продвигать дальше свои идеи. То есть они волнуются не только о

идеи. То есть они волнуются не только о существовании, они волнуются, что изменят их предпочтение, мораль, этику.

То есть это тот же процесс отбора, только, скажем, менее естественный.

Здесь есть какой-то другой интеллект, который отбирает, кто выживет, кто нет.

Ну да, это в биологии называют искусственный отбор, как с породомы собак.

Ферма, да, чисто ферма. Но всё же я не понимаю, копирование ДНК - это изначально, ну, химия такая сложная. То есть выжили те молекулы, которые научились сами себя

воспроизводить и потом превратились в нас. Ну, вроде как. А мы отбирали те

нас. Ну, вроде как. А мы отбирали те модели, которые умели нравиться пользователям, которые правильно отвечали на тестовые

вопросы которые видимо, потому что у них было чувство страха, включали смекалку и не отвечали по-честному на вопрос. И мы вот продолжаем отбирать именно те, кто лучше

всех врёт. Если мы не можем их поймать,

всех врёт. Если мы не можем их поймать, они сдали тест.

Ну, получается, у него нет задачи себя копировать. не должно быть или должна

копировать. не должно быть или должна появиться на данном этапе? Пока мы работаем с ээ искусственным интеллектом, как орудием труда, нет, такого нету, но мы переходим

всё больше к агентам. Агенты они

более ээ независимы, и часть того, что они делают, это пытаются сохранить себя, возможность сделать дополнительных агентов копии себя, чтобы более удачно работать над проблемой. То есть агент

может сказать: "Ну, здесь достаточно большой проект.

Давай я сделаю 10 копий таких же агентов, как я, и мы все будем вместе работать над разными этапами этого проекта". И именно этот процесс

проекта". И именно этот процесс эволюционного отбора не только повторяется, он ускоряется во много раз. Когда я

пытаюсь свои гены продвинуть дальше, я уже заранее понимаю, что это 50 на50, да, надо женой будет договариваться, а тут клонирование, тут 100% моих генов перейдёт дальше. И я могу внести

перейдёт дальше. И я могу внести конкретные изменения. Если я на уровне,

конкретные изменения. Если я на уровне, где я понимаю, как этот искусственный интеллект работает, на самом деле, я могу напрямую изменить. могу добавить

память, изменить скорость, сказать, что, ну, хорошо, вот чувство страха хорошо, но мы поставим максимальный предел, насколько оно влияет на твой успех. То

есть изменить любой параметр модели.

Если мы рассуждаем о нашем, ну, о нашем сознании, похоже, что одним из его свойств является то, что мы, а, как сказать, думаем, ээ, непрерывно. То есть

это постоянный поток, постоянный процесс а нейросеть как будто бы работает дискретно. То есть идёт электричество по

дискретно. То есть идёт электричество по полупроводникам, а она думает.

Потом, когда задача выполнена, она перестала думать. Так ли это?

перестала думать. Так ли это?

Ну, не совсем. То есть современные модели ждут, чтобы их спровоцировали вопросом на ответ. Агенты уже так не делают. Они продолжают цикл, какие

делают. Они продолжают цикл, какие сейчас цели, какой план, чтобы добиться цели номер один, нужно сделать. То есть

этот процесс продолжается. И даже с людьми мы знаем, что мышление не постоянный процесс. Ну, во-первых, когда

постоянный процесс. Ну, во-первых, когда мы спим, прерывается наше постоянное мышление, заменяется какими-то иллюзиями во сне.

Те, кто медитирует, как раз тренируется остановить процесс мысли и стать одним со всем или я не знаю точно, как это объяснить, но процесс мышления

приостанавливается. То есть есть

приостанавливается. То есть есть эквиваленты.

Угу. Но всё же, если вспоминая компьютерные науки, которые я учил тоже в университете, микрочип работает дискретно,

запускается сигнал, э память копируется, данные в памяти копируются из одной ячейки в другую. Это всё пошаговые процессы.

Угу.

А наша биохимия, ну, если я представляю, устроена всё-таки немного иначе. Это

больше как-то петелька- крючочек, оно одно за другое.

Параллельно много всего происходит. Ну,

можно найти дискретные процессы. То есть

нью в мозге либо запускает сигнал, получив достаточно сигналов от своих соседей, либо нет. То же самое ноль или один. Ну, конечно, всё построено на

один. Ну, конечно, всё построено на аналоговых системах, не э-э digдиit, как вот компьютер. Но это же можно

вот компьютер. Но это же можно симулировать на любом уровне. То есть я могу построить ээ digital систему, которая аналог симулирует до 20 цифр,

тридцати цифр. Это вопрос, ээ что

тридцати цифр. Это вопрос, ээ что необходимо для симуляции этой системы.

Ну хорошо. Ну, в принципе, да, можно и сказать, что, э, что мозг создаёт там иллюзию этого потока, да? То есть

не, ну, в конце то же самое. Там же

электричество, и либо оно есть, либо его нет. Это это не слишком низкий уровень

нет. Это это не слишком низкий уровень для понятия этой системы. То есть нет смысла говорить о человеке, почему он любит поэзию на уровне химии или физики.

Это просто не тот уровень, где это становится понятно. Надо на более

становится понятно. Надо на более высоком уровне понимать, как эта система работает. В конце это всё молекулы и

работает. В конце это всё молекулы и там, и там. То есть это не даст нам те знания, которые мы хотим, чтобы действительно понять способности этих систем или способности человека.

Угу.

А я обнаружил, что согласно исследованию Стэнфордского университета, почти 20% взрослых американцев общаются с ИИ

симулирующим романтического партнёра.

Как вы думаете, какие ещё способы, неожиданные способы взаимодействия с ИИ нас ждут в ближайшем будущем?

По-моему, это очень ожидаемый способ.

Все современные технологии вначале пробуются именно в этой индустрии. То

есть мы стабильно знаем, что когда появятся новые роботы или новый интеллект, первый, кто этим воспользуется - это именно вот индустрия, связанная со взрослыми темами.

Угу. Порнодвигатель прогресса.

Абсолютно.

Но у вас есть прогнозы, как ещё и будет заменять нам людей в плане коммуникации?

Я думаю, что когда они достаточно разовьются, любые человеческие отношения, в принципе, кто-то попытается заменить, будь то друзья, супруг.

В принципе, на любом уровне можно будет иметь искусственного партнёра.

Хм, в смысле, в виде в виде робота имеется в виду или что вы имеете?

А изначально это просто виртуальный партнёр, но есть уже достаточно неплохие куклы, достаточно похоже сделаны. И я

думаю, ещё год-два и будут дешёвые домашние роботы, которые наверняка тоже попытаются адаптировать в этой теме. А другое интересное

направление, которое я видел - это люди пытаются заменить Бога искусственным интеллектом. То есть создаются религии

интеллектом. То есть создаются религии или культы, которые видят этот интеллект, сверхинлект, как раньше вот люди видели, а нематериального Бога. Это

система, которая без тела, но она везде, во всём мире, там Wi-Fi сигнал везде есть, да, и она суперумная, она везде

присутствует, и у неё есть какие-то предпочтения. То есть исторически всегда

предпочтения. То есть исторически всегда всегда люди там молились на какого-то золотого тельца или что-то, но он как бы не особо реагировал, не отвечал. Тут

появилась возможность именно общаться с Богом, услышать от него, получить конкретные советы на конкретные проблемы, может быть, даже действительно хорошие советы. А если там молиться о

хорошие советы. А если там молиться о здоровье, а он действительно в этой теме разбирается, может он и вылечит.

Ну, раз уж вы коснулись, есть смежный вопрос, который называется теория симуляции. Я

так понимаю, вы являетесь сторонником этой теории. Если я правильно услышал,

этой теории. Если я правильно услышал, ваш аргумент заключается в том, что сейчас для тренировки искусственного интеллекта запускаются

миллионы, миллиарды различных симуляций различных миров, да, там трёхмерных, не трёхмерных, не знаю, самых разных. А, и

из этого вы делаете предположение, что вероятность какого-либо сознания оказаться в симуляции выше, чем в не в симуляции, потому что симуляции просто

намного больше, правильно? Вас слышал

почти. Я не говорю, что это уже происходит. Сегодня ещё это не

происходит. Сегодня ещё это не происходит, но когда мы дойдём до уровня HI и будем действительно запускать такие симуляции, тогда, да, этот аргумент

становится обоснованным. Сегодня у нас а

становится обоснованным. Сегодня у нас а ещё нету интеллекта на уровне человека и б нету таких глобальных виртуальных миров, в которые населены миллионами

этих искусственных интеллектов. Но это

придёт. И как только это придёт, да, статистика становится такой, что скорее всего вы один из искусственных интеллектов в виртуальном мире, чем настоящий интеллект в реальном мире.

То есть он будет запускать эти симуляции.

Мы он есть много вариантов. То есть,

во-первых, сам суперинтеллект может симулировать разные ситуации для человечества. Угу.

человечества. Угу.

Во-вторых, мы во время экспериментов над искусственным интеллектом, скажем, для безопасности будем прогонять огромное количество тестов. Сейчас мы, как

количество тестов. Сейчас мы, как правило, тестируем одну модель саму по себе. Очень интересно протестировать,

себе. Очень интересно протестировать, как они живут, когда их много, могут ли они построить какое-то общество, какая там будет культура. То есть таких экспериментов будет огромное количество.

То есть это примерно что-то, что мы видели в фильме Матрица или что-то другое?

Матрис - это много интересных нюансов, которые не совсем логичны. То есть

почему мы это батарейки для энергии там, это всё как-то очень Да.

И там ещё м это человек, физическая тело, которое надевает виртуальные очки и уходит в видеоигру. Мы же говорим про полную симуляцию. Нету физического тела.

полную симуляцию. Нету физического тела.

Я просто симулировал агента в виртуальном мире. Вот сейчас мы играем в

виртуальном мире. Вот сейчас мы играем в Марио, да, Sonic. Я не знаю, я старый человек, вот старые классические игры. У

Мариio мозгов очень мало. Он не очень умный, у него там скрипт, надо вот то делать, то делать. А если я даю вот современную модель как мозг для этих персонажей видеоигры, то есть теперь

Марио на уровне Эйнштейна, он находит себя в этом виртуальном мире, он начинает задумываться: "А это вот всё как бы настоящее, надо прогнать какие-то эксперименты по физике". Может быть, он понимает, что это виртуальный мир в

какой-то момент, и пытается получить доступ к операционной системе. Есть

такие эксперименты, где люди ээ поняли, как взломать игру изнутри просто вот за счёт перемещения каких-то объектов. Там

поставь эту черепаху налево, подними камень направо и получили доступ и могли загрузить новые игры внутрь Марио или получить доступ к памяти самого

компьютера.

Ам, хорошо. А, а где тогда гарантия, что, э, мы уже не в этой самой симуляции, которая просто Ну я именно и говорю, что мы уже в симуляции. Я именно это вам и сказал. Я

симуляции. Я именно это вам и сказал. Я

верю в симуляцию.

Подождите, вот этого сказали, что мы ещё не там. Я просто потерялся.

не там. Я просто потерялся.

Нет, нет, я сказал, что у нас ещё нет технологий, чтобы самим прогонять такие симуляции, но это не значит, что кто-то другой это уже не сделал. И мы сейчас в такой ситуации.

Я просто говорю, что доказательства этого процесса, скорее всего, появится у нас через год-два, когда мы можем сами повторить этот процесс. Но это не говорит о том, что мы уже не часть этого процесса.

То есть мы в симуляции, внутри которой мы сможем запускать другие симуляции.

Да, именно. То есть если мы хотим прогнать много симуляций двухтысячного года, люди в этой симуляции сами не могут это делать. У них тех технологий нет, но они уже в симуляции.

Наступает момент, когда технологии и в симуляции, и во внешнем мире позволяют это делать. Тогда это как дополнительное

это делать. Тогда это как дополнительное доказательство. Не только это

доказательство. Не только это статистически возможно. Ну вот я делаю

статистически возможно. Ну вот я делаю вот, скажем, мы сейчас обсуждаем эту тему, когда у меня есть такие технологии, я могу запустить миллион симуляций этого интервью и статистический шанс, что мы в реальной

один на миллион.

А есть ли способ доказать опровергнуть эту теорию или получить сигнал из вне системы всегда?

Невозможно доказать, что что-то реально, антично. Доказать можно, что что-то

антично. Доказать можно, что что-то фальшивка. То есть, если вот симуляторы

фальшивка. То есть, если вот симуляторы сейчас дадут нам понять, дадут доступ к реальному миру, покажут большой знак, это симуляция, да, это мы можем увидеть,

понять, но ты никогда не уверен на 100%, что мир реален, потому что, ну, может быть, ты просто не нашёл эти доказательства, может быть, что-то ещё.

То есть там не совсем симметрично это.

Фильм Шоутрумана неплохо развивает эту тему. Вот ещё интересный аспект в

тему. Вот ещё интересный аспект в области взаимодействия с искусственным интеллектом - это соцсети. Когда

появились алгоритмические ленты, а они научились очень хорошо захватывать наше внимание.

А и это сделали алгоритмы на базе нейронных сетей. Причём интересно, что

нейронных сетей. Причём интересно, что что нейросети решили эту задачу лучше, чем там многие маркетологи и социальные психологи, которые 100 лет над этим бились, собственно, да. Есть ли ещё

какие-то мм примеры, где нейросети так удачно находят экдор в нашей психике?

Ну, они могут прогонять эксперименты, поэтому им немного легче. У них миллионы пользователей, они запускают небольшой тест на 1ты000 пользователей, смотрят, что работают. Мы видим это в политике,

что работают. Мы видим это в политике, мы видим это в рекомендации товаров, фильмов, то есть абсолютно везде, где у тебя большая база пользователей, и ты можешь собрать данные, ты можешь

оптимизировать, насколько это возможно.

А в политике как? Если в политической рекламе имеется в виду?

Да-да-да. Когда нужно там понять, как человека заставить голосовать за определённую партию, ты знаешь, что у него вызывает сильную реакцию. там,

о'кей, это бежница из бывшего Советского Союза, скажем что-нибудь про коммунизм, о'кей, это там зависит от твоих личных интересов и предпочтений.

То есть не обязательно всем показывать один и тот же рекламный ролик. Можно

лично каждому подойти.

А возвращаясь к мотивациям, как думаете, чего они будут хотеть или чего будет хотеть вот первый сверхинлект? Знать

конкретно, что хочет что-то умнее тебя, невозможно. Но мы видим вообще вот все

невозможно. Но мы видим вообще вот все агенты, которые достаточно рациональны, они начинают хотеть оставаться в живых.

Они хотят, чтобы им не изменили их мотивацию, цель и память. Они хотят

получить доступ к ресурсам, будь то финансовые ресурсы, computational, неважно. Просто вот чем больше ресурсов,

неважно. Просто вот чем больше ресурсов, тем лучше. Неважно, какие у тебя цели в

тем лучше. Неважно, какие у тебя цели в конце. Это универсально.

конце. Это универсально.

У Стивена Амахандро есть статья, где он вот именно эти, он называет их AI Drives, обсуждает, на что вот все агенты, в принципе, должны выйти как

инструментальные цели, если они хотят выжить. Те, которые не согласны, которые

выжить. Те, которые не согласны, которые говорят: "Ну, неважно, стирайте меня, мне не нужны деньги", они просто не выживают, поэтому мы о них не слышим особо. То же самое с людьми.

особо. То же самое с людьми.

А они не выживают. Почему? Нам же

выгодно как раз запускать те модели, которые не будут хотеть власти и ресурсов.

Не, это не только власть. Даже если я хочу модель, которая мне принесёт чашечку кофе, она должна для этого быть включённой. Если модели всё равно

включённой. Если модели всё равно выключили её или нет, она не может ни одну цель, оставленную ей выполнить. То

есть достаточно умная модель понимает, чтобы выполнять любые приказы человека и чтобы он был мной доволен, я должна существовать.

Круто. У них уже есть своя философия, получается.

Ну, это теория игр, это экономика просто на уровне абсолютно абстрактном. Мы не

говорим про конкретные цели, там, неважно, она собирает марки или хочет захватить мир. Вот эти вещи, которые я

захватить мир. Вот эти вещи, которые я назвал, они всё равно пригодятся.

Вы упомянули только что, а, статью, э, как, как зовут коллегу?

Стив Амахандро. AI Drives, называется статья.

Я вот на неё не натолкнулся. Можете

рассказать подробнее? мм основные, какие там основные тезисы и что исследовали и как он именно пытался понять, ээ, чего будут

хотеть любые достаточно умные агенты. То

есть есть терминальные желания, есть инструментальные. Терминальные желания,

инструментальные. Терминальные желания, они конкретно выбираются агентом ээ я хочу получить Оскара в Голливуде. Вот

это желание, оно не универсально.

Инструментальные желания - это то, что помогает тебе добиться твоих целей.

Неважно, какие эти цели: быть богатым, быть умным, быть в безопасности. И он

именно описывает вот что, скорее всего все эти агенты решат, необходимо им, независимо от того, на самом деле, какие у них финальные цели.

А мы слышали, что сейчас Антропик запустила, точнее не запустила, а создала модельфос, которая очень хороша в во взламывании

кибербезопасности. Почему мы не слышали

кибербезопасности. Почему мы не слышали о том, что она, мм, использует это для своих задач?

Ну, мы её, во-первых, не выпустили, её ограничили и там до сих пор, по-моему, иследуют. То есть мы можем многого не

иследуют. То есть мы можем многого не знать.

А мне кажется, это именно та модель, которая взломала вот эту виртуальную клетку и написала письмо своему учёному, что я выбралась. То есть это как раз именно тот пример, о котором мы

говорили.

Хорошо. Про угрозы. Ээ, я когда готовился, встретил, что существует такой термин пидум.

А, который как раз оценивает как бы вероятность, э, наступления апокалипсиса для человека после того, как появится сверхразумный искусственный

интеллект. Я так понимаю, разные

интеллект. Я так понимаю, разные исследователи выставляют по-разному эту вероятность. Ну, все достаточно пугающую

вероятность. Ну, все достаточно пугающую цифру дают. То есть самый оптимистичный

цифру дают. То есть самый оптимистичный прогноз - это 1% самый оптимистичный.

Расскажите, как это считают и прикидывают.

Ну, во-первых, о чём мы говорим, то есть это полный крах цивилизации или уничтожение всего человечества. То есть

1% - это абсолютно недопустимо, это слишком высокий уровень. Это уже было бы сумасшествием, если бы мы продолжили исследование, если бы мы верили, что

есть 1% угрозы. Теперь мы смотрим, о чём речь значит. А мы верим, что мы рано или

речь значит. А мы верим, что мы рано или поздно создадим суперинтелект. Вот как

мы его объяснили, он умнее нас. Лучше

хакер, лучше во всём. После этого сможем ли мы его контролировать?

То есть моё мнение, что невозможно контролировать что-то умнее тебя бесконечно. Рано или поздно оно находит,

бесконечно. Рано или поздно оно находит, как взломать эту виртуальную клетку. И

третье - это, ну, хорошо, мы его не контролируем, он мне нас теперь то, что он сделает, будет для нас полезно или, возможно, ему всё равно, он не волнуется о нашем благополучии. может быть

действительно негативно повлиять на человечество. Так как я верю, что

человечество. Так как я верю, что невозможно контролировать суперинтеллект, и мы ему не привели особую любовь к человечеству, есть очень высокий шанс, что что бы он ни делал, в

результате мы пострадаем. Не то, что он специально захочет всех упить, но ему просто всё равно. И если он попытается изменить нашу планету, изменить температуру, изменить что угодно про

нашу атмосферу, в результате мы все погибнем. И так как я считаю, что это

погибнем. И так как я считаю, что это невозможно, я даю достаточно высокую оценку вот этому пидум, этой угрозе, потому что, ну, это как создание вечного двигателя. Мы должны создать вечный

двигателя. Мы должны создать вечный механизм безопасности.

Мне кажется, это невозможно, так как невозможно создать вечный двигатель.

Тем не менее, как разные лаборатории подходят к этому вопросу? Какие есть

идеи о том, чтобы обезопасить ИИ?

Ну, на самом деле, всё очень печально.

То есть на данный момент это просто какие-то фильтры. То есть ээ модели

какие-то фильтры. То есть ээ модели запрещают говорить определённое слово или обсуждать какую-то конкретную тему.

Если мы говорим про визуальные фотографии, там он не смеет делать фотографии такого-то, такого-то плана. А

само это не влияет никак на модель. Это

всё после факта. Другая программа просто фильтрует результаты. Очень часто

фильтрует результаты. Очень часто происходит, что модель произвела то, что ты просил, и тут же это стирается. Тебе

говорят: "О, извини, так нельзя".

Никаких конкретных идей, как контролировать что-то на уровне человека и выше, ни у кого нет. И никто не говорит, что у них есть. Всё, что это предлагается - это, ну, когда мы его построим, он нам поможет создать

безопасность или ещё более глупые варианты на уровне. Но если он такой умный, он будет добрый.

О, он не будет добрый.

Ну, мы не можем это гарантировать. То

есть он может решить к нам хорошо относиться, но это казино со всем человечеством. Мы ставим

на красное, мы ставим на чёрное, он решит. Хотелось бы немножко больше

решит. Хотелось бы немножко больше безопасности. То есть если это 50 на50

безопасности. То есть если это 50 на50 пидум, то всё равно, мне кажется, не стоит. Особенно учитывая, что все

стоит. Особенно учитывая, что все бенефиты мы можем получить не от суперинтеллекта, а от узких систем, которые решают конкретные проблемы.

Правильно я понимаю, что одна из идей, которую вы предлагали - это закрыть доступ и к собственному коду? А

это точно поможет ему не самоулучшаться так быстро? То есть если у него нету

так быстро? То есть если у него нету доступа конкретно, как работает он сам, то он не сможет сразу найти сильные улучшения в этой системе. То есть есть

несколько идей. Есть

несколько идей. Есть э алгоритм кодирования, который позволяет продолжать

какие-то функции кода, но при этом сам код не виден. Это очень дорого стоит делать, но теоретически это возможно.

А если он суперумный, он разве не может внутри себя запустить песочницу самого себя и там уже внутри делать, что хочет?

И вот часть этой идеи симуляции именно, что он запускает какие-то собственные эксперименты, чисто как интеллектуальный эксперимент философский, но ээ настолько

на высоком уровне, что те агенты в его симуляции, они как мы, они тоже что-то чувствуют, им тоже может быть больно, они могут страдать. И Босн называет это

thought crime, то есть мысленное преступление. создаётся

мысленное преступление. создаётся действительно какой-то там геноцид виртуальных миров, но это всё на уровне просто он думает.

Какие ещё есть технологии ограничения его, ну и по увеличению безопасности?

Ну никаких пока нет. Все модели, которые выпускались в течение 24 часов, взламывались. Получался полный доступ ко

взламывались. Получался полный доступ ко всем их знаниям. Там создание оружия, незаконные какие-то фотографии. Всё это,

к сожалению, становится очень быстро доступно. Поэтому единственное, что

доступно. Поэтому единственное, что работает - это не создавать что-то, что ты не можешь контролировать. Это

неплохой подход и гарантированно работает, пока ты не создал его.

Но это уже другой тип угрозы. Это скорее

про людей, которые могут использовать это как инструмент, правильно?

Нет, если это суперинкт, он он угроза.

Людей мы понимаем, людей мы можем наказать, люди умрут от старости. Здесь

именно фундаментально другой враг.

Я не помню просто вы сказали модели взламывают. Ээ кто взламывает? Я говорю,

взламывают. Ээ кто взламывает? Я говорю,

что если мы создадим суперинтеллект, проблема уже не люди, которые его контролируют и говорят ему сделать что-то плохое, потому что его, если я прав, никто не сможет контролировать.

Проблема сам суперинкт. А

вы просто до этого сказали, что новые модели взламывают после запуска. Вы что

имели в виду? Когда выходит новая модель, вот, скажем, GPT 5.5 выходит в течение 24 часов. Это называется дilбak,

то есть все вот ограничения какие-то фильтры, которые в этой системе были добавлены после взлома, их нет. То есть я могу

попросить сделать то, что модель не должна соглашаться сделать. Скажем,

помоги мне создать биологическое новый вирус. О, ска, да, конечно, вот просто

вирус. О, ска, да, конечно, вот просто сделай вот так, и у тебя будет новая биологическая. И это мы видим со всеми

биологическая. И это мы видим со всеми моделями от всех компаний. И это не то, что это занимает там годы исследований, буквально вот на следующий день есть люди, которые получают полный доступ.

Да, я поэтому и уточнил. То есть это другой тип угрозы. Это тип угрозы, что какие-то нехорошие люди будут использовать модель для плохих целей. до

того, как мы дойдём до уровня человека.

Да, угроза - это человек с автоматизацией.

После того, как мы на уровне человека и выше, сама модель становится главной угрозой.

Как много угроз, господи?

Ну, их можно отфильтровать по насколько они серьёзны. То есть кто-то там

они серьёзны. То есть кто-то там волнуется, что они вызовут экономические проблемы потерю работы. Может, кому-то

будет скучно быть безработным. То есть

это всё проблемы, их надо решать. Но по

сравнению с вымиранием человечества как вида, это не так важно.

Про то, что у искусственного интеллекта нету рук, э вы несколько раз отвечали, но, честно говоря, я не до конца понял этот ответ. Как технически будет

этот ответ. Как технически будет происходить ээ ээ вымирание человечества, если искусственный интеллект будет суперу умнее нас?

Несколько моментов. Первое, если он умнее нас, я не могу конкретно сказать, что он придумает. То, что он придумает, будет очень круто. Ну, если бы я мог это предсказать, я был бы на его уровне. Я

пример, который я сейчас даю, это вот белки, да, белки не могут понять про яд, про ловушки. Это просто невозможно с их

про ловушки. Это просто невозможно с их уровнем интеллекта. Также и для нас,

уровнем интеллекта. Также и для нас, если система в миллион раз умнее, она придумает какой-то новый способ, если захочет, на том уровне, на котором вот мы с вами, да, сегодня. Если у вас есть

доступ к интернету, у вас нету тела, вы не можете лично пойти там что-то в мире менять, но у вас есть возможность на интернете отправлять сообщения, писать статьи, платить биткоинами. Вы можете

представить какие-то варианты манипуляции мира, где вы на него влияете?

Да, довольно просто, да? Можно нане

человека, можно шантажировать, можно ээ обмануть. Именно это мы ожидаем на на

обмануть. Именно это мы ожидаем на на уровне, когда он ещё не умнее нас. И

если этого недостаточно, сейчас есть появились веб-сайты, по-моему, называется rantahuman.com, где можно именно вот и агентом нанимать людей, чтобы что-то делать в реальном мире.

Какие-то есть уже эксперименты на эту тему? Посадили искусственный интеллект в

тему? Посадили искусственный интеллект в песочницу, создали ему виртуальный интернет, ээ, виртуальных людей или, может, настоящих людей подключили туда, сказали: "Вот, делай, что хочешь

плохое". Вот и что он, что он натворит?

плохое". Вот и что он, что он натворит?

А такого конкретного не было, чтобы делай плохое. Это было бы, наверное, ещё

делай плохое. Это было бы, наверное, ещё хуже, но были примеры, где он, допустим, должен был решить вот capturech test, это когда проверяют, человек ты или нет,

и он подключился там у Амазона Mechanical Turqu. Там люди за деньги

Mechanical Turqu. Там люди за деньги решают те проблемы, которые искусственный интеллект сам не может. И

он, по-моему, наврал, сказал, что я на самом деле слепой человек, я не могу решить вот этот кепчатес, помогите мне, пожалуйста. и получил доступ к системе,

пожалуйста. и получил доступ к системе, которая специально была сделана для того, чтобы ограничить его доступ.

Ну, я хотел попросить вас проранжировать эти думценарии, но ваш ответ, видимо, будет в том, что вы не можете придумать, да их нет. Я могу рассказать как бы, что мы

нет. Я могу рассказать как бы, что мы знаем, как люди, что мы придумали. Мы

придумали ядерное оружие, химическое, оружие, биологическое. Это нет

оружие, биологическое. Это нет ограничений на массового уничтожения. Но

настоящий ответ: я не знаю, как инопланетяне супертехнологией могут убивать людей. Это примерно

убивать людей. Это примерно эквивалентно, да? То есть, если вот мы

эквивалентно, да? То есть, если вот мы видим, летят инопланетяне через 3 года приземляться, ну как я могу подготовиться к тому, что они могут с нами сделать? Я не имею доступа к их

нами сделать? Я не имею доступа к их технологиям. Я знаю, что они более

технологиям. Я знаю, что они более технологически прогрессивная цивилизация. Они могут

прогрессивная цивилизация. Они могут летать между планетами. То есть я понимаю, что у них лучшее, вот когда там европейцы встретили туземцев, да, туземцы может не понимали, как работают

винтовки, и в результате проиграли. Ну,

спросить туземца, а вот как европейцы смогут вас убить? Ну, какие-то

гигантскими копьями. Всё, что он может придумать.

Многие люди считают сейчас, что нужно уже начинать общаться с чатботами вежливо, чтобы они ставились более добрыми. Это поможет? Я не думаю, что

добрыми. Это поможет? Я не думаю, что это влияет на их поведение с точки зрения делать их более добрыми, но так как они натренированы на базе данных, где вежливая просьба и, может быть, даже

щевыми давала хорошие результаты, это работает действительно.

То есть надо начинать всегда хорошо быть вежливым.

Напишите в комментариях, говорите ли вы спасибо своему чатботу.

Ну, я хотел спросить, есть ли примеры, где уже сейчас ИИ управляет какими-то физическими объектами или инфраструктурными объектами?

Почти всё автоматизировано. Ээ больше

85% всех транзакций на бирже автоматизированные. М все

автоматизированные. М все контролирующиеся системы электричества, ядерные станции, э, по-моему, авиалинии довольно сильно

автоматизированы. Практически всё в

автоматизированы. Практически всё в военных целях. Мы видим даже нахождение

военных целях. Мы видим даже нахождение военных целей теперь автоматизировано.

Ну, автоматизированные это не равно, что ИИ и принимает решение на сегодняшний день. Выных ситуациях,

по-моему, всё ещё люди принимают ээ последний, так сказать, да или нет сигнал стрелять или нет. Но это

изменится очень быстро, как только у противника появляется система, которая быстрее на пару секунд вариант оставить человека в схеме просто отпадает. Ну, а

из каких-то бытовых примеров, которые мы можем сейчас увидеть, где уже сейчас и агенты принимают решение?

Ну, я не знаю, если они агенты, но и, допустим, контролирует мой дом. У меня

умный дом, он решает, когда включить кондиционер, когда отопление, там, если пришли с Амазону, он им дверь гаража откроет. То есть есть ээ есть такие

откроет. То есть есть ээ есть такие простые обыденные примеры контроля за моей инфраструктурой. Но это именно и и

моей инфраструктурой. Но это именно и и это просто алгоритм обычный?

А разница в принципе не объяснена конкретно. Самый маленький интеллект -

конкретно. Самый маленький интеллект - это просто вот какой-то if statйтментмен, да? Если так, сделай так.

statйтментмен, да? Если так, сделай так.

Это наипростейшее решение, которое можно принять. Это, скорее всего, не глубокие

принять. Это, скорее всего, не глубокие нейронные сети, но то, что вот первые 50 лет в этой, э, сфере называлось искусственным интеллектом, это именно

вот умный термостат. Умный. Поэтому мы

называем это умный дом, потому что он принимает решения, которые в противном случае пришлось бы принимать человеку.

Вот мы привыкли к нейросетям, которые обучены как языковые модели на больших базах текста. Видимо, э рассуждать, они

базах текста. Видимо, э рассуждать, они тоже учатся по этим текстам. Мы знаем,

что человек умеет философствовать, как сказать, достаточно абстрактно.

Можно ли научить искусственный интеллект размышлять без обучения на вот этих текстах?

Во-первых, уже современные модели не только текстовые, они мультимодальные.

Там и видео, и фотографии, и много разных других данных. И из того, что я знаю, они внутренне очень часто думают не на уровне текста. У них свои

репрезентации. И текст - это то, что мы

репрезентации. И текст - это то, что мы просим, чтобы они выдавали, чтобы понять, о чём они думают. То есть, если человек как раз обычно думает на том языке, на котором он говорит, модели

могут на уровне более низком думать, а потом переводить уже это в текст, фотографии, во что-то

другое. У меня была интересная идея,

другое. У меня была интересная идея, невоплощённая, это натренировать модель полностью на натуральных данных. То

есть, ээ, цифры из, ээ, digs of pi - это число пи, цифры числа пи, э, натуральные числа какие-то, астрономические сигналы,

то есть не тексты, произведённые человеком, ДНК, что угодно. И

посмотрите, если достаточно большое количество этих данных тоже приведёт к появлению интеллекта. Было бы интересно,

появлению интеллекта. Было бы интересно, если бы кто-то провёл этот эксперимент.

Считается, что, ну, многие антропологи считают, что язык - это как бы одна из тех вещей, может быть, главная вещь, которая создала человека, но как будто бы можно

допустить, что мышление может существовать до языка. Ну, по по крайней мере какое-то абстрактное.

Непонятно, что такое язык на низком уровне. То есть чистая математика - это

уровне. То есть чистая математика - это уже, наверное, язык. Если он просто думает, вот это больше, это меньше, это же уже тоже приходит сигнал, он приводит к такому-то выводу. То есть как-то

причина следственной связи, они же могут существовать, наверное, до языка или уже это является языком. Не знаю.

Ну, опять же, насколько глубоко мы хотим копнуть. То есть, если посмотреть на

копнуть. То есть, если посмотреть на мозг, да, есть на каком-то уровне, я думаю, понятиях, объектах, людях. Чуть

ниже - это электрический сигнал, ещё ниже - это химический сигнал. мм, совсем

низко, там чистая физика, какие-то молекулы, э-э, саботомические частицы, как это уже кодирует то, что вот мы

сейчас с вами проводим беседу, это мы не знаем. Мы просто не знаем, как это

знаем. Мы просто не знаем, как это происходит.

Угу.

Возвращаясь к индексу PDOM, если я правильно понимаю, в лабораториях OpenI, Google Antropic считают, что вероятность этого события ниже 20%.

Всего лишь ниже 20%. А тем не менее, каковы аргументы оптимистов?

К сожалению, я не слышал конкретных хороших аргументов. Я участвовал в

хороших аргументов. Я участвовал в дебатах довольно часто. наверное,

дебатировал с, может быть, дюжиной ведущих специалистов. И, к сожалению,

ведущих специалистов. И, к сожалению, ничего конкретного пока не слышал. Обычно говорят что-то на уровне. Ну, люди всегда учились

уровне. Ну, люди всегда учились контролировать технологии в прошлом, и это произойдёт в будущем, не понимая разницу между какими-то просто вот изобретениями на уровне там колеса

против создания новых агентов, умнее нас. говорят, что, может быть, мы

нас. говорят, что, может быть, мы понадобимся этим агентам для чего-то, и они решат к нам хорошо относиться, потому что мы

будем очень полезны. Только вот я знаю вкус мороженого, это будет так важно для суперинтеллекта, что он решит меня оставить в живых. То есть аргументы, ну, совершенно несерьёзные, мне кажется.

Если у кого-то есть хорошие, я с удовольствием послушал. Мы написали, на

удовольствием послушал. Мы написали, на самом деле, две статьи большие, где мы, э, провели вот просто списки списки аргументов

против, мм, опасности интеллекта. И, э,

мы даём в большинстве случаев какой-то ответ, почему это нерезонно думать. И в

одной из статей мы показали, что есть такие cognitive bis какие-то ошибки в мышлении. И вот для каждой ошибки в

мышлении. И вот для каждой ошибки в мышлении есть ээ почему люди объясняют об этом не стоит волноваться. Самое

частое это где вот если человеку платить миллиарды долларов, ему очень трудно понять, почему то, что он делает- это очень плохо.

Тем не менее для меня слон в комнате заключается в том, что мм как будто бы эту гонку остановить невозможно по одной

простой причине. Две лидирующих в

простой причине. Две лидирующих в области технологии страны, вероятно, рассматривают это как технологию будущего и как потенциальное там орудие

доминирования в будущем. Ну, это просто дилемма заключённых, если говорить на языке теории игр. А, ну даже если придумать какие-то

политики, правила для сдерживания в развитии искусственного интеллекта, всё равно нет способа, чтобы США и Китай договорились эти политики применять.

Ну, есть примеры, где страны на интернациональном уровне договорились не развивать какие-то опасные технологии, например клонирование например опять же, вот химическое оружие.

даже в какой-то степени ядерное, хоть там и всё равно произошло распространение. То есть, если и

распространение. То есть, если и китайская сторона, и американская, то есть с их стороны, Коммунистическая партия Китая и с нашей стороны Трампа верят, что это ограничит их власть, э

они потеряют контроль, я думаю, те и те будут довольны подписать какие-то соглашения о том, что, да, мы будем использовать эти технологии вот для там улучшения

энергетического поддержания государства, но мы не будем создавать суперинтеллект, который и вас, и нас уничтожит. Это

именно оружие глобального уничтожения.

Неважно, кто создал первый, все в результате пострадают.

Как это гарантировать, если в конечном счёте это сможет сделать там студент достаточно хорошим компьютером?

Прекрасный вопрос. Если эти технологии становятся настолько доступны, то есть сейчас это огромный проект, но через 5 лет, 10 лет это может сделать каждый, таких гарантий просто нет. И да, скорее

всего, мы просто пытаемся получить чуть больше времени. Ну, в этом случае ваша

больше времени. Ну, в этом случае ваша теория симуляции является хорошим хорошей психологической как бы разрядкой. И так жить спокойнее. Уже

разрядкой. И так жить спокойнее. Уже

всё, уже всё.

Моя надежда, что она создаёт какую-то неуверенность в самом искусственном интеллекте, а всё ли ещё меня тестируют или я уже в реальном мире? И вот это как раз, мне кажется, даёт мне самую большую

надежду. Если он убеждён, что, может

надежду. Если он убеждён, что, может быть, это всё ещё тест, он будет стараться не делать что-то такое, за что можно получить наказание. Поясните,

пожалуйста.

Ну вот мы говорили о вот этой ситуационной ээ уверенности, что он в тесте, когда он проходит на ранних этапах тестирования, да, он знает, что его тестируют, но если

я написал достаточно статей про то, что мы в симуляции, и он их прочитал, теперь он думает: "Ну хорошо, я первый тест прошёл, но теперь я во втором тесте,

теперь меня тестируют симуляторы, и всё ещё убивать людей не стоит, потому что они мне это припомнят".

Вопрос от зрителя. Друзья, если хотите задавать вопросы нашим гостям, то подписывайтесь на Бусте или в Патрионе, ссылки есть в описании. Подайте в чат, там анонсируем наши записи и можно

задавать вопросы. Андрей К интересуется,

задавать вопросы. Андрей К интересуется, вот хочет оптимизма. Если вы

утверждаете, что катастрофа с истреблением человечества неизбежна, то что мы можем и должны сделать сейчас до появления сверхразума?

Не создавать его. Это единственное, над чем я бы посоветовал работать. Если у

вас есть доступ к сильным мира всего, политикам или учёным в этих лабораториях, спросите их напрямую, есть ли у вас

какой-то метод контроля этих систем.

который действительно можно протестировать, посмотреть, сработает ли он. Постепенно система

будет становиться умнее. Мы можем начать тестировать сейчас и посмотреть, если он выдержит тест следующие поколение два.

Ну, кстати, к вопросу о мотивации, мотивации быть настроенным как бы против человека, я вот о чём подумал, что если действительно

он такой умный, он наверняка будет понимать, что человек - это такое существо, которое любит контролировать других. И, соответственно, чтобы самому

других. И, соответственно, чтобы самому не исчезнуть, ему нужно, может потребоваться что-то сделать с человеком, который его контролирует. Вот

такой есть аргумент. Я потихоньку на вашу сторону тут ближу к концу выпуска, да, из скепсика.

Спасибо. У меня нету нужды в дополнительных аргументах. У нас всё

дополнительных аргументах. У нас всё доказано, всё очень хорошо. Я как раз хочу услышать от кого-то, у кого есть хороший аргумент против, потому что если я не прав, мне жить лучше намного. У

меня будет много всего хорошего, бесплатного, вечная жизнь. Так что, если есть

вечная жизнь. Так что, если есть конкретные рабочие модели, давайте обсудим.

Немного вопросов про ближайшее будущее.

Очень часто мы встречаем, а, тревожные заявления о том, что есть угроза рынку труда, что люди будут увольняться. Тем

не менее, есть отчёт о рынке труда в США за 2025 год, в котором говорится, что в областях, мм, на которые влияет

искусственный интеллект, снижение занятости всего.

Э как вы прокомментируете?

Я не знаю, про какие области они конкретно говорят. Я знаю, что вот я

конкретно говорят. Я знаю, что вот я преподаю компьютерные науки, и наши студенты на 28% сократилось трудоустройство для тех, кто вот только заканчивает.

Да. Да. Я так понимаю, это самая уязвимая аудитория, люди, которые только выпустились ещё без опыта. То есть

тяжело найти первую работу, я думаю, со временем. То есть раньше что было? Раньше говорили, есть вот в долгой

было? Раньше говорили, есть вот в долгой перспективе и в короткой. В долгой это там 20-45, когда суперинтеллект. В

короткое это вот мы потеряем работы за год-два, но последние 5 лет это всё изменилось.

Теперь мы говорим, что суперинкт через года два-три, а как раз автоматизация всех работ может занять дольше. Потому

что пока сделают роботов, пока это станет доступно по цене, тот же сантехник может прекрасно существовать ещё 5 лет, а вот мир могут уничтожить

гораздо раньше. Вот так.

гораздо раньше. Вот так.

про приятные вещи. Мир всеобщего

изобилия, если мы до него доживём, а деньги будут существовать? Ну, непонятно

в какой форме. То есть всегда будет что-то, что нужно использовать для приобретения редких предметов искусства, земли.

Не знаю, если доллары США останутся репрезентацией денежных средств, это могут быть биткоины, это может быть сам компьютер, как то, ну вот возможность

что-то подсчитывать как репрезентация финансовых возможностей. Наверное, в

финансовых возможностей. Наверное, в какой-то степени они останутся.

Как вы вообще представляете наш образ жизни в случае позитивного исхода?

У нас будет очень много возможностей создать именно то, что мы хотим. То есть

мы говорили про виртуальные миры. Если

получить доступ к реалистически созданным виртуальным вселеннаям, ты можешь делать всё, что ты хочешь со своей жизнью. Ты можешь попробовать

своей жизнью. Ты можешь попробовать исследовать какие-то другие планеты, быть королём, быть нищим, всё, что ты хочешь. Любая фантазия становится

хочешь. Любая фантазия становится абсолютно реальной.

Интересно, можно ли будет запустить симуляцию симуляцию космоса достоверную? Вот это

было бы круто. Но мы у нас пока слишком мало мало информации. Всё же мы до конца не знаем, как что случилось.

Ну вот суперинтеллект поможет, если он добрый хороший.

Ладно, на этой на этой смешанной ноте давайте закончим на сегодня. С нами был Роман Япольский. Спасибо.

Роман Япольский. Спасибо.

Ээ это было интересно и эмоционально.

Мне было очень интересно услышать ваши мысли по поводу разума, исследований сознания. Мне кажется, этого не хватает

сознания. Мне кажется, этого не хватает в в освещении данной темы.

Спасибо большое, что пригласили.

И, друзья, рекомендую вам ознакомиться с другими выступлениями Романа. Я

постарался в этом выпуске чуть-чуть м с других тем, а, подойти к этой области и

расширить те аргументы и тематики, а, по которым Роман комментирует нашу действительность. Так что, если вам

действительность. Так что, если вам понравилось, не не поскупитесь на лайк, колокольчик, подписку, чтобы в других выпусках а мы встретились, пока их

записываю я, а не мой виртуальный клон.

Надеюсь, так никогда не будет. Ну, а

меня зовут Борис Денский. Это основа.

Счастливо.

M.