LongCut logo

Нейросети дороже программистов

By Миша Ларченко

Summary

Topics Covered

  • Агенты тратят в тысячи раз больше токенов
  • Эра ИИ-программирования уже сворачивается
  • Эра ИИ только началась, но уже сворачивается из-за дороговизны
  • Кому будут принадлежать модели и сколько это стоит — открытый вопрос

Full Transcript

Suck a punch to my heart. I didn't know you done seeing stars on the floor.

Честно говоря, я был не готов к такому повороту событий. Помните, я много раз

повороту событий. Помните, я много раз вам рассказывал, что компании увольняют разработчиков, чтобы заменить их на искусственный интеллект. И таких

искусственный интеллект. И таких компаний More и они не скрывают, что всё делается ради И предыдущем выпуске новостей я вам рассказал, что Microsoft отказывается от подписок на CLД код, потому что это дорого. И на тренинге,

которые я провожу, я со студентами вчера попытался обдумать, почему так происходит. И одно из мнений Microsoft

происходит. И одно из мнений Microsoft может пушить своих разработчиков, это, кстати, моё мнение, использовать свой собственный коilй. А если вспомнить, что

собственный коilй. А если вспомнить, что Питер Швайнберг - это человек, который придумал Open Clow. Его потом наняли работать в Open AI, там он сейчас и работает. Так вот, он сказал, что его

работает. Так вот, он сказал, что его команда тратит токенов на 1. 300.000

долларов в месяц, то можно понять, что токены - это прямо очень-очень дорого. И

тут китайцы решили посчитать, почему так происходит. И они назвали основной

происходит. И они назвали основной причиной завышенной траты токенов вот эти вот продвинутые агенты искусственного интеллекта. те самые

искусственного интеллекта. те самые клод-коды антигравити курсоры кодексы и всё остальное. Если вы программировали с помощью Е-агентов, точнее, когда вы программировали с помощью Еагентов, вы, наверное, смотрели на то, что делает

агент, когда размышляет, когда использует инструменты, и вы можете увидеть, что он делает огромное, огромное огромное огромное огромное количество шагов, когда что-то там выполняет. Так вот, эти самые

выполняет. Так вот, эти самые продвинутые агенты, в том числе для программирования, тратят в тысячи, в тысячи раз больше токенов на одну задачу, чем простой запрос к условному чат GPT. Экономика за этими расчётами

чат GPT. Экономика за этими расчётами достаточно простая. Когда вы пишете

достаточно простая. Когда вы пишете какой-то запрос к чату GPT, есть у него какой-то свой небольшой системный промт, затем ваш запрос, и он вам что-то отвечает. Это малая информация, которая

отвечает. Это малая информация, которая уходит в чат GPT, и такая же маленькая информация, которая приходит из чата GPT. Когда же вы используете агентов, то

GPT. Когда же вы используете агентов, то выполнение любого инструмента или чтение любого файла у вас на компьютере или даже переход по какой-то ссылке или изучение ссылки в интернете, это не и

модель делает, это делает обычный код.

И- модель же она между выполнениями этих инструментов. Поэтому, когда и модель

инструментов. Поэтому, когда и модель вам пишет код, она вызывается много-много много раз. И каждый из этих вызовов - это ваш большой контекст, потому что в и- редакторе кода или в и агенте для написания кода там очень

много контекста. Всякие скилы,

много контекста. Всякие скилы, инструменты, внутренний системный промт, какие-то ваши костомные макдау файлы. И

все вот эти вызовы lm сопровождаются отправкой всего этого контекста. То

есть, по сути, чат GPT позволяет вам выполнить один запрос, один ответ. любой

Еагент - это десятки запросов и десятки ответов, иногда даже сотни. И с ценой на токены вообще ничего непонятно. Прямо

сейчас она постепенно растёт и уже объявлены увеличение цен в том же капалите, например, начиная с июня, то есть вот буквально со следующего месяца. Но

предполагается, что токены должны постоянно дешеветь, так как обучение очень сильно замедлилось, информации недостаточно и пик практически, как мне кажется, достигнут. Ну, в общем,

кажется, достигнут. Ну, в общем, обучение точно замедлилось, то и стоит оно значительно меньше. А это чуть ли не основные затраты больших и компаний. Это

обучение собственных моделей, покупка данных, обработка данных, подготовка датасетов и так далее и тому подобное.

Так как теперь на это тратится денег меньше, то, по идее, конечная цена генерации токенов для пользователя должна стать ниже. Но, к сожалению, пока этого не происходит. Не происходит

только потому, что токены прямо сейчас дешевле, чем они должны быть. Насколько

я понимаю, компании, которые используют искусственный интеллект для программирования и хотят заменить работников, ожидают, что в придачу к тому, что выросла эффективность тех разработчиков, которых оставили, ещё и

подешевеет цена использования и этими разработчиками в какой-то там ближайшей перспективе. Я, правда, лично в

перспективе. Я, правда, лично в удешевлениние от ближайший год точно не верю. И поэтому как-то выглядит это

верю. И поэтому как-то выглядит это странно. Вроде и эра только началась, мы

странно. Вроде и эра только началась, мы только получили и агента для программирования, они крайне эффективны.

А складывается ситуация, что всё это постепенно начинает сворачиваться, потому что очень дорого. Естественно,

нейросе с нами навсегда. Они крайне

полезны, мы будем программировать только с помощью них. Но какие это будут модели? Кому они будут принадлежать? И

модели? Кому они будут принадлежать? И

сколько это стоит? Всё ещё открытый вопрос.

Loading...

Loading video analysis...