OpenAI и другие ведущие компании в области искусственного интеллекта разрабатывают новые методы обучения, чтобы преодолеть ограничения существующих методов. Эти новые методы, направленные на преодоление непредвиденных задержек и сложностей в разработке более крупных и мощных языковых моделей, ориентированы на поведение, подобное человеческому, чтобы научить алгоритмы «думать».
Как сообщается, новые методы обучения, лежащие в основе недавней модели «o1» (ранее Q* и Strawberry) компании OpenAI, разработанной под руководством десятка исследователей, учёных и инвесторов, могут изменить подход к разработке ИИ. Сообщается, что эти достижения могут повлиять на типы и количество ресурсов, необходимых компаниям, работающим в сфере ИИ, в том числе специализированное оборудование и энергию для разработки моделей ИИ.
Модель o1 предназначена для решения задач таким образом, чтобы имитировать человеческое мышление и рассуждение, разбивая многочисленные задачи на этапы. Модель также использует специализированные данные и отзывы экспертов в области ИИ для повышения своей эффективности.
С тех пор как в 2022 году компания OpenAI представила ChatGPT, произошёл всплеск инноваций в области ИИ, и многие технологические компании утверждают, что существующие модели ИИ нуждаются в расширении, будь то за счёт увеличения объёма данных или улучшения вычислительных ресурсов. Только в этом случае модели ИИ смогут постоянно совершенствоваться.
Теперь эксперты в области ИИ сообщают об ограничениях при масштабировании моделей ИИ. 2010-е годы были революционным периодом для масштабирования, но Илья Суцкевер, соучредитель лабораторий ИИ Safe Superintelligence (SSI) и OpenAI, говорит, что обучение моделей ИИ, особенно в понимании языковых структур и закономерностей, замедлилось.
«2010-е были эпохой масштабирования, а теперь мы снова вернулись в эпоху чудес и открытий. Сейчас важнее масштабировать правильные вещи», — сказали они.
В последнее время исследователи из лаборатории ИИ столкнулись с задержками и трудностями при разработке и выпуске больших языковых моделей (LLM), которые более мощные, чем модель GPT-4 от OpenAI.
Во-первых, есть затраты на обучение больших моделей, которые часто исчисляются десятками миллионов долларов. А из-за возникающих сложностей, таких как сбои оборудования из-за сложности системы, окончательный анализ работы этих моделей может занять месяцы.
Помимо этих проблем, для обучения требуется значительное количество энергии, что часто приводит к перебоям в подаче электроэнергии, которые могут нарушить процессы и повлиять на энергосистему в целом. Ещё одна проблема заключается в огромном количестве данных, которые используют большие языковые модели. Сообщается, что модели ИИ использовали все доступные данные по всему миру.
Исследователи изучают метод, известный как «вычисления во время тестирования», чтобы улучшить существующие модели ИИ на этапах обучения или вывода. Этот метод может включать в себя генерацию нескольких ответов в режиме реального времени для выбора наиболее подходящих решений. Таким образом, модель может выделять больше ресурсов для обработки сложных задач, требующих принятия решений и рассуждений, как у человека. Цель — сделать модель более точной и функциональной.
Ноам Браун, исследователь из OpenAI, который помогал разрабатывать модель o1, привёл пример того, как новый подход может дать удивительные результаты. На конференции TED AI в Сан-Франциско в прошлом месяце Браун объяснил, что «если бот думает всего 20 секунд во время раздачи в покере, это даёт такой же прирост производительности, как если бы модель была увеличена в 100 000 раз и обучалась в 100 000 раз дольше».
Вместо того чтобы просто увеличивать размер модели и время обучения, это может изменить способ обработки информации моделями ИИ и привести к созданию более мощных и эффективных систем.
Сообщается, что другие лаборатории ИИ разрабатывают версии метода o1. К ним относятся xAI, Google DeepMind и Anthropic. Конкуренция в мире ИИ не является чем-то новым, но мы можем увидеть значительное влияние новых методов на рынок ИИ-оборудования. Такие компании, как Nvidia, которая в настоящее время доминирует на рынке ИИ-чипов из-за высокого спроса на свою продукцию, могут особенно сильно пострадать от обновлённых методов обучения ИИ.
В октябре Nvidia стала самой дорогой компанией в мире, и рост её благосостояния во многом объясняется использованием её чипов в массивах ИИ. Новые технологии могут повлиять на положение Nvidia на рынке, вынудив компанию адаптировать свою продукцию для удовлетворения растущего спроса на оборудование для ИИ. Потенциально это может открыть новые возможности для конкурентов на рынке логического вывода.
Возможно, на горизонте замаячила новая эра развития ИИ, обусловленная растущими требованиями к оборудованию и более эффективными методами обучения, такими как те, что используются в модели o1. Будущее как моделей ИИ, так и компаний, стоящих за ними, может измениться, открывая беспрецедентные возможности и усиливая конкуренцию.