OpenAI якобы завершила предтренировку Bel с 10 трлн параметров

OpenAI завершила очередной этап предтренировки модели Bel, утверждает Leo, автор аккаунта @synthwavedd в X. По его словам, система может насчитывать более 10 трлн параметров и стать основой для продуктов, которые появятся после GPT-6.

OpenAI не подтверждала существование Bel, её размер, этап разработки и сроки возможного выпуска. Поэтому все сведения о модели пока остаются неофициальными.

Что источник говорит о Bel, Doug и GPT-6

По версии Leo, Bel следует в линейке OpenAI за моделью Doug. Последнюю он называет базовой моделью для Astra и GPT-6. Перед применением в продуктах Doug, как утверждает источник, должна пройти обучение с подкреплением — reinforcement learning, или RL.

GPT-6 и Astra публично не представляли с техническими деталями. Из этого следует, что продукты на базе Bel, если информация о разработке верна, не относятся к ближайшим подтверждённым релизам OpenAI.

Предтренировка — начальный этап обучения большой модели на крупных массивах данных. На нём формируются базовые навыки работы с текстом, кодом, изображениями и другими типами данных. После этого модель могут дообучать под конкретные задачи, в том числе с помощью RL.

Заявленные 10 трлн параметров требуют подтверждения

Главное утверждение Leo — более 10 трлн общих параметров у Bel. Параметры — числовые значения нейросети, которые меняются во время обучения. Однако их количество само по себе не показывает возможности модели: на результат влияют архитектура, данные, вычислительные ресурсы и последующее дообучение.

Источник также считает масштаб предтренировки Bel сопоставимым с GPT-4.5, но не поясняет, о какой метрике идёт речь: числе токенов, вычислениях или длительности обучения. OpenAI не публиковала таких данных.

Связь с AGI остаётся предположением

Leo утверждает, что в OpenAI могут рассматривать Bel как основу для модели, близкой к AGI — универсальному искусственному интеллекту. Обычно под AGI понимают систему, способную решать широкий круг интеллектуальных задач, а не одну узкую задачу.

Из публикаций источника не следует, что OpenAI заявляла о создании AGI или называла Bel такой системой. Компания не раскрывала критерии, тесты и целевые показатели возможной модели.

Источник также пишет о конкуренции с Anthropic

По словам Leo, OpenAI не ожидает быстрого ответа Anthropic на Astra. В качестве одной из причин он называет ограничения конкурента по вычислительным ресурсам, необходимым для обучения и запуска крупных моделей.

Anthropic публично не комментировала эту оценку, а также планы, связанные с Astra, Doug или Bel. До заявлений компаний информацию о завершении предтренировки Bel, её параметрах и роли в будущих продуктах OpenAI стоит считать неподтверждённой.

XRUST.RU будет следить за официальными комментариями OpenAI и Anthropic.