LLM

Google представила OpenRL — экспериментальный API с открытым исходным кодом, который должен упростить одну из самых сложных задач современной разработки искусственного интеллекта: постобучение и тонкую настройку больших языковых моделей (LLM), пояснили xrust. Новый проект позволяет запускать процессы обучения на собственной инфраструктуре Kubernetes, отделяя исследовательскую работу от управления вычислительными ресурсами. Сегодня создание современных ИИ-моделей уже не ограничивается их первоначальным обучением. После выпуска базовой версии разработчики продолжают улучшать качество ответов, адаптируют модели под специализированные задачи и обучают их новым сценариям взаимодействия. Именно этот этап — post-training — считается одним из наиболее ресурсоемких и сложных. Что предлагает OpenRL Разработчики Google создали OpenRL как универсальный API, который берет на себя управление инфраструктурой обучения. Исследователям больше не нужно вручную координировать вычислительные узлы или

LLM, такие как GPT и PaLM, меняют методы работы и взаимодействия, обеспечивая работу всего: от помощников-программистов до универсальных чат-ботов. Однако, запуск этих невероятно мощных моделей обходится очень дорого, зачастую в 10 раз дороже, чем традиционный поиск по ключевым словам. Скрытый пожиратель памяти: кэш KV LLM имеет в основе модель Transformer, которая генерирует текст по одному слову за раз, пишет xrust. Для эффективной работы необходимо запоминать «контекст» предыдущих токенов. Эта память хранится в так называемом кэше «ключ-значение» (KV). Можно представить его как кратковременную память LLM для разговора. Проблема в том, что этот кэш KV огромен, и его размер динамически увеличивается и уменьшается для каждого запроса. Существующие системы сталкиваются с этой проблемой, поскольку обычно хранят кэш KV в одном непрерывном блоке памяти. Такой подход приводит к двум серьёзным проблемам. Первая - Фрагментация памяти: Внутренняя фрагментация. Системы заранее выделяют

LLM, большие языковые модели, продемонстрировали превосходную производительность в понимании языка, генерации текста, синтезе кода и многих других задачах. Однако, математические рассуждения им по-прежнему не по зубам. Недавно разработчики ИИ научили его решать некоторые математические головоломки, пишет xrust. На победном пути стояли тонкие настройки, использующие синтетические данные. Экспериментальные результаты с моделью open-llama-3B на трех различных тестовых наборах данных показывают, что модель выдает правильное решение. ИИ дали следующий набор чисел: 34, 18, 31. 41, 19, 55. Проводя над ними операции, нужно было получить «-110». Следует отметить, что отсутствие специальной математической подготовки стало основным препятствием при выработке алгоритма решения. Однако, задача была решена.

Вместо обычного поиска «забронировать столик» Алиса скоро сама заполнит форму и завершит заказ. Xrust.ru узнал: Яндекс готовит бета-версию «Яндекс.Браузера» с ИИ-агентом на базе больших языковых моделей — летом помощник не просто найдёт информацию, а совершит действие на сайте. От запроса к действию ИИ-агент способен: Анализировать данные и принимать решения по заданным параметрам Взаимодействовать с формами сайтов: бронировать, оплачивать, регистрировать Обучаться на ошибках и ускорять решения клиентских задач в 2–3 раза Xrust.ru считает: это шаг к браузеру, где поисковая строка превращается в волшебную палочку реальных действий.