Web Codegen Scorer оценивает сочинение, сгенерированное ИИ

Команда Angular, работающая в Google, представила Web Codegen Scorer — инструмент для оценки качества веб-кода, сгенерированного LLM (большими языковыми моделями).

Представленный 16 сентября инструмент Web Codegen Scorer фокусируется на генерации веб-кода и комплексной оценке качества, пишет xrust. Отмечается, что этот инструмент помог команде Angular создать точно настроенные подсказки, которые оптимизируют LLM-программы для фреймворка. Инструмент также помогает команде лучше интегрировать функции и синтаксис приложения по мере развития фреймворка.

Web Codegen Scorer можно использовать для принятия обоснованных решений относительно кода, сгенерированного ИИ. Разработчики, например, могут итерировать системные подсказки, чтобы найти наиболее эффективные инструкции для проекта, сравнивать качество кода, созданного разными моделями, и отслеживать качество сгенерированного кода по мере развития моделей и агентов.

Новинка отличается от других бенчмарков кода тем, что она фокусируется на веб-коде и опирается в первую очередь на общепризнанные показатели качества кода. Её можно использовать с любой веб-библиотекой или фреймворком, или без них, а также с любой моделью.