Добро пожаловать в Shenzhen Mingjiada Electronics Co., Ltd.

Недавно процессоры Intel ® Xeon ® Scalable пятого поколения прошли тест производительности серверных систем искусственного интеллекта (AISBench), организованный Китайским национальным институтом стандартизации электронной техники. Intel стала одной из первых компаний, прошедших тест AISBench на производительность вычислений на основе большой языковой модели (LLM).

Основываясь на соответствующих требованиях национального стандарта «Спецификация тестов производительности серверных систем ИИ» (проект для публичных комментариев), лаборатория Saixi Китайского национального института стандартизации электронных технологий (CNIET) завершила тест производительности и точности рассуждений на основе больших моделей ИИ для пятого поколения масштабируемых процессоров Intel Xeon с использованием тестового инструмента AISBench 2.0. В ходе теста Intel Xeon пятого поколения продемонстрировал отличную производительность при вычислении моделей ChatGLM V2-6B (6 миллиардов параметров) и Llama2-13B (13 миллиардов параметров), что позволяет удовлетворить требования к вычислению в режиме реального времени для легких больших языковых моделей.

В этом однокомпьютерном тесте производительности набор данных был создан в закрытом тестовом сценарии с использованием сервера пятого поколения на базе Intel Xeon, который удовлетворяет требованиям нормальной скорости чтения (задержка генерации менее 100 миллисекунд):

В обобщенном выводе модели ChatGLM V2 с 6 миллиардами параметров производительность достигает 2493 лексем в секунду при последовательности ввода-вывода 256, и до 926 лексем в секунду при последовательности ввода-вывода 2048.

В рассуждениях общего назначения для модели Llama2 с 13 миллиардами параметров производительность составляет до 513 токенов в секунду при последовательности вход-выход 256 и до 132 токенов в секунду при последовательности вход-выход 2048.1 Модель Llama2 - это процессор общего назначения, который разработан для работы на уровне производительности процессора общего назначения.

Будучи процессором общего назначения, Intel Xeon пятого поколения обеспечивает превосходную производительность в ключевых рабочих нагрузках, таких как ИИ, сети, системы хранения данных, базы данных и т. д. Результаты тестирования в AISBench 2.0 подтверждают превосходную производительность Intel Xeon при выполнении легких моделей с большим количеством языков, что позволяет заказчикам создавать системы ИИ общего назначения для предварительной обработки данных с использованием серверов на базе Xeon, вывода и развертывания моделей, что обеспечивает сочетание производительности, эффективности, точности и масштабируемости ИИ. Это также подчеркивает способность Intel Xeon предоставлять предприятиям функциональность «из коробки», когда часть рабочих нагрузок ИИ может быть развернута на системе общего назначения, что дает клиентам преимущество по совокупной стоимости владения (TCO).

Жесткие и мягкие Xeon демонстрируют преимущества ИИ

Встроенный в Intel Xeon ускоритель ИИ не только делает его идеальным решением для выполнения некоторых рабочих нагрузок ИИ на процессорах общего назначения, но и оснащает его оптимизированным, простым в программировании открытым программным обеспечением, которое снижает барьеры для заказчиков и экологических партнеров при развертывании широкого спектра решений на базе ИИ в ЦОД, от облака до интеллектуальных границ.

Процессоры Intel Xeon Scalable пятого поколения в полной мере используют преимущества системного уровня (включая кэш, память и т. д.) и, как следствие, обеспечивают значительное повышение скорости вычислений.

Встроенный ускоритель искусственного интеллекта Intel ® Advanced Matrix Extensions (AMX) позволяет полностью использовать вычислительные ресурсы, предоставляя специальный модуль ускорения матричных операций (TMUL), а также поддержку низкоточных типов данных, таких как INT8 и BF16, что приводит к значительному повышению эффективности вычислений.

xFasterTransformer (xFT) - это глубоко оптимизированное открытое решение Intel для развертывания больших языковых моделей на платформах CPU, которое легче использовать и интегрировать в собственные бизнес-фреймворки с помощью двух API-интерфейсов: C++ и Python.

Об AISBench

Эталоны AISBench - это набор эталонов для тестирования производительности вычислительных продуктов на основе искусственного интеллекта, разработанный Китайским национальным институтом стандартизации электронных технологий. Подобно международным эталонам передовых вычислений, таким как MLPerf, эталон используется для тестирования широкого спектра форм вычислительных продуктов ИИ и поддерживает богатое разнообразие сценариев, режимов, типов и метрик тестирования.