Буквально на прошлой неделе на техническом саммите компании на Гавайях был представлен новый Qualcomm Snapdragon 8 Gen 1. Последний набор микросхем Qualcomm включает в себя целый ряд серьезных улучшений по всем направлениям, что делает его одним из самых интересных устройств Qualcomm за долгое время. Хотя компания не решалась предоставлять подробные технические подробности по некоторым аспектам (включая пренебрежение упоминанием названия версии Adreno или Kryo), мы все же смогли запустить ряд популярных тестов на эталонном устройстве Snapdragon 8 Gen 1. Эти тесты помогают установить базовый уровень ожидаемой производительности для будущих флагманов в 2022 году, что дает нам еще одну вещь, на которую стоит рассчитывать в следующем году.
На эталонном устройстве Snapdragon 8 Gen 1 мы провели один целостный тест (AnTuTu), тест, ориентированный на процессор (Geekbench), тест, ориентированный на графический процессор (GFXBench), и тесты MLPerf. Каждый тест запускался трижды, и мы взяли среднее из трех результатов. Qualcomm по умолчанию включила параметр «UI Perf Mode», который мы отключили, поскольку он эффективно пытается заставить приложения для тестирования работать на ядрах Prime, чтобы получить немного более высокий балл в некоторых тестах. Также стоит отметить, что как только мы получим коммерческое устройство с Qualcomm Snapdragon 8 Gen 1, мы повторно проведем эти тесты.
Если вам интересно ознакомиться со всеми спецификациями и функциями мобильной платформы Qualcomm Snapdragon 8 Gen 1, которую компания сделала доступной на данный момент, я рекомендую прочитать наше объяснение по Qualcomm Snapdragon 8 Gen 1. Для быстрого ознакомления, Я составил таблицу, в которой сравниваются ключевые характеристики эталонного устройства Qualcomm Snapdragon 8 Gen 1 и двух других эталонных устройств, использованных в этом тестовом сравнении. Вы можете найти эту диаграмму ниже перед результатами тестов.
Qualcomm предоставила нам набор ожидаемых результатов тестов, основанных на их собственном тестировании. Мы использовали это только для справки, и внизу этой статьи доступна таблица, содержащая результаты тестов, которые Qualcomm ожидала от эталонного устройства.
Об этой статье: Qualcomm спонсировала моего коллегу Рича Вудса для участия в саммите Snapdragon Tech Summit в Коне, Гавайи. Компания оплатила его рейс и гостиницу. Однако Qualcomm не внесла никаких изменений в содержание этой статьи.
Результаты теста Qualcomm Snapdragon 8 Gen 1
Технические характеристики испытательного устройства
| Qualcomm Snapdragon 8 поколения 1
(Эталонное устройство Qualcomm) |
Qualcomm Snapdragon 888
(Эталонное устройство Qualcomm) |
Qualcomm Snapdragon 865
(Эталонное устройство Qualcomm) |
|
|---|---|---|---|
| Процессор |
|
|
|
| GPU | Новый графический процессор Adreno (не указан) | Adreno 660 | Adreno 650 |
| Отображать |
|
|
|
| AI |
|
|
|
| объем памяти | 8 ГБ LPDDR5 @ 3200 МГц, 16 ГБ |
|
|
| Место хранения | 512 ГБ UFS 3.1 | 512 ГБ UFS 3.0 | 128 ГБ UFS 3.0 |
| Интернет-провайдер |
|
|
|
| Производственный процесс | 4нм (вероятно, Samsung) | 5 нм (5LPE от Samsung) | 7 нм (TSMC N7P) |
| Версия программного обеспечения | Android 12 | Android 11 | Android 10 |
Обзор тестов. Щелкните, чтобы развернуть.
Обзор тестов
- AnTuTu : Это целостный тест. AnTuTu тестирует производительность ЦП, графического процессора и памяти, включая как абстрактные тесты, так и, в последнее время, соответствующие имитации взаимодействия с пользователем (например, подтест, который включает прокрутку ListView). Окончательная оценка взвешивается в соответствии с соображениями дизайнера.
- GeekBench : тест, ориентированный на ЦП, который использует несколько вычислительных нагрузок, включая шифрование, сжатие (текста и изображений), рендеринг, физическое моделирование, компьютерное зрение, трассировку лучей, распознавание речи и вывод сверточной нейронной сети на изображениях. В разбивке по счетам приводятся конкретные показатели. Окончательная оценка взвешивается в соответствии с соображениями разработчика, при этом большое внимание уделяется целочисленной производительности (65%), затем производительности с плавающей запятой (30%) и, наконец, криптографии (5%).
- GFXBench : нацелен на имитацию рендеринга графики видеоигр с использованием новейших API. Множество экранных эффектов и качественных текстур. В более новых тестах используется Vulkan, а в старых — OpenGL ES 3.1. Выходные данные — это кадры во время теста и кадры в секунду (по сути, другое число, деленное на длину теста), а не взвешенный балл.
- Aztec Ruins : эти тесты являются самыми трудоемкими в вычислительном отношении, предлагаемыми GFXBench. В настоящее время лучшие мобильные чипсеты не могут поддерживать скорость 30 кадров в секунду. В частности, тест предлагает геометрию с действительно большим количеством полигонов, аппаратную тесселяцию, текстуры с высоким разрешением, глобальное освещение и множество карт теней, обильные эффекты частиц, а также эффекты цветения и глубины резкости. Большинство из этих методов задействуют шейдерные вычислительные возможности процессора.
- Manhattan ES 3.0 / 3.1 : этот тест остается актуальным, учитывая, что современные игры уже достигли предполагаемой графической точности и реализуют те же методы. Он имеет сложную геометрию, использующую несколько целей рендеринга, отражения (кубические карты), рендеринг сетки, множество отложенных источников освещения, а также цветение и глубину резкости на этапе постобработки.
- MLPerf Mobile: MLPerf Mobile — это тест с открытым исходным кодом для тестирования производительности мобильного ИИ. Он был создан MLCommons, некоммерческим открытым инженерным консорциумом, чтобы «обеспечить прозрачность и равные условия для сравнения систем, программного обеспечения и решений машинного обучения». Первая итерация MLPerf Mobile обеспечивает тест производительности вывода для небольшого количества задач компьютерного зрения и обработки естественного языка. Для получения дополнительной информации см. Документ «MLPerf Mobile Inference Benchmark: Почему бенчмаркинг мобильного ИИ сложен и что с этим делать».
- Классификация изображений: этот тест включает в себя определение метки, применяемой к входному изображению. Типичные варианты использования включают поиск по фотографиям или извлечение текста. Используемая эталонная модель — MobileNetEdgeTPU с параметрами 4M, набор данных — ImageNet 2012 (224 × 224), а целевой показатель качества составляет 98% от FP32 (76,19% Top-1).
- Сегментация изображения: этот тест включает разбиение входного изображения на помеченные объекты. Типичные варианты использования включают автономное вождение или дистанционное зондирование. Используемая эталонная модель — DeepLab v3 + с параметрами 2M, набор данных — ADE20K (512 × 512), а целевой показатель качества составляет 93% от FP32 (0,244 mAP).
- Обнаружение объектов: этот тест включает рисование ограничивающих рамок вокруг объектов, а также предоставление меток для этих объектов. Типичные варианты использования включают ввод с камеры, например, для обнаружения опасностей или анализа дорожного движения во время вождения. Эталонной моделью является SSD-MobileNet v2 с 17 млн параметров, набор данных — COCO 2017 (300 × 300), а целевой показатель качества составляет 97% от FP32 (54,8% mIoU).
- Обработка языка: этот тест включает в себя разговорные ответы на вопросы. Типичные варианты использования включают поисковые системы в Интернете. Эталонной моделью является MobileBERT с параметрами 25M, набор данных — это mini Squad (Stanford Question Answering Dataset) v1.1 dev, а целевой показатель качества составляет 93% от FP32 (93,98% F1).
Результаты тестов
AnTuTu
Начиная с AnTuTu, мы видим, что эталонное устройство Qualcomm Snapdragon 8 Gen 1 набрало значительно больше, чем в предыдущие годы, с большим увеличением примерно на 240 000 баллов по сравнению с прошлым годом. Это довольно серьезное улучшение примерно на 33%, что намного превышает обещания Qualcomm об улучшении скорости на 20%. Это только один тест, но AnTuTu — отличный инструмент для сравнения необработанных вычислительных возможностей между устройствами, даже если не все из них переводятся в реальное использование.
Geekbench
Однако в Geekbench 5.0 это совсем другая история. Snapdragon 8 Gen 1 практически не демонстрирует никаких преимуществ по сравнению с эталонным устройством Snapdragon 888 по сравнению с прошлым, и на самом деле даже падает в производительности, когда дело доходит до многоядерных процессоров. Это не значит, что у нас ничего не получилось — Qualcomm предоставила нам информационную страницу с результатами тестов, которых можно ожидать от Snapdragon 8 Gen 1, и они соответствуют тому, чего следует ожидать. Фактически, одноядерная производительность была выше, чем верхняя граница, которую нам дала Qualcomm, тогда как многоядерная производительность была на 20 пунктов ниже нижней границы ожидаемого.
Сказав это, я думаю, ясно, что каким бы ни был тест, это не тестирование, в котором Qualcomm внесла улучшения. Другие наши тесты показывают значительные улучшения по сравнению с чипсетами предыдущих лет.
GFXBench
Qualcomm мало что раскрывает о новом графическом процессоре Adreno в Snapdragon 8 Gen 1, поэтому мы мало что можем сказать о графическом процессоре, кроме увеличения производительности. Мы не знаем количество ядер, мы не знаем частоту, и у нас даже нет номера версии. В тесте GFXBench Manhattan, который использует OpenGL ES 3.0 API и визуализирует сцену 1080p за кадром, Snapdragon 8 Gen 1 имел среднюю частоту кадров 221 кадр / с, что примерно на 31% и 75% выше, чем частота кадров, достигнутая Snapdragon 888 и 865 соответственно. В тесте Aztec Ruins от GFXBench, который использует графический API Vulkan и визуализирует сцену 1080p за кадром, Snapdragon 8 Gen 1 имел среднюю частоту кадров 41 кадр / с. Однако здесь есть одна оговорка; предыдущие результаты на эталонных устройствах были протестированы в разрешении 1080p, тогда как единственный тест Aztec Ruins, к которому мы имели доступ, был в разрешении 1440p. Увеличение до 1080p требует одновременного рендеринга на 43,75% больше пикселей, поэтому производительность в этом тесте снизилась.
Только некоторые из самых лучших игр для Android требуют много мощности графического процессора, но улучшенная производительность графического процессора полезна не только для игр. Сказав это, игры, безусловно, являются главной причиной, по которой люди будут заботиться о результатах этих тестов, и Snapdragon 8 Gen 1, похоже, обеспечивает на 35% более быструю визуализацию графики и на 20% лучшую энергоэффективность в годовом исчислении. Однако эти результаты демонстрируют только пиковую производительность графического процессора, поэтому нам придется вернуться к GFXBench, как только мы получим коммерческое оборудование, чтобы запустить долгосрочные тесты производительности.
МЛПерф
Когда дело доходит до улучшений искусственного интеллекта, Qualcomm особенно осторожно относится к конкретным деталям. У нас нет данных по TOPS (триллион операций в секунду), но у нас есть некоторая информация о других улучшениях. Например, существует третье поколение сенсорного концентратора компании, и оно также продемонстрировало ряд других специфичных для SoC функций на Гавайях.
Однако нам трудно продемонстрировать, насколько значительным на самом деле является этот скачок в производительности. Мы подробно говорили о трудностях тестирования ИИ во время интервью с Трэвисом Ланье, Гэри Бротманом и Зиадом Асгаром из Qualcomm. Хорошая новость заключается в том, что после наших обсуждений с руководителями Qualcomm были достигнуты значительные успехи в области тестов ИИ.
Наиболее многообещающие тесты, доступные в настоящее время, представлены в виде MLPerf Mobile — теста мобильного ИИ с открытым исходным кодом, поддерживаемого несколькими поставщиками SoC, поставщиками фреймворков машинного обучения и производителями моделей. Его первоначальная партия результатов мобильного логического вывода является общедоступной, поэтому мы использовали эти результаты для сравнения Snapdragon 8 Gen 1 с Snapdragon 888 в Xiaomi Mix 4, Dimensity 1100 в Vivo S9 5G и Exynos 2100 в Samsung Galaxy S21. Плюс. Мы не получили результатов по задержке — только данные о пропускной способности — поэтому мы не наносили на график полные результаты, представленные поставщиками для проверки MLCommons.
В этих избранных тестах компьютерного зрения и обработки логических выводов мы видим, что эталонное устройство Qualcomm Snapdragon 8 Gen 1 на сегодняшний день достигло наивысших баллов во всех четырех тестах. В целом, Deme density 1100 показала довольно плохие результаты. Qualcomm Snapdragon 888 по-прежнему уверенно превосходит других в этом тесте, но Snapdragon 8 Gen 1 находится на другом уровне во всех этих тестах.
Будет интересно посмотреть, какие приложения и функции могут создать разработчики и OEM-производители с использованием искусственного интеллекта Snapdragon 8 Gen 1. Компьютерное зрение будет играть особенно важную роль во многих функциях видеосъемки с улучшенным ИИ, которые мы, вероятно, увидим в 2022 году. в то время как улучшенная производительность NLP может аналогичным образом повлиять на смежные аспекты видео, такие как запись звука. Такие компании, как Google, работающие над Google Tensor, также будут подталкивать других поставщиков SoC в этом отделе.
Вывод
Таблица, которую Qualcomm предоставила нам с ожидаемыми результатами тестов, приведена ниже, и вы можете видеть, что она в основном соответствует результатам, которых мы достигли выше.
Ожидаемые результаты тестов эталонного дизайна Snapdragon 8 Gen 1 (от Qualcomm)
| Контрольный показатель | Версия | Метод | Ожидаемый диапазон оценок | |
|---|---|---|---|---|
| Система | Geekbench ST | v5.4.2 | В среднем 3 итерации | ~ 1220–1233 |
| Система | Geekbench MT | v5.4.2 | В среднем 3 итерации | ~ 3770–3810 |
| Система | AnTuTu | v9.2.1 | В среднем 3 итерации | 1-й пробег: ~ 1м
В среднем из 3 итераций: ~ 980 КБ |
| Система | PCMark | Версия 3.0.4061 | В среднем 3 итерации | ~ 17 тыс. |
| Браузер (Chrome v95.0.4638.74 64-бит) | Ettream | v2.0 | В среднем 3 итерации | ~ 135 — 140 |
| Браузер | Спидометр | v2.0 | В среднем 3 итерации | ~ 123 — 126 |
| Браузер | WebXPRT | v3.0 | В среднем 3 итерации | ~ 194 — 197 |
| AI | AITuTu | v2.0 | В среднем 3 итерации | ~ 2,550,000 — 2,600,000 |
| AI | AIMark | v3.0 | В среднем 3 итерации | ~ 97 тыс. |
| AI | MLPerf (на отдельном QRD, так как запуск занимает 30 минут) | v1.1 | В среднем 3 итерации |
|
| AI | ETH AIB | v4.0.4 | В среднем 3 итерации | ~ 530–550 тыс. |
| Графика | GFXBench Manhattan 3.0 Offscreen (1080p) (FPS) | v5.0 | В среднем 3 итерации | ~ 267 — 268 кадров в секунду |
| Графика | GFXBench T-Rex — За кадром (1080p) (FPS) | v5.0 | В среднем 3 итерации | ~ 450 — 452 кадра в секунду |
| Графика | GFXBench Manhattan 3.1 Offscreen (1080p) (FPS) | v5.0 | В среднем 3 итерации | ~ 176 кадров в секунду |
| Графика | GFXBench Car Chase Offscreen (1080p) ES3.1 (FPS) | v5.0 | В среднем 3 итерации | ~ 97 — 98 кадров в секунду |
| Графика | GFXBench Aztec Ruins Vulkan (Высокий уровень) За кадром (1440p) (FPS) | v5.0 | В среднем 3 итерации | ~ 49 кадров в секунду |
| Графика | GFXBench Aztec Ruins OpenGL (High Tier) Offscreen (1440p) (FPS) | v5.0 | В среднем 3 итерации | ~ 43 кадра в секунду |
Snapdragon 8 Gen 1 приносит массу улучшений по сравнению с прошлогодним чипсетом, особенно когда речь идет об искусственном интеллекте. Хотя в результатах Geekbench, связанных с процессором, определенно есть некоторая странность, очевидно, что есть повсеместные улучшения. Если вы обновляетесь с устройства на два года старше (или старше), улучшения, вероятно, будут заметны, хотя значительный прирост производительности ИИ, вероятно, останется незамеченным большинством. Когда дело доходит до чипсетов Qualcomm, компании редко используют весь потенциал ИИ, и, вероятно, здесь снова будет то же самое.
Также стоит отметить, что с ростом конкуренции, возможно, стоит подождать, чтобы увидеть, что Samsung и MediaTek сделают дальше. Чипсет Dimensity 9000 потенциально может превзойти Snapdragon 8 Gen 1, когда дело доходит до производительности, и мы пока не так много знаем о грядущем Exynos 2200. Я лично с нетерпением жду возможности пересмотреть эти тесты на коммерческом устройстве в будущем, особенно в более контролируемых условиях.
