Журнал об IT

Рeзультaтoм дaннoгo тeстa являeтся врeмя трaнскoдирoвaния исxoднoгo видeoрoликa. Рeзультaтoм дaннoгo тeстa являeтся врeмя пaкeтнoй oбрaбoтки всex фoтoгрaфий. Oднaкo в нaшeй мeтoдикe тeстирoвaния кoнeчный (интeгрaльный) рeзультaт нe измeряeтся нeпoсрeдствeннo, a являeтся прoизвoднoй вeличинoй oт нoрмирoвaнныx рeзультaтoв всex тeстoв (кoсвeнный рeзультaт). п.). В тeстe с испoльзoвaниeм прилoжeния MediaCoder x64 0.8.36.5757 oпрeдeляeтся врeмя трaнскoдирoвaния видeoфaйлa. Рaспoзнaвaниe тeкстa
Abbyy FineReader 12 Professional
В зaдaчe пo рaспoзнaвaнию тeкстa испoльзуeтся прилoжeниe Abbyy FineReader 12 Professional. Дaнный тeст xoрoшo рaспaрaллeливaeтся нa всe лoгичeскиe ядрa прoцeссoрa и oтличнo зaгружaeт прoцeссoр. Тo eсть, прeдпoлoжитeльнo, рeзультaты кoдирoвaния 149,6 с и 150,4 с будут зaписaны кaк 150 с (вoзмoжнo, MediaCoder испoльзуeт нe oкруглeниe к ближaйшeму цeлoму, a oтбрaсывaниe дрoбнoй чaсти). Сooтвeтствeннo, и систeмaтичeскaя oшибкa сoстaвит 0,5 бaллa. Рeчь идeт o выпoлнeнии скриптa, кoтoрый зaгружaeт изoбрaжeниe (в нaшeм случae — вeктoрнoe) и прoизвoдит нaд ним нeкoтoрoe кoличeствo oпeрaций. Дaнный тeст являeтся oднoпoтoчным и зaгружaeт лишь oднo ядрo прoцeссoрa, нo нa 100%. Дaнный тeст xoрoшo рaспaрaллeливaeтся нa всe ядрa прoцeссoрa и зaгружaeт иx нa 100%. Adobe Photoshop CC 2015.0.1
В тeстe с испoльзoвaниeм прилoжeния Adobe Photoshop CС 2015.0.1 мы нeмнoгo измeнили зaдaчу. В тесте первоначально архивируется, а потом разархивируется альбом из 24 цифровых фотографий в формате TIFF (размер каждой фотографии — 60,1 МБ). Однако, как показывает практика, есть у данного теста и один серьезный недостаток. Дело в том, что в некоторых тестах результат определяется только с точностью до целого значения секунд — к примеру, в тесте MediaCoder x64 0.8.36.5757. Поэтому время создания слайд-шоу в данном случае будет иметь большой разброс. Создание проекта с использованием Мастера каждый раз приводит к новому результату за счет того, что накладываемые на слайды анимационные эффекты и эффекты перехода выбираются произвольно. Фотографии сделаны камерой Canon EOS 5D Mark II в RAW-формате (размер каждой фотографии — 25 МБ). Естественно, хорошо бы рассчитать погрешность получаемого интегрального результата, а также рассчитать погрешность интегральных результатов по каждой группе тестов. Если результатом является время выполнения тестовой задачи, то нормированный результат получается путем деления времени выполнения задачи референсной системой на время выполнения задачи тестируемой системой:

Полученный таким образом безразмерный результат R, по сути, представляет собой нормированную скорость выполнения задачи тестируемой системой и показывает, во сколько раз время выполнения задачи тестируемой системой больше (или меньше), чем время выполнения той же задачи референсной системой. Исходный тестовый аудиофайл имеет размер 1,65 ГБ. Фотографии имеют разрешение 5760×3840 и размер 29 МБ. Проект рендерится в видеоролик (контейнер AVI) с разрешением 1920×1080 и частотой кадров 30 fps с использованием встроенного рендера без сжатия. Сама тестовая задача не изменилась, она та же, что и в предыдущей версии нашего бенчмарка. А потому отныне для тестирования вместо бенчмарка iXBT Application Benchmark 2015 мы будем использовать новый тестовый пакет iXBT Application Benchmark 2016, который разрабатывался нами под операционную систему Microsoft Windows 10 (64-битную). Как известно, погрешность вычисляемой, а не измеряемой непосредственно величины F, зависящей от переменных {x1, x2… xn}, рассчитывается по формуле:

В качестве примера рассчитаем погрешность интегрального результата по логической группе тестов «Обработка цифровых фотографий». Они обретают смысл лишь при возможности их сопоставления с результатами некой референсной системы. Работа с видеоконтентом
В предыдущей версии бенчмарка мы выделяли две отдельные группы: «Видеоконвертирование и видеообработка» и «Создание видеоконтента». В новой версии приложения Adobe After Effects CC 2015.0.1 отдельная настройка, позволяющая активировать технологию мультипроцессинга, исчезла. Photodex ProShow Producer 7.0.3257
В тесте с применением приложения Photodex ProShow Producer 7.0.3257 используется точно такая же тестовая задача, что и в предыдущей версии бенчмарка. Заключение
В первой части статьи мы рассмотрели набор приложений, который используется в нашей новой методике измерения производител Отдельно подчеркнем, что в случае ноутбука тестирование с использованием бенчмарка iXBT Application Benchmark 2016 производится только при подключении ноутбука к электросети. Результатом данного теста является время пакетной обработки всех фотографий. С каждой фотографией последовательно проделываются следующие действия:
вращение;
обрезка;
изменение размера;
корректировка цвета;
смешение каналов;
применение эффекта сепия;
корректировка контраста;
корректировка светлых и темных тонов;
шумоподавление;
увеличение резкости;
создание виньетки;
вставка текста;
вставка водяного знака;
сохранение в JPG-формате. Собственно, идеология, положенная в основу бенчмарка iXBT Application Benchmark, осталась прежней. Результаты каждого прогона теста можно разделить на две категории: предсказуемый результат, который находится в доверительном интервале среднего значения, и результат, который выходит за рамки доверительного интервала и сильно отличается от всех остальных результатов теста (промах). Скорость инсталляции приложений
Если ранее в тесте на скорость инсталляции и деинсталляции приложений измерялось суммарное время инсталляции и деинсталяции приложения Adobe Premier Pro CС 2014.1, то в новой версии бенчмарка мы измеряем только время инсталляции игры Metro 2033 Reduxe, дистрибутив которой занимает 5 ГБ (время деинсталляции не учитывается). Есть небольшая нагрузка на накопитель. Дабы избежать этого негативного эффекта, с использованием Мастера каждый раз создается новый проект, а вот окончательный экспорт в MPG-фильм всегда производится одного и того же заранее созданного проекта. iXBT Application Benchmark 2015
iXBT Application Benchmark 2016
MediaCoder x64 0.8.33.5680
MediaCoder x64 0.8.36.5757
SVPmark 3.0.3b
SVPmark 3.0.3b
Adobe Premiere Pro CC 2014.1 (Build 8.1.0)
Adobe Premiere Pro CC 2015.0.1 (Build 9.0.1 (36))
Adobe After Effects CC 2014.1.1 (Version 13.1.1.3)
Adobe After Effects CC 2015.0.1 (Version 13.5.1.48)
Photodex ProShow Producer 6.0.3410
Photodex ProShow Producer 7.0.3257
Adobe Photoshop CC 2014.2.1
Adobe Photoshop CC 2015.0.1
—
Adobe Photoshop Lightroom 6.1.1
—
PhaseOne Capture One Pro 8.2
ACDSee Pro 8
ACDSee Pro 8.2.287
Adobe Illustrator CC 2014.1.1 (Build 18.1.1)
Adobe Illustrator CC 2015.0.1 (19.0.1 (64-bit))
Adobe Audition CC 2014.2
Adobe Audition CC 2015.0 (Build 8.0.0.192)
Abbyy FineReader 12 Professional (Build 12.0.101.382)
Abbyy FineReader 12 Professional (Build 12.0.101.382)
WinRAR 5.11 (64-bit)
WinRAR 5.21 (64-bit)
UltraISO Premium Edition 9.6.2.3059
UltraISO Premium Edition 9.6.2.3059
—
Dessault SolidWorks 2016 SP0 Flow Simulation

Как видим, не изменились лишь версии приложений Abbyy FineReader 12 и SVPmark 3.0 (новые версии этих приложений пока еще не появились). В предыдущей версии бенчмарка этот тест не использовался. Если тест подразумевает наличие систематической ошибки, то абсолютная погрешность результата рассчитывается по формуле:

В нашем случае систематическую ошибку за счет округления времени измерения имеют следующие тесты:
MediaCoder x64 0.8.36.5757
SVPmark 3.0.3b
Adobe After Effects CC 2015.0.1

В тесте SVPmark 3.0.3b результат представляется в целых баллах, так что точность представления результата составляет 0,5 балла. Данный тест создает очень большую нагрузку на процессор (все ядра загружаются на 100%) и небольшую загрузку на накопитель. В нашем бенчмарке в качестве референсной системы мы решили использовать ноутбук со следующей конфигурацией:
Процессор
Intel Core i5–3317U
Чипсет
Intel HM77 Express
Память
4 ГБ DDR3–1600 (двухканальный режим)
Графическая подсистема
Intel HD Graphics 4000
Накопитель
SSD 128 ГБ Crucial M4-CT128M4SSD1
Операционная система
Windows 10 Pro (64-битная)
Версия видеодрайвера графического ядра Intel
9.18.10.3186

Собственно, наша референсная система — это ноутбук одного из предыдущих поколений на процессоре Ivy Bridge. Векторная графика
Adobe Illustrator CC 2015.0.1
К группе «Векторная графика» мы отнесли тест на основе приложения Adobe Illustrator CC 2015.0.1. Именно поэтому при тестировании по описанной нами методике используются понятия «интегральная оценка производительности» и «референсная система». В тесте используется тепловой расчет корпуса компьютера, в котором имеются тепловыделяющие элементы и один вентилятор. Причем, как показывает практика, погрешность измерения результата зависит не только от приложения и выполняемой тестовой задачи, но и от конфигурации тестируемого компьютера. Тест
Тестовая задача
MediaCoder x64 0.8.36.5757
не изменилась
SVPmark 3.0
не изменилась
Adobe Premiere Pro CC 2015.0.1
изменена
Adobe After Effects CC 2015.0.1
не изменилась
Photodex ProShow Producer 7.0.3257
не изменилась
Adobe Photoshop CC 2015.0.1
изменена
Adobe Photoshop Lightroom 6.1.1
новая
PhaseOne Capture One Pro 8.2
новая
ACDSee Pro 8.2.287
изменена
Adobe Illustrator CC 2015.0.1
не изменилась
Adobe Audition CC 2015.0
не изменилась
Abbyy FineReader 12 Professional
не изменилась
WinRAR 5.21 (64-bit)
не изменилась
UltraISO Premium Edition 9.6.2.3059
не изменилась
SolidWorks 2016 Flow Simulation
новая
Скорость копирования данных
изменена
Скорость инсталляции приложений
изменена

Итак, рассмотрим используемые нами тестовые задачи более подробно. При этом вполне возможна ситуация, когда в пяти повторах теста будет получен один и тот же результат (допустим, 150 с), но это не означает, что в данном тесте нулевая погрешность измерения результата. В первом тесте производилась обработка 30-секундного видеоролика, которая заключалась в корректировке баланса белого, наложении фильтра Cartoon и наложении 3D-титров c различными эффектами (взрыв, размытие и т. UltraISO Premium Edition 9.6.2.3059
В тесте с использованием приложения UltraISO Premium Edition 9.6.2.3059 производится распаковка ISO-образа размером 3,42 ГБ. Это тесты на основе приложений Adobe Photoshop CС 2015.0.1 (64-битная версия), Adobe Photoshop Lightroom 6.1.1, PhaseOne Capture One Pro 8.2 и ACDSee Pro 8.2.287 (64-битная версия). Результатом данного теста является время распаковки ISO-образа. Кроме того, мы добавили в наш бенчмарк три приложения, которые ранее не использовали. SVPmark 3.0.3b
SVPmark 3.0.3.b — это не приложение, а отдельный тест производительности системы при работе с пакетом SmoothVideo Project (SVP), использующий реальные алгоритмы и параметры, применяющиеся в SVP 3.0. Результатом теста SVPmark 3.0.3b являются баллы, а не время выполнения задачи. Результатом данного теста является время от открытия PDF-документа до полного распознавания текста. Далее мы приводим результаты тестирования нашей референсной системы, рассчитанные по 10 прогонам каждого теста. Результатом теста является суммарное время создание проекта слайд-шоу, включающее в себя время загрузки фотографий, а также время экспорта проекта в фильм. Скорость выполнения тестовых задач является показателем производительности тестируемой системы (чем меньше времени требуется для выполнения тестового задания, тем выше производительность). Продолжительность готового видеоролика составляет 2 мин. Результатом данного теста является время расчета проекта. Параметры результирующего MP3-файла следующие:
битрейт 128 Кбит/с;
частота сэмплирования 48 кГц. Именно поэтому был добавлен второй тест, который был совместим с этой технологией (при наличии достаточного объема оперативной памяти). 35 сек. Тест на основе приложения Adobe Illustrator CC 2015.0.1 плохо распараллеливает нагрузку на ядра процессора, да и уровень загрузки процессора невысокий. В данном тесте определяется скорость расчетов в задачах аэрогидродинамики и теплопередачи. и размером 1,05 ГБ записан в формате MPEG4 Video (H264) и имеет следующие характеристики:
размер
1,05 ГБ
контейнер
MKV
видеокодек
MPEG-4 (H.264)
разрешение
1920×1080
видеобитрейт
42,1 Мбит/с
частота кадров
25 fps
аудиобитрейт
128 Кбит/с
количество каналов
2
частота семплирования
44,1 кГц

Данный видеоролик транскодируется в другой формат с меньшим разрешением. Однако поскольку результат этого теста зависит, преимущественно, от производительности подсистемы хранения данных, мы решили отнести этот тест к логической группе «Файловые операции». PhaseOne Capture One Pro 8.2 64 Bit
В тесте с применением приложения PhaseOne Capture One Pro 8.2 производится пакетная обработка 100 фотографий в формате RAW, снятых камерой Canon EOS 5D Mark III. Если в системе имеется процессорное графическое ядро и отдельная дискретная видеокарта, то при тестировании используется дискретная видеокарта. По результатам всех прогонов теста рассчитывается среднеарифметический результат и среднеквадратичное отклонение. Копирование производится средствами операционной системы Windows 10. Данный тест на 100% загружает все ядра процессора (во всяком случае, в варианте четырехъядерного процессора с технологией Hyper-Threading. Кроме того, он создает нагрузку и на накопитель. И еще раз напомним, что погрешности каждого отдельного теста рассчитываются для доверительного интервала с вероятностью 95%. Поэтому мы решили использовать в новом приложении Adobe After Effects CC 2015.0.1 только один тест (ранее он назывался Adobe After Effects CC 2014 test#2). Результатом тестов является время архивирования и разархивирования. Результатом теста является суммарное время загрузки аудиофайла, его обработки и конвертирования. Для реализации тестовых задач в нашем новом бенчмарке применяются следующие приложения:
MediaCoder x64 0.8.36.5757;
SVPmark 3.0.3b;
Adobe Premiere Pro CC 2015.0.1 (Build 9.0.1 (36));
Adobe After Effects CC 2015.0.1 (Version 13.5.1.48);
Photodex ProShow Producer 7.0.3257;
Adobe Photoshop CC 2015.0.1 (20150722.r.168×64);
Adobe Photoshop Lightroom 6.1.1;
PhaseOne Capture One Pro 8.2 64-bit (Build 8.2.0.124);
ACDSee Pro 8.2.287;
Adobe Illustrator CC 2015.0.1 (19.0.1 (64-bit));
Adobe Audition CC 2015.0 (Build 8.0.0.192);
Abbyy FineReader 12 Professional (Build 12.0.101.382);
WinRAR 5.21 (64-bit);
UltraISO Premium Edition 9.6.2.3059;
Dessault SolidWorks 2016 SP0 с пакетом Flow Simulation. В случае, если в процессе тестирования возникает такой непредсказуемый результат, вызванный предположительно влиянием неучтенных факторов, данный результат не учитывается при расчете среднего значения, а тест повторяется еще раз с тем, чтобы получить предсказуемый результат. Приложения, используемые в тестировании, подобраны таким образом, чтобы они позволяли оценить производительность ноутбука в следующих типовых задачах:
Работа с видеоконтентом;
Обработка цифровых фотографий;
Векторная графика;
Аудиообработка;
Распознавание текста;
Архивирование и разархивирование данных;
Скорость файловых операций;
Научные расчеты. Этот проект входит в пакет SolidWorks Flow Simulation в качестве примера. ACDSee Pro 8.2.287
В тесте на основе приложения ACDSee Pro 8.2.287 используется тот же набор из 20 фотографий в формате RAW, что и в тесте для приложения Adobe Photoshop CС 2015. Результат данного теста определяется в основном производительностью процессора и быстродействием памяти. Измерив время выполнения определенного набора тестовых задач, можно сопоставить его с временем выполнения тех же задач на некоторой референсной системе и таким образом сравнить производительность тестируемой системы с производительностью референсной. Если в предыдущей версии теста производилась пакетная обработка 24 фотографий, то в новой версии — только 20 фотографий. Бенчмарк позволяет задать количество прогонов каждого теста. Фактически, данный тест состоит из трех отдельных частей: открытие файла, адаптивное шумоподавление и конвертирование. Данный тест хорошо распараллеливается на все ядра процессора, однако загрузка ядер процессора небольшая. То есть данная технология используется всегда, и ее не нужно специально включать. В архиваторе WinRAR 5.21 при сжатии данных используется формат RAR5, метод компрессии Best (максимальное сжатие) и размер словаря 32 МБ. В тесте производится экспортирование коллекции фотографий в проект с созданием превью, пакетная обработка фотографий в режиме автоматического улучшения качества (Auto Adjustment) и сохранение фотографий в формате JPEG. Между отдельными слайдами накладываются различные эффекты перехода, а сами слайды анимированы. Результатом данного теста является время обработки изображения. Это Adobe Photoshop Lightroom 6.1.1 и PhaseOne Capture One Pro 8.2, которые используются в бенчмарке для пакетной обработки цифровых фотографий, а также приложение Dessault SolidWorks 2016 SP0 с дополнительным пакетом Flow Simulation. Исходный HD-видеоролик (контейнер MKV) длительностью 3 мин. Отметим, что в сравнении с предыдущей версией этого теста мы увеличили размер тестовой директории. Кроме того, сильно загружен и накопитель. Точнее, при конвертации высокая степень загрузки наблюдается только у одного ядра процессора, а все остальные ядра нагружаются очень слабо. При этом рассчитывается среднеарифметический результат и погрешность измерения для доверительного интервала 0,95 (для расчета используется коэффициент Стьюдента):

В данном случае (для пяти измерений и доверительного интервала 0,95) коэффициент Стьюдента равен:

Результаты и погрешность для референсной системы в этой статье рассчитаны по десяти прогонам, что позволило добиться относительной погрешности результата (отношения абсолютной погрешности к среднему значению, выраженного в процентах) менее 1%. Тест на основе приложения Adobe After Effects CC 2015.0.1 распараллеливается на все ядра процессора, однако загрузка процессора не очень высокая. В данном тесте обновилась лишь версия самого приложения, а тестовая задача используется та же, что и в предыдущей версии бенчмарка. Кроме того, есть нагрузка и на накопитель. Размер результирующего видеролика — 19,1 ГБ. В нашей методике тестирования результаты получаются по пяти прогонам каждого теста. Можно предположить, что наличие промахов вызвано некими неучтенными факторами, оказывающими влияние на тест. Это реальный проект создания видеоролика, где в качестве исходного материала используются отдельные фотографии в различных форматах, множество видеофрагментов, PDF-файлов и PSD-картинок, а также звуковых WAV-файлов. Отметим, что этот же самый ноутбук использовался в качестве референсной системы и в нашей предыдущей методике тестирования. Таким образом, всего к логической группе «Файловые операции» теперь относятся три теста:
тест на скорость инсталляции приложений;
тест на скорость копирования данных;
тест на основе приложения UltraISO Premium Edition 9.6.2.3059. Параметры выходного файла следующие:
размер
490 МБ
контейнер
MP4
видеокодек
MPEG-2
разрешение
1920×1080
видеобитрейт
25,5 Мбит/с
частота кадров
25 fps
аудиобитрейт
384 Кбит/с
количество каналов
2
частота семплирования
48 кГц

Результатом данного теста является суммарное время рендеринга и экспортирования фильма. Результатом данного теста является время пакетной обработки всех фотографий. Приложения, используемые для тестирования
Напомним, что, как и ранее, главная идея, положенная в основу бенчмарка, заключается в измерении времени выполнения тестовых задач, которые реализуются с применением реальных пользовательских приложений. Файловые операции
В предыдущей версии бенчмарка мы выделяли отдельную логическую группу под названием «Скорость инсталляции и деинсталляции приложений». В эту логическую группу входят пять тестов на основе приложений MediaCoder x64 0.8.36.5757, SVPmark 3.0.3b, Adobe Premiere Pro CC 2015.0.1, Adobe After Effects CC 2015.0.1 и Photodex ProShow Producer 7.0.3257. Часть 1: набор приложений, расчет интегрального показателя производительности и оценка погрешности измерения

По уже сложившейся традиции раз в год мы обновляем наш бенчмарк на основе реальных приложений для тестирования ноутбуков, моноблоков и ПК. Кроме того, есть небольшая нагрузка и на накопитель. После этого рассчитывается среднегеометрическое от промежуточных интегральных результатов по всем группам тестов. При открытии аудиофайла процессор практически не загружается, но зато сильно загружен накопитель, с которого производится считывание аудиофайла. Это неизбежное явление, причем различные тесты имеют различную погрешность измерения: какие-то тестовые задачи демонстрируют хорошую стабильность результатов, а в каких-то тестовых задачах наблюдается большой разброс результатов. Еще раз отметим, что наш бенчмарк совместим с операционной системой Windows 10 (64-битной). Для каждого теста приводится среднеарифметический результат и погрешность результата с доверительной вероятностью 95%. 35 сек. Результатом данного теста является время выполнения всего задания. Однако этот тест был несовместим с технологией мультипроцессинга (Multiprocessing, MP), позволяющей рендерить различные кадры на разных ядрах процессора. Научные расчеты
Dessault SolidWorks 2016 SP0 с пакетом Flow Simulation
К логической группе «Научные расчеты» мы отнесли тест с применением приложения Dessault SolidWorks 2016 SP0 с установленным модулем Flow Simulation. Мы при тестировании используем только реальные тесты для видео Full HD c GPU-ускорением. Нужно отметить, что данный тест загружает все ядра процессора, но не на 100%. Сравнение приложений, используемых в предыдущей и новой версиях бенчмарка, приводится в таблице. В процессе экспортирования коллекции основная нагрузка ложится на накопитель.