Журнал об IT

Опубликован отчёт о развитии проекта FreeBSD с января по март 2016 года.

Основные достижения:

• Системы хранения и файловые системы
  • Для FreeBSD развивается порт распределённого хранилища Ceph. Порт пока охватывает только объектное хранилище RADOS (Object Storage), блочное устройство RBD (Ceph Block Device) и файловая система CephFS пока не портированы. Итоговой целью проекта является предоставление возможности развёртывания кластера Ceph с узлами хранения на базе FreeBSD и ZFS, а также поддержка запуска виртуальных машин bhyve на виртуальных дисках, развёрнутых поверх блочного устройства Ceph RBD;
  • В состав FreeBSD 11-CURRENT добавлен код, реализующий в механизме управления ресурсами RCTL возможность ограничения пропускной способности операций с файловой системой. Поддерживается ограничение полосы пропускания чтения/записи (байт в секунду) и интенсивности операций ввода/вывода (число операций чтения/записи в секунду). Также представлен новый механизм придерживания запуска процессов в условиях превышения лимита;
  • В дерево исходных текстов FreeBSD 11-CURRENT добавлен планировщик ввода/вывода CAM I/O scheduler, который позволяет разделять различные типы ввода/вывода, давая возможность привязать ограничения к типам и характеристикам ввода/вывода (в том числе учитывать задержки при обработке недавних запросов, относительно средних показателей). Например, можно сделать операции чтения более приоритетными, чем запись, контролировать пропускную способность, интенсивность запросов и число одновременных операций, собирать статистику о вводе/выводе. Планировщик удобно использовать для адаптации системной нагрузки к производительности SSD-накопителей или для решения специфичных задач, таких как отдача данных для потокового вещания видео. По умолчанию планировщик отключен, для активации следует пересобрать ядро с опцией «options CAM_ADAPTIVE_IOSCHED»;
  • Во FreeBSD HEAD улучшена производительность и повышена стабильность модуля filemon, предназначенного для отслеживания файловых операциях других процессов. Например, filemon может применяться вместе с bmake для контроля зависимостей при сборке;
• Система
  • Обеспечена экспериментальная поддержка использования компоновщика lld, развиваемого проектом LLVM, для динамического связывания объектных файлов FreeBSD. Началось формирование тестовых сборок базовой системы FreeBSD/amd64 с применением lld вместо GNU BFD ld. Ещё наблюдаются отдельные проблемы, но, в целом, lld уже может использоваться при сборке пользовательского окружения FreeBSD. Для ядра FreeBSD и загрузчика lld пока непригоден из-за ограничений в вычислении выражений в скриптах компоновки и отсутствия поддержки некоторых опций;
  • Для libthr представлена реализация блокировок, разделяемых между процессами (блокировки с атрибутом PTHREAD_PROCESS_SHARED), не нарушающая совместимость ABI.
  • В загрузчике UBLDR реализована возможность многослойных конфигураций FDT (Flattened Device Tree), описывающих не только встроенные аппаратные ресурсы, но и подключаемые к плате компоненты (например, LCD и GPS, подключенные к Raspberry Pi, будут отображены в отдельном слое FDT, который дополнит базовый слой);
  • Проведена проверка ядра FreeBSD статическим анализатром PVS Studio, которая выявила около 1000 подозрительных фрагментов в коде, которые с большой вероятностью являются ошибками или неаккуратным кодом. Многие из этих ошибок уже исправлены или идентифицированы как ложные срабатывания;
  • Обновлён инструментарий для работы с объектными файлами в формате ELF, эквивалентный набору GNU Binutils, но распространяемый под лицензией BSD. Внесены существенные улучшения в работу утилит elfcopy, readelf и elfdump, добавлена поддержка архитектур RISC-V и AArch64. Предлагаемая инструментарием утилита elfcopy теперь поставляется как objcopy. Готовятся к замене утилиты objdump, ld и as;
  • Во FreeBSD HEAD продолжена работа по усовершенствованию системы сборки buildworld. В качестве опции реализован режим WITH_FAST_DEPEND, позволяющий обойтись без запуска «make depend» за счёт генерации файлов ».depend» во время компиляции. При активации режима время сборки сокращается на 15–35%. Налажена работа режимов WITHOUT_TOOLCHAIN и WITHOUT_CROSS_COMPILER (с опцией »—sysroot»);
• Сетевая подсистема
  • Расширены возможности сервера NFS. В демон nfsuserd добавлена новая опция »-manage-gids», позволяющая на стороне сервера жестко привязать список сопоставления групп с идентификаторами пользователей без обработки списков групп через запросы NFS RPC. Указанная опция позволяет обойти лимит NFS RPC в 16 групп при использовании режима AUTH_SYS. Кроме того, отмечается работа над поддержкой pNFS для NFS-серверов, использующих бэкенд GlusterFS;
• Изолированные окружения, эмуляторы, безопасность и ограничения ресурсов
  • Доступен для тестирования патч с реализацией механизма защиты ASLR (Address Space Layout Randomization) для FreeBSD, рандомизирующий отображение в память (memory mapping) любых нефиксированных структур. Выбор случайного смещения базового производится с учётом запрошенного выравнивая по границе суперстраницы и для минимизации фрагментации в таблице страниц памяти. Включение ASLR поддерживается для архитектур i386, amd64 (+compat 32-bit) и ARMv6. Патч не основан на реализации ASLR от проекта HardenedBSD, так и не перенесённой в кодовую базу FreeBSD;
  • Продолжается развитие набора FreeBSD Integration Services (BIS), предоставляющего средства для работы в гостевых системах под управлением гипервизора Hyper-V и облачной платформы Azure. Ведётся работа по увеличению производительности, стабильности и функциональности драйверов для синтетических сетевых адаптеров и устройств хранения HyperV. Проведён рефакторинг драйвера VMBus. Готовятся для включения поддержка live-бэкапов, операций TRIM/Unmap и виртуальных машин с интерфейсом UEFI (Hyper-V Generation-2 VM);
• Поддержка оборудования
  • Загружен для рецензнирования переработанный стек MMC/SD, переведённый на использование фреймворка CAM, что позволило задействовать в нём уже хорошо проверенную модель организации блокировок и средства для отладки, а также делает возможным обработку прерываний при подключении карты, необходимую для реализации поддержки интерфейса SDIO. Новый стек также позволяет использовать интерфейс CAM для отправки SD-команд из приложений в пространстве пользователя, что позволяет создавать драйверы устройств, работающие на уровне пользователя. За отчётный период был подготовлен новый драйвер imx_sdhci для SD-контроллеров iMX, который дополнил собой драйвер ti_sdhci для SD-контроллеров плат BeagleBone Black;
  • Доступна новая реализация кода для поддержки горячего подключения плат PCI-express. Большая часть кода по обработке событий hotplug вынесена в драйвер PCI-PCI. В утилиту devctl добавлены новые команды rescan и delete для проведения повтронного сканирования устройств на шине PCI. Реализация опробована на устройствах с слотом ExpressCard;
  • Расширена поддержка одноплатных компьютеров на базе ARM-процессоров Allwinner. Добавлена поддержка SoC A31/A31S, I2C, HDMI, Audio HDMI, Pinmux/GPIO, A10/A20 DMA и т.п. В процессе реализация OHCI, USB OTG, SoC A83T и H3;
  • Компания Mellanox готовит значительное обновление стека Infiniband — Mellanox OFED v3.2 (Mellanox OpenFabrics Enterprise Distribution). Изменения коснулись компонентов ядра (ibcore), драйверов (mlx4/mlx5) и библиотек (librdma, libibverbs);
  • Инициирован проект по портированию FreeBSD для AmigaOS-совместимых систем AmigaOne X5000, построенных на базе SoC Freescale QorIQ. Обеспечена поддержка процессоров серии e5500, ведётся работа по поддержке многоядерных процессоров и созданию драйверов eSDHC, SATA и VGA (текущие сборки загружаются с использованием serial console);
  • Значительно улучшена и стабилизирована работа на платах Cavium ThunderX (arm64). Добавлена поддержка свежих вариантов платы, увеличена производительность сетевых драйверов, задействованы все Ethernet-порты (1, 10, 40 Gbps);
  • Представлен проект по задействованию SPE-расширений (Signal Processing Engine), доступных в SoC NXP/Freescale e500v2. Так как SPE ABI не совместим с традиционным ABI для SPI добавлена новая архитектура (MACHINE_ARCH) powerpcspe. Ядро и базовый инструментарий уже успешно запускаются на плате RouterBoard RB800;
• Приложения и система портов
  • Обновлён графический стек. В портах libglapi, libGL, libEGL, libglesv2, gbm и dri задействован новый выпуск Mesa 11.1.2 (ведётся тестирование порта с 11.2.0). Драйвер i915 обновлён до кодовой базы, используемой в ядре Linux 3.8.13, и теперь поддерживает GPU Haswell;
  • В порты добавлены выпуски окружений GNOME 3.18 и MATE 1.12. Стартовала работа по портированию GNOME 3.20. Доступен тестовый порт Cinnamon 2.8. При сборке вместо bsd.gnome.mk и bsd.mate.mk задействованы более простые Uses/gnome.mk и Uses/mate.mk;
  • Проведена адаптация новых версий десктоп-оболочки KDE и фреймворка Qt для FreeBSD. В порты помещены релизы CMake 3.4.2 и 3.5.0, Calligra 2.9.11, KDE Telepathy 0.9.0, Qt 5.5.1. Добавлен первый коммит, готовящий порты к переходу на KDE Frameworks 5 и Plasma 5. В экспериментальных репозиториях доступны KDE Frameworks 5.20.0, Plasma 5.6.1 и KDE Applications 16.03.80. Добавлены экспериментальные порты с Qt 5.6 — qt56-base и qt56-multimedia, которые можно использовать для сборки приложений для Raspberry Pi и мобильных устройств. Из основных задач отмечается включение в основное дерево портов KDE Frameworks 5 и Plasma 5;
  • Дерево портов FreeBSD держится на уровне 25 тысяч портов, число незакрытых PR достигло отметки в 1900. За отчётный период закрыто около 2500 PR и внесено приблизительно 7 тысяч изменений. Из наиболее значительных обновлений портов отмечаются ruby 2.3, ruby-gems 2.5.1, CMake 3.5.0, clang 3.8.0-r258968, Qt5 5.5.1, GNOME 3.18, boost 1.60.0, libc++ 3.8.0. Обновлены порты с компонентами CentOS. Для архитектур x86 по умолчанию задействован LLVM libunwind. При определении зависимостей в Makefiles потов теперь можно не указывать ${PORTSDIR};
  • Отладчик GDB обновлён в портах до выпуска 7.11, задействована поддержка отладки потоков с использованием ptrace;
  • Порт с платформой GitLab, предоставляющей средства для организации совместной работы с Git-репозиториями, обновлён с GitLab 7.14 до выпуска 8.5.5, который использует Rails 4.2 и существенно упрощает решение проблем с зависимостями.
  • Началась работа по удалению из портов устаревшей ветки Ruby on Rails 3.2, которая сосуществует с Rails 4.2. Из портов, пока не избавленных от привязки к Rails 3.2, отмечается www/redmine;