Windows контейнеры вручную. Часть 6: Изоляция Hyper-V: контейнер в своей виртуальной машине

Все части серии «Windows контейнеры вручную»

До сих пор все контейнеры серии работали с изоляцией процессов: на ядре хоста, внутри server silo. В первой части изоляция Hyper-V только упоминалась: контейнер с ней не запустился, потому что на стенде не было компонента Hyper-V. Сегодня поставим этот компонент и посмотрим, чем контейнер в своей виртуальной машине отличается от обычного: что видно с хоста, что видно изнутри, откуда у него ядро и зачем всё это нужно.

Чем изоляция Hyper-V отличается от изоляции процессов на уровне понятий, объяснено в части 36 серии о Kubernetes. Здесь — вживую.


Компонент Hyper-V

Для изоляции Hyper-V нужен гипервизор. Наш стенд сам — виртуальная машина Hyper-V, поэтому гипервизор внутри неё работает только при вложенной виртуализации. На хосте Hyper-V, где живёт стенд:

Get-VMProcessor wincont-lab | Format-List ExposeVirtualizationExtensions
Get-VM wincont-lab | Format-List MemoryStartup, DynamicMemoryEnabled, ProcessorCount
ExposeVirtualizationExtensions : True

MemoryStartup        : 8589934592
DynamicMemoryEnabled : False
ProcessorCount       : 4

Вложенная виртуализация включена (Set-VMProcessor -ExposeVirtualizationExtensions $true на выключенной машине), память статическая — 8 ГБ: с динамической памятью вложенная виртуализация не работает. На самом стенде:

Install-WindowsFeature Hyper-V
Restart-Computer
WARNING: You must restart this server to finish the installation process.

Success Restart Needed Exit Code      Feature Result
------- -------------- ---------      --------------
True    Yes            SuccessRest... {Hyper-V}

Модуль PowerShell для Hyper-V (Get-VM и остальные) этой командой не ставится, и он нам не понадобится: служебные виртуальные машины контейнеров видны через HCS.


Первый контейнер с изоляцией Hyper-V

У nerdctl изоляция задаётся ключом --isolation. Сравним время запуска одного и того же ver, а образ скачаем заранее, чтобы замер показывал только запуск:

$nano = 'mcr.microsoft.com/windows/nanoserver:ltsc2025'
nerdctl pull $nano
"process: {0:N1} s" -f (Measure-Command { nerdctl run --rm $nano cmd /c ver }).TotalSeconds
"hyperv:  {0:N1} s" -f (Measure-Command { nerdctl run --rm --isolation hyperv $nano cmd /c ver }).TotalSeconds
process: 2,2 s
hyperv:  5,4 s

На три секунды дольше: это загрузка виртуальной машины. Запустим контейнер надолго и посмотрим на него с хоста:

nerdctl run -d --name hv --isolation hyperv $nano ping -t localhost
hcsdiag list
Get-Process vmmem, vmwp | Format-Table Name, Id, SessionId, @{n='WS(MB)';e={[int]($_.WorkingSet64/1MB)}}
"ping processes on the host: $(@(Get-Process ping -ErrorAction SilentlyContinue).Count)"
95bec69df9de5357ab538b3f073767fd857027075871faf65e8f0ca9cda6d203
95bec69df9de5357ab538b3f073767fd857027075871faf65e8f0ca9cda6d203@vm
    VM,                       	Running, 60E95BC8-FAA0-54CA-B79E-CBE1CABD3D2F, containerd-shim-runhcs-v1.exe

Name    Id SessionId WS(MB)
----    -- --------- ------
vmmem 6244         0    375
vmwp  5604         0     31

ping processes on the host: 0

Три отличия от контейнера с изоляцией процессов:

  • hcsdiag list показывает не Windows Server Container, а VM с идентификатором контейнера и суффиксом @vm. Третье поле — идентификатор виртуальной машины в Hyper-V.
  • На хосте появились два процесса Hyper-V: vmwp — рабочий процесс, который обслуживает виртуальную машину, и vmmem — её память, 375 МБ.
  • Процесса ping на хосте нет. При изоляции процессов процессы контейнера были обычными процессами хоста в своём сеансе, а здесь они работают внутри виртуальной машины, и хост их не видит.

Что HCS знает об этой системе, покажет hcsctl из пятой части:

$id = (nerdctl inspect hv | ConvertFrom-Json).Id
hcsctl props "$id@vm"
hcsctl props $id
{
    "Id": "95bec69df9de5357ab538b3f073767fd857027075871faf65e8f0ca9cda6d203@vm",
    "SystemType": "VirtualMachine",
    "Owner": "containerd-shim-runhcs-v1.exe",
    "RuntimeId": "60e95bc8-faa0-54ca-b79e-cbe1cabd3d2f",
    "State": "Running"
}
hcsctl: HcsOpenComputeSystem 95bec69df9de5357ab538b3f073767fd857027075871faf65e8f0ca9cda6d203: 0x8037010E

На хосте есть только виртуальная машина — система типа VirtualMachine, служебная (utility VM). Самого контейнера среди систем хоста нет: он создан внутри виртуальной машины, и открыть его по имени снаружи нельзя (0x8037010E — система не найдена). Запустить процесс в самой служебной машине тоже не выйдет:

hcsdiag exec -uvm "$id@vm" cmd /c ver
The request is not supported.

Ключ -uvm в справке hcsdiag есть, но служебная машина Windows-контейнера запуск процессов не поддерживает. Доступ внутрь — только в сам контейнер, через nerdctl exec.


Изнутри

Посмотрим, каким компьютер видится изнутри контейнера. Нужен PowerShell, поэтому возьмём Server Core, а маленький скрипт — он же probe.ps1 в репозитории — подключим из папки хоста:

New-Item -ItemType Directory C:\lab\probe -Force | Out-Null
@'
$cs = Get-CimInstance Win32_ComputerSystem
"Model: $($cs.Model); CPUs: $($cs.NumberOfLogicalProcessors); memory: $([int]($cs.TotalPhysicalMemory / 1MB)) MB"
"Kernel: $((Get-Item C:\Windows\System32\ntoskrnl.exe).VersionInfo.ProductVersion)"
'@ | Set-Content C:\lab\probe\probe.ps1 -Encoding ascii
$sc = 'mcr.microsoft.com/windows/servercore:ltsc2025'
$m = '-v', 'C:\lab\probe:C:\probe:ro'
nerdctl run --rm @m $sc powershell -NoProfile -File C:\probe\probe.ps1
nerdctl run --rm --isolation hyperv @m $sc powershell -NoProfile -File C:\probe\probe.ps1
Model: Virtual Machine; CPUs: 4; memory: 8191 MB
Kernel: 10.0.26100.33648
Model: Virtual Machine; CPUs: 2; memory: 1023 MB
Kernel: 10.0.26100.33648

Virtual Machine в обоих случаях — это сам стенд, он виртуальная машина. Но контейнер с изоляцией процессов видит все 4 процессора и 8 ГБ хоста, а контейнер с изоляцией Hyper-V — 2 процессора и 1 ГБ: столько по умолчанию получает служебная машина. И у неё свой Windows целиком, с самого начала загрузки:

nerdctl run --rm --isolation hyperv $sc powershell -NoProfile -Command "Get-Process | Sort-Object Id | Select-Object -First 6 | Format-Table Name, Id, SessionId"
Name     Id SessionId
----     -- ---------
Idle      0         0
System    4         0
smss    276         0
csrss   484         1
wininit 540         1
lsass   700         1

Idle и System с номерами 0 и 4 сами по себе ни о чём не говорят: контейнер с изоляцией процессов видит их тоже, это процессы ядра, общего с хостом. Отличие — в том, что идёт за ними: smss с маленьким номером и сеанс 1. Это первая загрузка своей Windows, а не ещё один сеанс на хосте.

Ресурсы служебной машины

--cpus задаёт число процессоров служебной машины:

nerdctl run --rm --isolation hyperv --cpus 4 @m $sc powershell -NoProfile -File C:\probe\probe.ps1
Model: Virtual Machine; CPUs: 4; memory: 1023 MB
Kernel: 10.0.26100.33648

А с --memory на стенде служебная машина не создаётся вовсе, с любым размером — я пробовал 1, 1,5, 2 и 4 ГБ:

nerdctl run --rm --isolation hyperv --memory 2g @m $sc powershell -NoProfile -File C:\probe\probe.ps1
time="2026-11-08T12:57:05+03:00" level=error msg="failed to accept stdout connection on \\\\.\\pipe\\ctr-62eacd9a3fc1666d106349ba1f1e4e16a8fefeb835acdfd9163bfaf08be49d39-stdout" error="use of closed network connection"
time="2026-11-08T12:57:05+03:00" level=error msg="failed to accept stderr connection on \\\\.\\pipe\\ctr-62eacd9a3fc1666d106349ba1f1e4e16a8fefeb835acdfd9163bfaf08be49d39-stderr" error="use of closed network connection"
time="2026-11-08T12:57:05+03:00" level=fatal msg="failed to create shim task: error while creating the compute system: hcs::CreateComputeSystem 62eacd9a3fc1666d106349ba1f1e4e16a8fefeb835acdfd9163bfaf08be49d39@vm: winapi error #2147749931"

Код 0x8004102B сам по себе ничего не объясняет, но причина есть в журнале HCS:

Get-WinEvent -LogName Microsoft-Windows-Hyper-V-Compute-Admin -MaxEvents 3 | Sort-Object RecordId | Format-Table Id, LevelDisplayName, Message -AutoSize
   Id LevelDisplayName Message
   -- ---------------- -------
40014 Error            Memory virtual quantity above maximum.
40024 Error            Memory limit above maximum.
40030 Error            Memory reservation above maximum.

Памяти запрошено больше допустимого — хотя просим всего 2 ГБ. Посмотрим, что nerdctl записал в спецификацию контейнера:

$a = 'io.microsoft.virtualmachine.computetopology.memory.sizeinmb'
nerdctl create --name m1 --isolation hyperv --memory 2g $nano cmd /c ver | Out-Null
$id = (nerdctl inspect m1 | ConvertFrom-Json).Id
$spec = (ctr containers info $id | ConvertFrom-Json).Spec
$spec.annotations.$a
$spec.windows.resources.memory.limit
nerdctl rm -f m1
2147483648
2147483648

Вот и ошибка, причём в nerdctl, а не в Hyper-V. Размер служебной машины hcsshim берёт из аннотации …memory.sizeinmb, и значение в ней — мегабайты. nerdctl записывает туда то же число, что и в resources.memory.limit, то есть байты (строка 73 в run_windows.go), и HCS получает просьбу создать машину на 2 147 483 648 МБ — два петабайта. Проверить это легко: «2048 байт» дают машину на 2 ГБ.

nerdctl run --rm --isolation hyperv --memory 2048 @m $sc powershell -NoProfile -File C:\probe\probe.ps1
Model: Virtual Machine; CPUs: 2; memory: 2047 MB
Kernel: 10.0.26100.33648

Обойти ошибку можно, задав аннотацию явно: она перекрывает значение, которое записал nerdctl.

nerdctl run --rm --isolation hyperv --memory 2g --annotation "$a=2048" @m $sc powershell -NoProfile -File C:\probe\probe.ps1
Model: Virtual Machine; CPUs: 2; memory: 2047 MB
Kernel: 10.0.26100.33648

Откуда у неё ядро

Строка Kernel пока везде одна — 10.0.26100.33648, как у хоста. Это версия файла ntoskrnl.exe на диске контейнера, и о запущенном ядре она сама по себе не говорит. А у служебной машины ядро своё, и берётся оно не с хоста, а из образа. В третьей части мы видели в базовом слое папку UtilityVM, а в четвёртой — что она приходит в архиве слоя рядом с Files. Это и есть система служебной машины. Скачаем ещё три старых образа и посмотрим на ядра во всех слоях с UtilityVM:

nerdctl pull mcr.microsoft.com/windows/nanoserver:ltsc2022
nerdctl pull --platform windows/amd64 mcr.microsoft.com/windows/nanoserver:1809
nerdctl pull --platform windows/amd64 mcr.microsoft.com/windows/servercore:ltsc2019
$s = 'C:\ProgramData\containerd\root\io.containerd.snapshotter.v1.windows\snapshots'
Get-ChildItem $s -Directory | Where-Object { Test-Path "$($_.FullName)\UtilityVM" } | Sort-Object { [int]$_.Name } | ForEach-Object {
    [pscustomobject]@{ Snapshot = $_.Name; Kernel = (Get-Item "$($_.FullName)\UtilityVM\Files\Windows\System32\ntoskrnl.exe").VersionInfo.ProductVersion }
} | Format-Table
Snapshot Kernel
-------- ------
127      10.0.26100.33648
134      10.0.26100.32230
135      10.0.26100.33648
144      10.0.20348.5773
145      10.0.17763.9376
146      10.0.17763.7919
147      10.0.17763.9376

Номера снапшотов и образы:

Снапшот Образ Слой
127 nanoserver:ltsc2025 единственный
134, 135 servercore:ltsc2025 базовый и накопительное обновление
144 nanoserver:ltsc2022 единственный
145 nanoserver:1809 единственный
146, 147 servercore:ltsc2019 базовый и накопительное обновление

У Server Core два слоя с UtilityVM: базовый и слой обновления, каждый со своим ядром. Строка Kernel у контейнера Server Core 2025 выше показывала 33648 — версию файла из верхнего слоя, 135, а не из базового, 134.

Ключ --platform windows/amd64 для образов 2019 нужен потому, что без него containerd отказывается их скачивать: «no match for platform in manifest». В первой части мы видели в config.toml строку platforms = ['windows(10.0.26100)/amd64', ...], и образ сборки 17763 под неё не подходит, а образ 2022 подходит — Windows Server 2025 запускает его и с изоляцией процессов. Теперь образ 2019 в обоих режимах:

$old = 'mcr.microsoft.com/windows/servercore:ltsc2019'
nerdctl run --rm --platform windows/amd64 @m $old powershell -NoProfile -File C:\probe\probe.ps1
nerdctl run --rm --platform windows/amd64 --isolation hyperv @m $old powershell -NoProfile -File C:\probe\probe.ps1
time="2026-11-08T12:57:16+03:00" level=fatal msg="hcs::System::Start 5981c0690b763d5bf7303b831a0113044e613fe33b6ab6c21524c4432e4343e7: The container operating system does not match the host operating system."
Model: Virtual Machine; CPUs: 2; memory: 1023 MB
Kernel: 10.0.17763.9376

Вот зачем нужна изоляция Hyper-V. С изоляцией процессов образ Windows Server 2019 на хосте Windows Server 2025 не запускается: пользовательская часть системы сборки 17763 не работает с ядром сборки 26100. С изоляцией Hyper-V запускается, а строка Kernel показывает 10.0.17763.9376 — ту же версию, что у ядра в UtilityVM верхнего слоя образа, снапшот 147. Но строка Kernel — это всё ещё файл на диске контейнера. Какое ядро работает на самом деле, спросим у него самого: ядро записывает номер своей сборки в KUSER_SHARED_DATA, страницу памяти, общую для всех процессов, по адресу 0x7FFE0260:

$k = '[Runtime.InteropServices.Marshal]::ReadInt32([IntPtr]0x7FFE0260)'
nerdctl run --rm $sc powershell -NoProfile -Command $k
nerdctl run --rm --platform windows/amd64 --isolation hyperv $old powershell -NoProfile -Command $k
26100
17763

Контейнер с изоляцией процессов работает на ядре хоста, сборки 26100, а контейнер с изоляцией Hyper-V — на своём, 17763. Служебная машина загружает Windows из образа контейнера, поэтому ядро и пользовательская часть всегда одной сборки. Правила, какие образы на каких хостах запускаются, разобраны в части 39 серии о Kubernetes.

По машине на контейнер

nerdctl run -d --name hv2 --isolation hyperv --platform windows/amd64 mcr.microsoft.com/windows/nanoserver:1809 ping -t localhost
hcsdiag list
Get-Process vmmem, vmwp | Format-Table Name, Id, @{n='WS(MB)';e={[int]($_.WorkingSet64/1MB)}}
nerdctl rm -f hv hv2
df35c8aa56f8f91e526df0c81a1c9c257bc9408530f0b45345a1cfabf390d531
95bec69df9de5357ab538b3f073767fd857027075871faf65e8f0ca9cda6d203@vm
    VM,                       	Running, 60E95BC8-FAA0-54CA-B79E-CBE1CABD3D2F, containerd-shim-runhcs-v1.exe
df35c8aa56f8f91e526df0c81a1c9c257bc9408530f0b45345a1cfabf390d531@vm
    VM,                       	Running, 7B8A9D5B-C2F0-573B-A3C8-9A75B1F2A804, containerd-shim-runhcs-v1.exe

Name    Id WS(MB)
----    -- ------
vmmem 6176    264
vmmem 6244    474
vmwp  5604     30
vmwp  6460     30

Два контейнера — две служебные машины, у каждой свои vmmem и vmwp. Контейнеры разных сборок — 2025 и 2019 — работают рядом, каждый на своём ядре. Цена — память и время запуска: сотни мегабайт и несколько секунд на контейнер против почти нуля у изоляции процессов.


Убираем за собой

Образы и папка этой части больше не понадобятся:

nerdctl rmi mcr.microsoft.com/windows/nanoserver:ltsc2025 mcr.microsoft.com/windows/servercore:ltsc2025 mcr.microsoft.com/windows/nanoserver:ltsc2022 mcr.microsoft.com/windows/nanoserver:1809 mcr.microsoft.com/windows/servercore:ltsc2019
Remove-Item C:\lab -Recurse -Force

Для образов 2019 nerdctl напишет предупреждение failed to enumerate rootfs: их платформа не совпадает с платформой хоста. На удаление это не влияет. Компонент Hyper-V остаётся на сервере.


А сами?

В пятой части мы создавали контейнер с изоляцией процессов одним документом HCS. С изоляцией Hyper-V shim делает больше: создаёт служебную машину из UtilityVM образа, ждёт её загрузки, подключает к ней слои и уже внутри неё создаёт контейнер — через службу внутри служебной машины, а не через HCS хоста. Мы это видели: контейнера среди систем хоста нет, а запустить процесс в самой машине HCS не даёт. Повторить это в hcsctl — значит повторить протокол shim со служебной машиной, а это уже не «руками», а свой shim. Поэтому здесь мы остановимся на том, что видно снаружи и изнутри.


Итог

  • Изоляции Hyper-V нужен компонент Hyper-V, а на виртуальной машине — вложенная виртуализация со статической памятью.
  • Контейнер работает в служебной виртуальной машине: на хосте видны vmwp и vmmem, но не процессы контейнера, а HCS хоста знает только машину …@vm типа VirtualMachine.
  • Внутри — свой Windows с самого начала загрузки: smss с маленьким номером и сеанс 1, 2 процессора и 1 ГБ по умолчанию. --cpus меняет число процессоров, а --memory в nerdctl 2.4.2 записывает байты в аннотацию io.microsoft.virtualmachine.computetopology.memory.sizeinmb, где ждут мегабайты, и машина не создаётся. Помогает явная аннотация с размером в мегабайтах.
  • Ядро служебной машины — из UtilityVM верхнего слоя образа. Поэтому образ Windows Server 2019, который с изоляцией процессов на Windows Server 2025 не запускается, с изоляцией Hyper-V работает на своём ядре 17763.
  • Каждый контейнер — своя машина: сотни мегабайт памяти и несколько секунд запуска.

Источники


Дальше — образ без Docker. Соберём слой из папки, запишем манифест и индекс с os.version и загрузим образ в реестр тем же протоколом, которым скачивали его в четвёртой части.

Оставить комментарий могут только зарегистрированные пользователи.

Войдите на сайт или зарегистрируйтесь, чтобы оставить комментарий.