Windows контейнеры вручную. Часть 6: Изоляция Hyper-V: контейнер в своей виртуальной машине
Все части серии «Windows контейнеры вручную»До сих пор все контейнеры серии работали с изоляцией процессов: на ядре хоста, внутри server silo. В первой части изоляция Hyper-V только упоминалась: контейнер с ней не запустился, потому что на стенде не было компонента Hyper-V. Сегодня поставим этот компонент и посмотрим, чем контейнер в своей виртуальной машине отличается от обычного: что видно с хоста, что видно изнутри, откуда у него ядро и зачем всё это нужно.
Чем изоляция Hyper-V отличается от изоляции процессов на уровне понятий, объяснено в части 36 серии о Kubernetes. Здесь — вживую.
Компонент Hyper-V
Для изоляции Hyper-V нужен гипервизор. Наш стенд сам — виртуальная машина Hyper-V, поэтому гипервизор внутри неё работает только при вложенной виртуализации. На хосте Hyper-V, где живёт стенд:
Get-VMProcessor wincont-lab | Format-List ExposeVirtualizationExtensions
Get-VM wincont-lab | Format-List MemoryStartup, DynamicMemoryEnabled, ProcessorCount
ExposeVirtualizationExtensions : True
MemoryStartup : 8589934592
DynamicMemoryEnabled : False
ProcessorCount : 4
Вложенная виртуализация включена (Set-VMProcessor -ExposeVirtualizationExtensions $true на выключенной машине), память статическая — 8 ГБ: с динамической памятью вложенная виртуализация не работает. На самом стенде:
Install-WindowsFeature Hyper-V
Restart-Computer
WARNING: You must restart this server to finish the installation process.
Success Restart Needed Exit Code Feature Result
------- -------------- --------- --------------
True Yes SuccessRest... {Hyper-V}
Модуль PowerShell для Hyper-V (Get-VM и остальные) этой командой не ставится, и он нам не понадобится: служебные виртуальные машины контейнеров видны через HCS.
Первый контейнер с изоляцией Hyper-V
У nerdctl изоляция задаётся ключом --isolation. Сравним время запуска одного и того же ver, а образ скачаем заранее, чтобы замер показывал только запуск:
$nano = 'mcr.microsoft.com/windows/nanoserver:ltsc2025'
nerdctl pull $nano
"process: {0:N1} s" -f (Measure-Command { nerdctl run --rm $nano cmd /c ver }).TotalSeconds
"hyperv: {0:N1} s" -f (Measure-Command { nerdctl run --rm --isolation hyperv $nano cmd /c ver }).TotalSeconds
process: 2,2 s
hyperv: 5,4 s
На три секунды дольше: это загрузка виртуальной машины. Запустим контейнер надолго и посмотрим на него с хоста:
nerdctl run -d --name hv --isolation hyperv $nano ping -t localhost
hcsdiag list
Get-Process vmmem, vmwp | Format-Table Name, Id, SessionId, @{n='WS(MB)';e={[int]($_.WorkingSet64/1MB)}}
"ping processes on the host: $(@(Get-Process ping -ErrorAction SilentlyContinue).Count)"
95bec69df9de5357ab538b3f073767fd857027075871faf65e8f0ca9cda6d203
95bec69df9de5357ab538b3f073767fd857027075871faf65e8f0ca9cda6d203@vm
VM, Running, 60E95BC8-FAA0-54CA-B79E-CBE1CABD3D2F, containerd-shim-runhcs-v1.exe
Name Id SessionId WS(MB)
---- -- --------- ------
vmmem 6244 0 375
vmwp 5604 0 31
ping processes on the host: 0
Три отличия от контейнера с изоляцией процессов:
hcsdiag listпоказывает неWindows Server Container, аVMс идентификатором контейнера и суффиксом@vm. Третье поле — идентификатор виртуальной машины в Hyper-V.- На хосте появились два процесса Hyper-V:
vmwp— рабочий процесс, который обслуживает виртуальную машину, иvmmem— её память, 375 МБ. - Процесса
pingна хосте нет. При изоляции процессов процессы контейнера были обычными процессами хоста в своём сеансе, а здесь они работают внутри виртуальной машины, и хост их не видит.
Что HCS знает об этой системе, покажет hcsctl из пятой части:
$id = (nerdctl inspect hv | ConvertFrom-Json).Id
hcsctl props "$id@vm"
hcsctl props $id
{
"Id": "95bec69df9de5357ab538b3f073767fd857027075871faf65e8f0ca9cda6d203@vm",
"SystemType": "VirtualMachine",
"Owner": "containerd-shim-runhcs-v1.exe",
"RuntimeId": "60e95bc8-faa0-54ca-b79e-cbe1cabd3d2f",
"State": "Running"
}
hcsctl: HcsOpenComputeSystem 95bec69df9de5357ab538b3f073767fd857027075871faf65e8f0ca9cda6d203: 0x8037010E
На хосте есть только виртуальная машина — система типа VirtualMachine, служебная (utility VM). Самого контейнера среди систем хоста нет: он создан внутри виртуальной машины, и открыть его по имени снаружи нельзя (0x8037010E — система не найдена). Запустить процесс в самой служебной машине тоже не выйдет:
hcsdiag exec -uvm "$id@vm" cmd /c ver
The request is not supported.
Ключ -uvm в справке hcsdiag есть, но служебная машина Windows-контейнера запуск процессов не поддерживает. Доступ внутрь — только в сам контейнер, через nerdctl exec.
Изнутри
Посмотрим, каким компьютер видится изнутри контейнера. Нужен PowerShell, поэтому возьмём Server Core, а маленький скрипт — он же probe.ps1 в репозитории — подключим из папки хоста:
New-Item -ItemType Directory C:\lab\probe -Force | Out-Null
@'
$cs = Get-CimInstance Win32_ComputerSystem
"Model: $($cs.Model); CPUs: $($cs.NumberOfLogicalProcessors); memory: $([int]($cs.TotalPhysicalMemory / 1MB)) MB"
"Kernel: $((Get-Item C:\Windows\System32\ntoskrnl.exe).VersionInfo.ProductVersion)"
'@ | Set-Content C:\lab\probe\probe.ps1 -Encoding ascii
$sc = 'mcr.microsoft.com/windows/servercore:ltsc2025'
$m = '-v', 'C:\lab\probe:C:\probe:ro'
nerdctl run --rm @m $sc powershell -NoProfile -File C:\probe\probe.ps1
nerdctl run --rm --isolation hyperv @m $sc powershell -NoProfile -File C:\probe\probe.ps1
Model: Virtual Machine; CPUs: 4; memory: 8191 MB
Kernel: 10.0.26100.33648
Model: Virtual Machine; CPUs: 2; memory: 1023 MB
Kernel: 10.0.26100.33648
Virtual Machine в обоих случаях — это сам стенд, он виртуальная машина. Но контейнер с изоляцией процессов видит все 4 процессора и 8 ГБ хоста, а контейнер с изоляцией Hyper-V — 2 процессора и 1 ГБ: столько по умолчанию получает служебная машина. И у неё свой Windows целиком, с самого начала загрузки:
nerdctl run --rm --isolation hyperv $sc powershell -NoProfile -Command "Get-Process | Sort-Object Id | Select-Object -First 6 | Format-Table Name, Id, SessionId"
Name Id SessionId
---- -- ---------
Idle 0 0
System 4 0
smss 276 0
csrss 484 1
wininit 540 1
lsass 700 1
Idle и System с номерами 0 и 4 сами по себе ни о чём не говорят: контейнер с изоляцией процессов видит их тоже, это процессы ядра, общего с хостом. Отличие — в том, что идёт за ними: smss с маленьким номером и сеанс 1. Это первая загрузка своей Windows, а не ещё один сеанс на хосте.
Ресурсы служебной машины
--cpus задаёт число процессоров служебной машины:
nerdctl run --rm --isolation hyperv --cpus 4 @m $sc powershell -NoProfile -File C:\probe\probe.ps1
Model: Virtual Machine; CPUs: 4; memory: 1023 MB
Kernel: 10.0.26100.33648
А с --memory на стенде служебная машина не создаётся вовсе, с любым размером — я пробовал 1, 1,5, 2 и 4 ГБ:
nerdctl run --rm --isolation hyperv --memory 2g @m $sc powershell -NoProfile -File C:\probe\probe.ps1
time="2026-11-08T12:57:05+03:00" level=error msg="failed to accept stdout connection on \\\\.\\pipe\\ctr-62eacd9a3fc1666d106349ba1f1e4e16a8fefeb835acdfd9163bfaf08be49d39-stdout" error="use of closed network connection"
time="2026-11-08T12:57:05+03:00" level=error msg="failed to accept stderr connection on \\\\.\\pipe\\ctr-62eacd9a3fc1666d106349ba1f1e4e16a8fefeb835acdfd9163bfaf08be49d39-stderr" error="use of closed network connection"
time="2026-11-08T12:57:05+03:00" level=fatal msg="failed to create shim task: error while creating the compute system: hcs::CreateComputeSystem 62eacd9a3fc1666d106349ba1f1e4e16a8fefeb835acdfd9163bfaf08be49d39@vm: winapi error #2147749931"
Код 0x8004102B сам по себе ничего не объясняет, но причина есть в журнале HCS:
Get-WinEvent -LogName Microsoft-Windows-Hyper-V-Compute-Admin -MaxEvents 3 | Sort-Object RecordId | Format-Table Id, LevelDisplayName, Message -AutoSize
Id LevelDisplayName Message
-- ---------------- -------
40014 Error Memory virtual quantity above maximum.
40024 Error Memory limit above maximum.
40030 Error Memory reservation above maximum.
Памяти запрошено больше допустимого — хотя просим всего 2 ГБ. Посмотрим, что nerdctl записал в спецификацию контейнера:
$a = 'io.microsoft.virtualmachine.computetopology.memory.sizeinmb'
nerdctl create --name m1 --isolation hyperv --memory 2g $nano cmd /c ver | Out-Null
$id = (nerdctl inspect m1 | ConvertFrom-Json).Id
$spec = (ctr containers info $id | ConvertFrom-Json).Spec
$spec.annotations.$a
$spec.windows.resources.memory.limit
nerdctl rm -f m1
2147483648
2147483648
Вот и ошибка, причём в nerdctl, а не в Hyper-V. Размер служебной машины hcsshim берёт из аннотации …memory.sizeinmb, и значение в ней — мегабайты. nerdctl записывает туда то же число, что и в resources.memory.limit, то есть байты (строка 73 в run_windows.go), и HCS получает просьбу создать машину на 2 147 483 648 МБ — два петабайта. Проверить это легко: «2048 байт» дают машину на 2 ГБ.
nerdctl run --rm --isolation hyperv --memory 2048 @m $sc powershell -NoProfile -File C:\probe\probe.ps1
Model: Virtual Machine; CPUs: 2; memory: 2047 MB
Kernel: 10.0.26100.33648
Обойти ошибку можно, задав аннотацию явно: она перекрывает значение, которое записал nerdctl.
nerdctl run --rm --isolation hyperv --memory 2g --annotation "$a=2048" @m $sc powershell -NoProfile -File C:\probe\probe.ps1
Model: Virtual Machine; CPUs: 2; memory: 2047 MB
Kernel: 10.0.26100.33648
Откуда у неё ядро
Строка Kernel пока везде одна — 10.0.26100.33648, как у хоста. Это версия файла ntoskrnl.exe на диске контейнера, и о запущенном ядре она сама по себе не говорит. А у служебной машины ядро своё, и берётся оно не с хоста, а из образа. В третьей части мы видели в базовом слое папку UtilityVM, а в четвёртой — что она приходит в архиве слоя рядом с Files. Это и есть система служебной машины. Скачаем ещё три старых образа и посмотрим на ядра во всех слоях с UtilityVM:
nerdctl pull mcr.microsoft.com/windows/nanoserver:ltsc2022
nerdctl pull --platform windows/amd64 mcr.microsoft.com/windows/nanoserver:1809
nerdctl pull --platform windows/amd64 mcr.microsoft.com/windows/servercore:ltsc2019
$s = 'C:\ProgramData\containerd\root\io.containerd.snapshotter.v1.windows\snapshots'
Get-ChildItem $s -Directory | Where-Object { Test-Path "$($_.FullName)\UtilityVM" } | Sort-Object { [int]$_.Name } | ForEach-Object {
[pscustomobject]@{ Snapshot = $_.Name; Kernel = (Get-Item "$($_.FullName)\UtilityVM\Files\Windows\System32\ntoskrnl.exe").VersionInfo.ProductVersion }
} | Format-Table
Snapshot Kernel
-------- ------
127 10.0.26100.33648
134 10.0.26100.32230
135 10.0.26100.33648
144 10.0.20348.5773
145 10.0.17763.9376
146 10.0.17763.7919
147 10.0.17763.9376
Номера снапшотов и образы:
| Снапшот | Образ | Слой |
|---|---|---|
| 127 | nanoserver:ltsc2025 |
единственный |
| 134, 135 | servercore:ltsc2025 |
базовый и накопительное обновление |
| 144 | nanoserver:ltsc2022 |
единственный |
| 145 | nanoserver:1809 |
единственный |
| 146, 147 | servercore:ltsc2019 |
базовый и накопительное обновление |
У Server Core два слоя с UtilityVM: базовый и слой обновления, каждый со своим ядром. Строка Kernel у контейнера Server Core 2025 выше показывала 33648 — версию файла из верхнего слоя, 135, а не из базового, 134.
Ключ --platform windows/amd64 для образов 2019 нужен потому, что без него containerd отказывается их скачивать: «no match for platform in manifest». В первой части мы видели в config.toml строку platforms = ['windows(10.0.26100)/amd64', ...], и образ сборки 17763 под неё не подходит, а образ 2022 подходит — Windows Server 2025 запускает его и с изоляцией процессов. Теперь образ 2019 в обоих режимах:
$old = 'mcr.microsoft.com/windows/servercore:ltsc2019'
nerdctl run --rm --platform windows/amd64 @m $old powershell -NoProfile -File C:\probe\probe.ps1
nerdctl run --rm --platform windows/amd64 --isolation hyperv @m $old powershell -NoProfile -File C:\probe\probe.ps1
time="2026-11-08T12:57:16+03:00" level=fatal msg="hcs::System::Start 5981c0690b763d5bf7303b831a0113044e613fe33b6ab6c21524c4432e4343e7: The container operating system does not match the host operating system."
Model: Virtual Machine; CPUs: 2; memory: 1023 MB
Kernel: 10.0.17763.9376
Вот зачем нужна изоляция Hyper-V. С изоляцией процессов образ Windows Server 2019 на хосте Windows Server 2025 не запускается: пользовательская часть системы сборки 17763 не работает с ядром сборки 26100. С изоляцией Hyper-V запускается, а строка Kernel показывает 10.0.17763.9376 — ту же версию, что у ядра в UtilityVM верхнего слоя образа, снапшот 147. Но строка Kernel — это всё ещё файл на диске контейнера. Какое ядро работает на самом деле, спросим у него самого: ядро записывает номер своей сборки в KUSER_SHARED_DATA, страницу памяти, общую для всех процессов, по адресу 0x7FFE0260:
$k = '[Runtime.InteropServices.Marshal]::ReadInt32([IntPtr]0x7FFE0260)'
nerdctl run --rm $sc powershell -NoProfile -Command $k
nerdctl run --rm --platform windows/amd64 --isolation hyperv $old powershell -NoProfile -Command $k
26100
17763
Контейнер с изоляцией процессов работает на ядре хоста, сборки 26100, а контейнер с изоляцией Hyper-V — на своём, 17763. Служебная машина загружает Windows из образа контейнера, поэтому ядро и пользовательская часть всегда одной сборки. Правила, какие образы на каких хостах запускаются, разобраны в части 39 серии о Kubernetes.
По машине на контейнер
nerdctl run -d --name hv2 --isolation hyperv --platform windows/amd64 mcr.microsoft.com/windows/nanoserver:1809 ping -t localhost
hcsdiag list
Get-Process vmmem, vmwp | Format-Table Name, Id, @{n='WS(MB)';e={[int]($_.WorkingSet64/1MB)}}
nerdctl rm -f hv hv2
df35c8aa56f8f91e526df0c81a1c9c257bc9408530f0b45345a1cfabf390d531
95bec69df9de5357ab538b3f073767fd857027075871faf65e8f0ca9cda6d203@vm
VM, Running, 60E95BC8-FAA0-54CA-B79E-CBE1CABD3D2F, containerd-shim-runhcs-v1.exe
df35c8aa56f8f91e526df0c81a1c9c257bc9408530f0b45345a1cfabf390d531@vm
VM, Running, 7B8A9D5B-C2F0-573B-A3C8-9A75B1F2A804, containerd-shim-runhcs-v1.exe
Name Id WS(MB)
---- -- ------
vmmem 6176 264
vmmem 6244 474
vmwp 5604 30
vmwp 6460 30
Два контейнера — две служебные машины, у каждой свои vmmem и vmwp. Контейнеры разных сборок — 2025 и 2019 — работают рядом, каждый на своём ядре. Цена — память и время запуска: сотни мегабайт и несколько секунд на контейнер против почти нуля у изоляции процессов.
Убираем за собой
Образы и папка этой части больше не понадобятся:
nerdctl rmi mcr.microsoft.com/windows/nanoserver:ltsc2025 mcr.microsoft.com/windows/servercore:ltsc2025 mcr.microsoft.com/windows/nanoserver:ltsc2022 mcr.microsoft.com/windows/nanoserver:1809 mcr.microsoft.com/windows/servercore:ltsc2019
Remove-Item C:\lab -Recurse -Force
Для образов 2019 nerdctl напишет предупреждение failed to enumerate rootfs: их платформа не совпадает с платформой хоста. На удаление это не влияет. Компонент Hyper-V остаётся на сервере.
А сами?
В пятой части мы создавали контейнер с изоляцией процессов одним документом HCS. С изоляцией Hyper-V shim делает больше: создаёт служебную машину из UtilityVM образа, ждёт её загрузки, подключает к ней слои и уже внутри неё создаёт контейнер — через службу внутри служебной машины, а не через HCS хоста. Мы это видели: контейнера среди систем хоста нет, а запустить процесс в самой машине HCS не даёт. Повторить это в hcsctl — значит повторить протокол shim со служебной машиной, а это уже не «руками», а свой shim. Поэтому здесь мы остановимся на том, что видно снаружи и изнутри.
Итог
- Изоляции Hyper-V нужен компонент Hyper-V, а на виртуальной машине — вложенная виртуализация со статической памятью.
- Контейнер работает в служебной виртуальной машине: на хосте видны
vmwpиvmmem, но не процессы контейнера, а HCS хоста знает только машину…@vmтипаVirtualMachine. - Внутри — свой Windows с самого начала загрузки:
smssс маленьким номером и сеанс 1, 2 процессора и 1 ГБ по умолчанию.--cpusменяет число процессоров, а--memoryв nerdctl 2.4.2 записывает байты в аннотациюio.microsoft.virtualmachine.computetopology.memory.sizeinmb, где ждут мегабайты, и машина не создаётся. Помогает явная аннотация с размером в мегабайтах. - Ядро служебной машины — из
UtilityVMверхнего слоя образа. Поэтому образ Windows Server 2019, который с изоляцией процессов на Windows Server 2025 не запускается, с изоляцией Hyper-V работает на своём ядре 17763. - Каждый контейнер — своя машина: сотни мегабайт памяти и несколько секунд запуска.
Источники
- Isolation modes — Microsoft Learn: изоляция процессов и Hyper-V.
- Windows container version compatibility — Microsoft Learn: какие образы на каких хостах запускаются и с какой изоляцией.
- Run Hyper-V in a Virtual Machine with Nested Virtualization — Microsoft Learn: вложенная виртуализация.
- microsoft/hcsshim — shim containerd, который создаёт служебные машины и аннотации
io.microsoft.virtualmachine.*.
Дальше — образ без Docker. Соберём слой из папки, запишем манифест и индекс с os.version и загрузим образ в реестр тем же протоколом, которым скачивали его в четвёртой части.
Оставить комментарий могут только зарегистрированные пользователи.
Войдите на сайт или зарегистрируйтесь, чтобы оставить комментарий.