timmy/88_247
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
main
88_247/PVECluster_Architecture.md
Timmy 40945cf625 docs: 初始化 PVECluster (192.168.88.0/24) 文件庫 
仿照 timmy/42_38 結構建立 7 份文件，涵蓋 3 節點 PVE 8.4.16 叢集
（pve-000/.73、pve-001/.249、pve-002/.247）的架構、API、儲存、
備份與服務分類。

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-04-15 16:02:48 +08:00

16 KiB
Raw Permalink Blame History

PVECluster 叢集架構文件

最後更新：2026-04-15

一、叢集概覽

項目 值
叢集名稱 PVECluster
PVE 版本 8.4.16（Kernel 6.8.12-18-pve）
節點數 3（異質配置）
Quorum 正常（corosync_votequorum，3 votes）
VM/容器總數 25（13 VM + 12 LXC，含 4 個 stopped）
HA 未啟用

二、節點硬體規格

三台節點規格不同，pve-001 為運算大節點，pve-002 為較舊備援節點。

pve-000（192.168.88.73）

項目 規格
CPU 4 cores（廠牌 / 詳細型號待確認）
記憶體 32 GB
系統碟 100 GB
角色 一般工作節點（跑大量 LXC + 中型 VM）
特別介面 vmbr1 (192.168.77.241/24)、vmbr2（OpenWRT WAN bridge）

pve-001（192.168.88.249）

項目 規格
CPU 24 cores
記憶體 132 GB
系統碟 83 GB
角色 大型 VM 主機（多顆 Windows VM、HackMD、OpenArchiver）

pve-002（192.168.88.247）

項目 規格
品牌 IBM System X3250 M4（型號 2583IOB）
CPU Intel Xeon E3-1220 V2 @ 3.10GHz（4C/4T）
記憶體 16 GB
系統碟 100 GB
角色 備援/閒置節點，本文件主要 SSH/API 進入點

節點清單

節點 IP 角色 上線時間
pve-000 192.168.88.73 工作節點（16 guests） ~17.3 天
pve-001 192.168.88.249 重型運算節點（9 guests） ~17.3 天
pve-002 192.168.88.247 備援/管理節點（0 guests） ~17.3 天

節點資源使用（即時快照）

節點 CPU 使用率 記憶體使用 系統碟使用
pve-000 ~16% 24.7 GB / 31.3 GB (79%) 9.0 GB / 100 GB
pve-001 ~15% 56.0 GB / 125.8 GB (44%) 60.5 GB / 83 GB
pve-002 ~1% 1.7 GB / 16 GB (10%) 8.7 GB / 100 GB

三、網路架構

HiNet ──PPPoE 210.242.157.197── [VM 115 OpenWRT]
                                      │
                ┌─────────────────────┼─────────────────────┐
                │                     │                     │
            vmbr2 (WAN)          vmbr0 (LAN)            vmbr1
            (僅 pve-000)       192.168.88.0/24      192.168.77.0/24
                                                  (僅 pve-000 有 IP .241)
                ▲                     ▲                     ▲
                │                     │                     │
        外網 PPPoE/路由       全節點 Bridge          OpenWRT LAN 子網
                                                   CT104 .77.10
                                                   CT125 .77.21

192.168.88.1（上游 GW，全節點 default route）
        │
        ├── pve-000  (vmbr0/enp0s31f6)  .73
        ├── pve-001  (vmbr0/enp1s0f0)   .249
        └── pve-002  (vmbr0/enp6s0)     .247

介面對應表

節點 vmbr0 (88) vmbr1 (77) vmbr2 (WAN)
pve-000 enp0s31f6 → .73 enp6s0f0 → .241 enp6s0f1（無 IP，bridge only）
pve-001 enp1s0f0 → .249 — —
pve-002 enp6s0 → .247 — —
  • Default Gateway：192.168.88.1（上游路由器，三節點皆指向此）
  • OpenWRT LAN GW：192.168.77.1（VM 115 提供，僅 pve-000 上的 vmbr1 使用）
  • VM/CT 多數靜態 IP 在 192.168.88.0/24，少數使用 DHCP

四、儲存架構

儲存池一覽

儲存名稱 類型 共享 容量 已用 用途
local dir 否 83–100 GB/節點 8.7–60.5 GB ISO、備份、模板
local-lvm lvmthin 否 184–853 GB 0–24 GB VM 磁碟、CT rootfs（少用）
syno-iscsi iSCSI Target 是 — — pve-iscsi-3t 的底層 target
pve-iscsi-3t LVM (iSCSI) 是 4.50 TB 3.41 TB (74%) 主要儲存（VM 磁碟、CT rootfs）
backup1 PBS 是 1.00 TB 0.62 TB (62%) Proxmox Backup Server 備份

儲存拓撲

Synology NAS (192.168.88.60, DS1621)
└── iSCSI Target  iqn.2000-01.com.synology:DS1621.Target-8.d3b1c55b974
    └── syno-iscsi（raw block） ──► pve-iscsi-3t (LVM, 4.5TB, 共享)
        └── 幾乎所有 VM/CT 磁碟存放於此（vg_pveiscsi）

Proxmox Backup Server (192.168.88.169, VM 101)
└── PBS datastore "backup1" ──► backup1 (1TB, 共享)
    └── 104 筆 VM/CT 快照備份（指紋 77:1c:e5:3e:aa:b0:5d:07:...）

各節點本地
├── /var/lib/vz ──► local
│   └── ISO、vztmpl、備份
└── LVM thin pool ──► local-lvm
    └── 部分 VM/CT 磁碟（CT107 等）

儲存設定（/etc/pve/storage.cfg）

dir: local
    path /var/lib/vz
    content iso,backup,vztmpl

lvmthin: local-lvm
    thinpool data
    vgname pve
    content images,rootdir

iscsi: syno-iscsi
    portal 192.168.88.60
    target iqn.2000-01.com.synology:DS1621.Target-8.d3b1c55b974
    content images

lvm: pve-iscsi-3t
    vgname vg_pveiscsi
    content rootdir,images
    saferemove 0
    shared 1

pbs: backup1
    datastore backup1
    server 192.168.88.169
    content backup
    fingerprint 77:1c:e5:3e:aa:b0:5d:07:41:2c:1a:2a:ce:ae:7c:78:04:75:85:56:68:5e:54:3d:2f:65:ab:31:09:1b:1c:b2
    prune-backups keep-all=1
    username root@pam

五、VM / 容器清單

QEMU 虛擬機

VMID 節點 狀態 CPU 記憶體 磁碟 儲存 Tags 備註
100 pve-000 running 4C 8 GB 128 GB pve-iscsi-3t veljko;windows Windows（IDE bus）
101 pve-000 running 2C 4 GB 64G+1T pve-iscsi-3t proxmoxbackupserver PBS Server（IP 192.168.88.169）
102 pve-001 stopped 4C 8 GB 32 GB local-lvm apollo;vic;windows Windows
110 pve-000 stopped 4C 8 GB 128 GB pve-iscsi-3t — 用途待確認
111 pve-001 running 1C 8 GB 200 GB pve-iscsi-3t chao;windows Windows
114 pve-001 running 1C 8 GB 300 GB pve-iscsi-3t celia;windows Windows
115 pve-000 running 1C×2 2 GB 4G+124M pve-iscsi-3t openwrt;timmy OpenWRT（PPPoE WAN + LAN 192.168.77.1）
116 pve-001 running 1C 8 GB 256 GB pve-iscsi-3t lucas;windows Windows
119 pve-001 stopped 1C 16 GB 60 GB pve-iscsi-3t timmy;ubuntu Ubuntu（vmxnet3 介面）
120 pve-001 running 1C 8 GB 250 GB pve-iscsi-3t chao;hackmd;ubuntu HackMD（vmxnet3）
121 pve-000 running 1C 2 GB 60 GB pve-iscsi-3t timmy;ubuntu Ubuntu
123 pve-001 running 4C 16 GB 264 GB pve-iscsi-3t veljko;windows Windows（backup=0）
124 pve-000 running 1C 4 GB 100 GB pve-iscsi-3t lucas;veljko virtio + writeback

LXC 容器

VMID 節點 狀態 CPU 記憶體 磁碟 IP Tags / 用途
103 pve-001 running 2C 2 GB 16 GB DHCP amc-stage;chao（容器名 CT108）
104 pve-000 running 2C 1 GB 8 GB 192.168.77.10/24 NPM + Headscale（vmbr1）
105 pve-001 running 16C 16 GB 32 GB 192.168.88.89 OpenArchiver（重型容器）
106 pve-000 running 1C 1 GB 24 GB DHCP b2b;chao
107 pve-000 running 1C 512 MB 8 GB 192.168.88.14 gia;patent（local-lvm）
108 pve-000 running 2C 2 GB 16 GB DHCP amc;chao;jira-report
109 pve-000 running 1C 2 GB 8 GB DHCP cashier-portal;chao
112 pve-000 stopped 1C 1 GB 24 GB DHCP chao;supabase
113 pve-000 running 2C 4 GB 32 GB DHCP chao;dify;n8n;nocodb
117 pve-000 running 1C 256 MB 8 GB DHCP tailscale;timmy
122 pve-000 running 8C 16 GB 196 GB 192.168.88.174 lucas;timmy;ubuntu（重型容器）
125 pve-000 running 1C 512 MB 8 GB 192.168.77.21/24 tailscale;timmy（vmbr1）

狀態統計

狀態 數量
Running 21
Stopped 4 (VM 102/110/119, CT 112)
Template 0

各節點負載分佈

節點 VM (running) LXC (running) 分配 vCPU 分配記憶體
pve-000 5 (100,101,115,121,124) 10 (104,106,107,108,109,113,117,122,125) + 1 stopped 24+ ~36 GB
pve-001 6 (111,114,116,120,123) 2 (103,105) + 多個 stopped 30+ ~78 GB
pve-002 0 0 0 0

六、備份策略

Proxmox Backup Server

  • 位置：VM 101（pve-000），IP 192.168.88.169:8007
  • Datastore：backup1（1.00 TB，已用 ~622 GB / 62%）
  • PVE 端 Storage 名稱：backup1
  • 保留策略：keep-all=1（PBS storage 層）
  • 指紋：77:1c:e5:3e:aa:b0:5d:07:41:2c:1a:2a:ce:ae:7c:78:04:75:85:56:68:5e:54:3d:2f:65:ab:31:09:1b:1c:b2

備份排程（目前啟用）

ID 排程 對象 儲存 模式 保留
backup-71950ae1-101d 每日 23:00 VM/CT 104,106,108,109,113,117,122,125,115,111,114,116,120,121 backup1 snapshot keep-daily=7

註解：「每日備份(保留近7日)」，notes-template 使用 {{guestname}}。

PBS 備份統計（按 VMID）

VMID 筆數 VMID 筆數 VMID 筆數
100 1 109 7 117 7
101 1 111 7 118 1
104 7 112 1 119 1
106 7 113 7 120 7
107 1 114 7 121 7
108 7 115 7 122 7
116 7 125 7

總計 104 筆。標記為 7 筆者為排程內常規目標。

未在排程內的 VM/CT

  • VM 100（veljko Windows）、102（apollo stopped）、123（veljko, scsi backup=0）、124（lucas/veljko）
  • VM 119（停機）、110（停機）
  • CT 103（amc-stage）、105（openarchiver，16C/16GB 大容器）、107（gia patent）、112（停機）

涉及客戶資料的 Windows VM 與重型容器，建議評估是否納入排程。

七、關鍵服務架構圖

┌─────────────────────────────────────────────────────────────────────┐
│                          PVECluster                                 │
│                  192.168.88.73 / .249 / .247                        │
├───────────────┬───────────────────────────┬───────────────────────────┤
│  pve-000 (.73)│      pve-001 (.249)       │   pve-002 (.247)         │
│  4C / 32GB    │      24C / 132GB          │   4C / 16GB（IBM x3250）  │
├───────────────┴───────────────────────────┴───────────────────────────┤
│                                                                       │
│ 【網路 / 路由】                                                       │
│  VM115 OpenWRT ── HiNet PPPoE 210.242.157.197                        │
│      LAN GW 192.168.77.1（vmbr1 子網，僅 pve-000）                   │
│  上游 GW 192.168.88.1 ── 主 LAN 全節點共用 vmbr0                     │
│  CT104 NPM + Headscale (192.168.77.10) ── 反向代理 / VPN 控制         │
│  CT117, CT125 ── Tailscale 子網 routing                              │
│                                                                       │
│ 【備份】                                                              │
│  VM101 PBS ── 192.168.88.169:8007 (1TB datastore "backup1")         │
│  Synology DS1621 (192.168.88.60) ── iSCSI Target 4.5TB shared LVM   │
│                                                                       │
│ 【自動化 / 開發】                                                     │
│  VM120 HackMD                       (chao, Ubuntu 250G)              │
│  CT113 Dify + n8n + NocoDB         (chao, 4C/4G/32G)                │
│  CT105 OpenArchiver                 (16C/16G/32G — 大型郵件歸檔)     │
│  CT112 Supabase                     (stopped)                        │
│  VM121 / CT122 通用 Ubuntu          (timmy / lucas)                  │
│                                                                       │
│ 【客戶 Windows 桌面】                                                 │
│  VM100  veljko             VM111  chao                                │
│  VM102  apollo/vic (stop)  VM114  celia                               │
│  VM116  lucas              VM123  veljko (264G)                       │
│                                                                       │
│ 【業務應用（chao 系列）】                                             │
│  CT103 AMC-Stage           CT106 B2B                                  │
│  CT108 AMC + Jira-Report   CT109 Cashier-Portal                       │
│                                                                       │
│ 【其他客戶】                                                          │
│  CT107 gia / patent                                                   │
└──────────────────────────────────────────────────────────────────────┘

八、已知問題與注意事項

pve-iscsi-3t 共享儲存使用率偏高（74%）

主要儲存 4.5TB 已用 3.41TB，新增大型 VM/CT 前需評估，或考慮：

  • 將完全停機的 VM (102/110/112/119) 評估刪除或遷出
  • 客戶 Windows VM 內部清理（暫存檔、回收筒）

pve-001:local 系統碟 73% 使用率

83GB 內已用 60GB，多半是舊 ISO 與 vzdump 殘留。建議：

# 檢查
ssh root@192.168.88.249 "du -sh /var/lib/vz/* 2>/dev/null | sort -h"

# 清理 ISO/Template
ssh root@192.168.88.249 "ls -lah /var/lib/vz/template/iso/"

pve-002 完全閒置

IBM x3250 M4 雖然規格較舊（4C Xeon E3-1220 v2 / 16GB），但完全沒有任何 guest 在跑。可作為：

  • HA failover 目標（需先啟用 HA）
  • 排程批次任務節點（如備份壓縮、報表）
  • 短期測試 VM

OpenWRT (VM 115) 為單點故障

PPPoE 撥接與 192.168.77.0/24 子網皆依賴此 VM，一旦停機：

  • 192.168.77.0/24 內主機（CT104 NPM、CT125 Tailscale）對外失聯
  • HiNet PPPoE 連線中斷（如果上游 .88.1 路由器不直接擔當 PPPoE）

建議：定期備份 + 至少在另一節點放冷備份映像。

九、Corosync 叢集通訊

totem:
  cluster_name: PVECluster
  config_version: 5
  transport: knet
  secauth: on

nodelist:
  pve-000  (nodeid=1, ring0=192.168.88.73,  votes=1)
  pve-001  (nodeid=2, ring0=192.168.88.249, votes=1)
  pve-002  (nodeid=3, ring0=192.168.88.247, votes=1, local)

quorum:
  provider: corosync_votequorum
  expected votes: 3
  required quorum: 2  （需要 2/3 節點在線才能維持 quorate）

十、API 認證

詳見 PVE_API.md 與 API.md。

Token Secret privsep 用途
root@pam!claude 17e96169-a32f-4e2d-951e-859c77770306 0（繼承 root） Claude / 自動化
root@pam!monitor （未知，舊 token） 0 監控
Reference in New Issue View Git Blame Copy Permalink