Data plane, Go
Access Hub Collector
Đứng giữa hàng nghìn agent và Access Hub.
Dịch vụ Go nhận số liệu từ hàng nghìn máy, lưu chuỗi thời gian, đánh giá luật và gửi sự kiện cảnh báo về Access Hub, để hub không phải gánh khối lượng đó.
Bật vai trò nào, chạy vai trò đó. Mỗi vai trò mở rộng riêng.
Môi trường thử chạy cả ba trong một tiến trình. Production lớn tách ra từng nhóm node. Bấm từng vai trò để xem cờ khởi động và phần nào sáng lên trên sơ đồ.
ingestNhận HTTP từ agent: đăng ký, số liệu, cấu hình, kiểm kê, gia hạn. Xác thực token qua registry, kiểm tra giới hạn, đẩy lên bus.
Không trạng thái, scale ngang sau load balancer
workerGhi chuỗi thời gian theo lô, đánh giá luật, phát hiện mất tín hiệu, tạo sự kiện và gửi về hub qua outbox.
Có trạng thái theo shard, snapshot vào Redis
adminAPI nội bộ cho hub: đồng bộ registry, nạp lại luật, truy vấn số liệu, xóa dữ liệu theo công ty.
Chỉ mở trong mạng nội bộ
Công nghệ nhàm chán, đã được kiểm chứng, có lý do.
| Lớp | Lựa chọn | Vì sao |
|---|---|---|
| Giao thức | HTTPS, protobuf, nén | Qua proxy và tường lửa dễ, dễ cân tải |
| Mô hình thu thập | Agent đẩy (push) | Máy chủ chỉ kết nối đi ra |
| Chuỗi thời gian | VictoriaMetrics qua remote-write | Single node trước, cluster khi cần |
| Trạng thái nóng | Redis (hoặc Valkey) | Registry cache, lần thấy cuối, snapshot, giới hạn tốc độ |
| Bus | Trong tiến trình | NATS JetStream cho quy mô lớn Đang phát triển |
| Cảnh báo, cấu hình | MySQL của Access Hub | Nguồn sự thật, không chứa chuỗi thời gian |
Từ số liệu đến một sự kiện đáng tin.
- 01
Luật do hub quản lý
Collector kéo luật theo phiên bản, đánh giá trên luồng mẫu, giữ trạng thái chờ và đang cháy, có snapshot vào Redis.
- 02
Phát hiện mất tín hiệu
Bộ quét theo dõi lần thấy cuối của mỗi agent, phát sự kiện sau một ngưỡng dựa trên chu kỳ gửi.
- 03
Outbox bền vững
Sự kiện được ghi bền trước khi gửi, gửi theo lô và idempotent theo mã sự kiện: không mất, không trùng.
- 04
Truy vấn an toàn
Hub truy vấn với công ty và máy chủ cố định. Collector tự chèn bộ lọc, không nhận PromQL thô từ bên ngoài.
Bắt đầu nhỏ, tách ra khi số máy tăng.
Mọi vai trò trong một tiến trình, cùng Redis và VictoriaMetrics.
Hai node collector sau load balancer, một Redis có replica, một VictoriaMetrics.
Tách ingest, worker, admin; Redis HA; VictoriaMetrics cluster.
Nhiều collector độc lập, hub gán collector cho từng agent.
Trên cloud của Access Hub
Mỗi vùng một Collector logic
Số liệu nằm trong VictoriaMetrics cluster, mở rộng bên trong cluster thay vì tách nhóm riêng theo loại khách hàng.
vminsertvmstoragevmselectreplicationFactor 2Hạ gói không xóa số liệu ngay trong đêm.
Gói quyết định số ngày lưu. Khi thời gian lưu ngắn lại, số liệu cũ vẫn đọc được 30 ngày để bạn tự xuất, sau đó mới bị xóa.
- Free
- 7 ngày
- Pro
- 30 ngày
- Expert
- 60 ngày
- Team
- 30 ngày
- Business
- 90 ngày
- Dedicated
- Tùy cấu hình
Hạ gói, gói hết hạn hoặc License cũ không được chuyển sang khóa mới.
Số liệu cũ hơn thời gian lưu mới vẫn xem được. Bạn tự xuất theo công ty, bí mật không nằm trong bản xuất.
Phần vượt thời gian lưu bị xóa. Số liệu trong hạn giữ nguyên.
Tự vận hành hay dùng cloud