Data plane, Go

Access Hub Collector

Đứng giữa hàng nghìn agent và Access Hub.

Dịch vụ Go nhận số liệu từ hàng nghìn máy, lưu chuỗi thời gian, đánh giá luật và gửi sự kiện cảnh báo về Access Hub, để hub không phải gánh khối lượng đó.

01 / Vai trò tiến trìnhMột binary, ba vai trò

Bật vai trò nào, chạy vai trò đó. Mỗi vai trò mở rộng riêng.

Môi trường thử chạy cả ba trong một tiến trình. Production lớn tách ra từng nhóm node. Bấm từng vai trò để xem cờ khởi động và phần nào sáng lên trên sơ đồ.

accesshub-collector --roles=ingest,worker,adminBa vai trò trong một tiến trình: phù hợp môi trường thử
ingest

Nhận HTTP từ agent: đăng ký, số liệu, cấu hình, kiểm kê, gia hạn. Xác thực token qua registry, kiểm tra giới hạn, đẩy lên bus.

Không trạng thái, scale ngang sau load balancer

worker

Ghi chuỗi thời gian theo lô, đánh giá luật, phát hiện mất tín hiệu, tạo sự kiện và gửi về hub qua outbox.

Có trạng thái theo shard, snapshot vào Redis

admin

API nội bộ cho hub: đồng bộ registry, nạp lại luật, truy vấn số liệu, xóa dữ liệu theo công ty.

Chỉ mở trong mạng nội bộ

02 / Công nghệLựa chọn kỹ thuật

Công nghệ nhàm chán, đã được kiểm chứng, có lý do.

LớpLựa chọnVì sao
Giao thứcHTTPS, protobuf, nénQua proxy và tường lửa dễ, dễ cân tải
Mô hình thu thậpAgent đẩy (push)Máy chủ chỉ kết nối đi ra
Chuỗi thời gianVictoriaMetrics qua remote-writeSingle node trước, cluster khi cần
Trạng thái nóngRedis (hoặc Valkey)Registry cache, lần thấy cuối, snapshot, giới hạn tốc độ
BusTrong tiến trìnhNATS JetStream cho quy mô lớn Đang phát triển
Cảnh báo, cấu hìnhMySQL của Access HubNguồn sự thật, không chứa chuỗi thời gian
03 / Cảnh báoKhông mất, không trùng

Từ số liệu đến một sự kiện đáng tin.

  1. 01

    Luật do hub quản lý

    Collector kéo luật theo phiên bản, đánh giá trên luồng mẫu, giữ trạng thái chờ và đang cháy, có snapshot vào Redis.

  2. 02

    Phát hiện mất tín hiệu

    Bộ quét theo dõi lần thấy cuối của mỗi agent, phát sự kiện sau một ngưỡng dựa trên chu kỳ gửi.

  3. 03

    Outbox bền vững

    Sự kiện được ghi bền trước khi gửi, gửi theo lô và idempotent theo mã sự kiện: không mất, không trùng.

  4. 04

    Truy vấn an toàn

    Hub truy vấn với công ty và máy chủ cố định. Collector tự chèn bộ lọc, không nhận PromQL thô từ bên ngoài.

04 / Triển khaiTừ một node đến nhiều vùng

Bắt đầu nhỏ, tách ra khi số máy tăng.

DevMột tiến trình

Mọi vai trò trong một tiến trình, cùng Redis và VictoriaMetrics.

Đến khoảng 2.000 máyProduction nhỏ

Hai node collector sau load balancer, một Redis có replica, một VictoriaMetrics.

5.000 máy trở lênProduction lớn

Tách ingest, worker, admin; Redis HA; VictoriaMetrics cluster.

Nhiều vùngNhiều vùng hoặc công ty lớn

Nhiều collector độc lập, hub gán collector cho từng agent.

Trên cloud của Access Hub

Mỗi vùng một Collector logic

Số liệu nằm trong VictoriaMetrics cluster, mở rộng bên trong cluster thay vì tách nhóm riêng theo loại khách hàng.

vminsertvmstoragevmselectreplicationFactor 2
05 / Lưu trữThời gian lưu theo gói

Hạ gói không xóa số liệu ngay trong đêm.

Gói quyết định số ngày lưu. Khi thời gian lưu ngắn lại, số liệu cũ vẫn đọc được 30 ngày để bạn tự xuất, sau đó mới bị xóa.

Free
7 ngày
Pro
30 ngày
Expert
60 ngày
Team
30 ngày
Business
90 ngày
Dedicated
Tùy cấu hình

Tự vận hành hay dùng cloud

Dùng collector của Access Hub, hoặc chạy collector của riêng bạn.