sync: 同步飞书机器人 v1.0.4 并脱敏

internal/notify/service.go

@@ -25,6 +25,10 @@ type Service struct {
 	// warned 记录已经报过错的归档，避免坏文件每轮扫描都刷一条日志。
 	// 键为「路径 + mtime + 大小」：文件一旦被重写就会重新告警。
 	warned map[string]struct{}
+	// transient 记录临时错误的重报节奏与累计次数。
+	// 临时错误必须持续可见（一次网络抖动不能被吞掉），但 bot 被移出群这类
+	// 长期故障不能每秒刷一条，否则日志被淹、真告警失联。
+	transient map[string]*transientWarn
 }
 
 // Sender 是发送端抽象：*feishu.Client 满足它，测试可注入替身。
@@ -37,7 +41,7 @@ func New(archiveDir, environment string, pollInterval time.Duration, store state
 	if logger == nil {
 		logger = DefaultLogger()
 	}
-	return Service{archiveDir: archiveDir, environment: environment, stateDir: store.Dir(), pollInterval: pollInterval, store: store, client: client, logger: logger, warned: map[string]struct{}{}}
+	return Service{archiveDir: archiveDir, environment: environment, stateDir: store.Dir(), pollInterval: pollInterval, store: store, client: client, logger: logger, warned: map[string]struct{}{}, transient: map[string]*transientWarn{}}
 }
 func (s Service) Render(path string) (string, error) {
 	a, err := archive.Load(path)
@@ -94,11 +98,19 @@ func isPermanent(err error) bool {
 	return errors.As(err, &ae) && ae.permanent
 }
 
-// warnOnce 对同一个归档文件只记一次「跳过」日志。
-// 只有永久性错误才去重；临时错误原样返回给调用方，保持每轮可见。
+// warnOnce 对同一个归档文件的重报做节流。
+//
+// 永久错误（归档格式坏、旧版本）只记一次：重试也不会好。
+// 临时错误（飞书超时、bot 不在群）按退避节奏重报：
+//   - 前 transientWarnFastPhase 次每次都报，保证瞬时抖动可见；
+//   - 之后按指数退避（1min→2min→4min…上限 transientWarnMaxInterval）；
+//   - 超过 transientWarnMaxCount 次后只记一条汇总并停止重报，避免日志风暴。
+//
+// 历史上 230002（bot 不在群）持续 10 小时刷了 18,266 条 ERROR，占日志 99.9%，
+// 把真正的告警完全淹没——这正是本函数要防的情况。
 func (s Service) warnOnce(path string, err error) {
 	if !isPermanent(err) {
-		s.logger.Error("process archive failed", "path", path, "error", err)
+		s.warnTransient(path, err)
 		return
 	}
 	key := skipKey(path)
@@ -111,6 +123,69 @@ func (s Service) warnOnce(path string, err error) {
 	s.logger.Error("skip archive", "path", path, "error", err)
 }
 
+const (
+	// transientWarnFastPhase 是「每次都报」的次数，覆盖瞬时抖动。
+	transientWarnFastPhase = 5
+	// transientWarnMaxInterval 是退避重报的间隔上限。
+	transientWarnMaxInterval = 10 * time.Minute
+	// transientWarnMaxCount 是同一归档同一错误的最大重报次数，超过后静默。
+	transientWarnMaxCount = 30
+)
+
+// transientWarn 记录一个归档的临时错误重报状态。
+type transientWarn struct {
+	count      int
+	lastLog    time.Time
+	suppressed bool
+}
+
+// warnTransient 按退避节奏记录临时错误。
+func (s Service) warnTransient(path string, err error) {
+	key := skipKey(path)
+	now := time.Now()
+
+	if s.transient == nil {
+		s.transient = map[string]*transientWarn{}
+	}
+	st, ok := s.transient[key]
+	if !ok {
+		st = &transientWarn{}
+		s.transient[key] = st
+	}
+
+	if st.suppressed {
+		return
+	}
+
+	// 前 fastPhase 次每次都报。
+	if st.count < transientWarnFastPhase {
+		st.count++
+		st.lastLog = now
+		s.logger.Error("process archive failed", "path", path, "error", err, "attempt", st.count)
+		return
+	}
+
+	// 之后按指数退避。
+	interval := time.Minute << uint(st.count-transientWarnFastPhase)
+	if interval > transientWarnMaxInterval {
+		interval = transientWarnMaxInterval
+	}
+	if now.Sub(st.lastLog) < interval {
+		return
+	}
+
+	st.count++
+	st.lastLog = now
+	if st.count > transientWarnMaxCount {
+		st.suppressed = true
+		s.logger.Error("process archive failed, suppressing further identical alerts",
+			"path", path, "error", err, "attempts", st.count-1,
+			"hint", "this is likely a persistent configuration problem (e.g. bot removed from chat), fix the cause to resume notifications")
+		return
+	}
+	s.logger.Error("process archive failed", "path", path, "error", err, "attempt", st.count)
+}
+
 // Scan 扫描归档目录并发送尚未通知过的 Run。
 //
 // 单个归档出错（旧格式、写了一半、权限不足）只跳过并记日志：