MiFaZhan
59eb34976a
iotlcm-admin-svr：管理后台服务。 - Go module：iotlcm → git.5iot.com/iotlcm-public/iotlcm-admin-svr（729 文件） - 凭据与地址脱敏：JWT signingKey（含代码里的 MustGet 默认值）、 MySQL DSN、Redis 口令、告警邮件发件人邮箱全部改为占位； 私网 IP → 文档地址段；库名 xiujie_admin → iotlcm - 真实手机号/邮箱 → 合法 11 位编造号 / example.com - 移除内部资产：CI 触发器、过时 DDL（sql/db_iotlcm.sql）、 私有依赖 go get 行、明文 registry 登录口令 - 启动 banner 统一 IOTLCM 方块字 + 社区惯例署名 - Dockerfile 改用公共基础镜像 - 拼错的 RADEME.md → README.md，README 重写 - 需要真实数据库的用例改为可用 IOTLCM_TEST_WITH_DB=1 显式启用 - 补 Apache-2.0 LICENSE，LF 行尾 + .gitattributes 数据库 schema 不随本仓发布（生产 DDL 已过时），README 已说明。
79 lines
1.9 KiB
Go
79 lines
1.9 KiB
Go
package excel
|
|
|
|
import (
|
|
"context"
|
|
"encoding/csv"
|
|
"io"
|
|
"os"
|
|
|
|
"github.com/gogf/gf/v2/errors/gerror"
|
|
)
|
|
|
|
func StreamCSVFile(ctx context.Context, filePath string, options ParseOptions, handler func(ParsedRow) error) (int, error) {
|
|
file, err := os.Open(filePath)
|
|
if err != nil {
|
|
return 0, gerror.Wrap(err, "open CSV file failed")
|
|
}
|
|
defer file.Close()
|
|
return StreamCSVReader(ctx, file, options, handler)
|
|
}
|
|
|
|
func StreamCSVReader(ctx context.Context, reader io.Reader, options ParseOptions, handler func(ParsedRow) error) (int, error) {
|
|
if handler == nil {
|
|
return 0, gerror.New("CSV row handler cannot be nil")
|
|
}
|
|
|
|
csvReader := csv.NewReader(reader)
|
|
csvReader.FieldsPerRecord = -1
|
|
csvReader.ReuseRecord = true
|
|
|
|
headers, err := csvReader.Read()
|
|
if err != nil {
|
|
if err == io.EOF {
|
|
return 0, gerror.New("CSV file has no header")
|
|
}
|
|
return 0, gerror.Wrap(err, "read CSV header failed")
|
|
}
|
|
columnIndex, err := buildColumnIndex(headers)
|
|
if err != nil {
|
|
return 0, err
|
|
}
|
|
for _, requiredHeader := range options.RequiredHeaders {
|
|
if _, ok := columnIndex[normalizeHeader(requiredHeader)]; !ok {
|
|
return 0, gerror.Newf("CSV file is missing required column: %s", requiredHeader)
|
|
}
|
|
}
|
|
|
|
rowNo := 1
|
|
parsedCount := 0
|
|
for {
|
|
if err = ctx.Err(); err != nil {
|
|
return parsedCount, err
|
|
}
|
|
values, readErr := csvReader.Read()
|
|
if readErr == io.EOF {
|
|
break
|
|
}
|
|
if readErr != nil {
|
|
return parsedCount, gerror.Wrapf(readErr, "read CSV row %d failed", rowNo+1)
|
|
}
|
|
rowNo++
|
|
if isEmptyRow(values) {
|
|
continue
|
|
}
|
|
|
|
fields := make(map[string]string, len(columnIndex))
|
|
for columnName, index := range columnIndex {
|
|
fields[columnName] = cellValue(values, index)
|
|
}
|
|
if err = handler(ParsedRow{RowNo: rowNo, Fields: fields}); err != nil {
|
|
return parsedCount, err
|
|
}
|
|
parsedCount++
|
|
}
|
|
if parsedCount == 0 {
|
|
return 0, gerror.New("CSV file has no data rows")
|
|
}
|
|
return parsedCount, nil
|
|
}
|