chore: 初始开源发布
iotlcm-admin-svr:管理后台服务。 - Go module:iotlcm → git.5iot.com/iotlcm-public/iotlcm-admin-svr(729 文件) - 凭据与地址脱敏:JWT signingKey(含代码里的 MustGet 默认值)、 MySQL DSN、Redis 口令、告警邮件发件人邮箱全部改为占位; 私网 IP → 文档地址段;库名 xiujie_admin → iotlcm - 真实手机号/邮箱 → 合法 11 位编造号 / example.com - 移除内部资产:CI 触发器、过时 DDL(sql/db_iotlcm.sql)、 私有依赖 go get 行、明文 registry 登录口令 - 启动 banner 统一 IOTLCM 方块字 + 社区惯例署名 - Dockerfile 改用公共基础镜像 - 拼错的 RADEME.md → README.md,README 重写 - 需要真实数据库的用例改为可用 IOTLCM_TEST_WITH_DB=1 显式启用 - 补 Apache-2.0 LICENSE,LF 行尾 + .gitattributes 数据库 schema 不随本仓发布(生产 DDL 已过时),README 已说明。
This commit is contained in:
@@ -0,0 +1,78 @@
|
||||
package excel
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/csv"
|
||||
"io"
|
||||
"os"
|
||||
|
||||
"github.com/gogf/gf/v2/errors/gerror"
|
||||
)
|
||||
|
||||
func StreamCSVFile(ctx context.Context, filePath string, options ParseOptions, handler func(ParsedRow) error) (int, error) {
|
||||
file, err := os.Open(filePath)
|
||||
if err != nil {
|
||||
return 0, gerror.Wrap(err, "open CSV file failed")
|
||||
}
|
||||
defer file.Close()
|
||||
return StreamCSVReader(ctx, file, options, handler)
|
||||
}
|
||||
|
||||
func StreamCSVReader(ctx context.Context, reader io.Reader, options ParseOptions, handler func(ParsedRow) error) (int, error) {
|
||||
if handler == nil {
|
||||
return 0, gerror.New("CSV row handler cannot be nil")
|
||||
}
|
||||
|
||||
csvReader := csv.NewReader(reader)
|
||||
csvReader.FieldsPerRecord = -1
|
||||
csvReader.ReuseRecord = true
|
||||
|
||||
headers, err := csvReader.Read()
|
||||
if err != nil {
|
||||
if err == io.EOF {
|
||||
return 0, gerror.New("CSV file has no header")
|
||||
}
|
||||
return 0, gerror.Wrap(err, "read CSV header failed")
|
||||
}
|
||||
columnIndex, err := buildColumnIndex(headers)
|
||||
if err != nil {
|
||||
return 0, err
|
||||
}
|
||||
for _, requiredHeader := range options.RequiredHeaders {
|
||||
if _, ok := columnIndex[normalizeHeader(requiredHeader)]; !ok {
|
||||
return 0, gerror.Newf("CSV file is missing required column: %s", requiredHeader)
|
||||
}
|
||||
}
|
||||
|
||||
rowNo := 1
|
||||
parsedCount := 0
|
||||
for {
|
||||
if err = ctx.Err(); err != nil {
|
||||
return parsedCount, err
|
||||
}
|
||||
values, readErr := csvReader.Read()
|
||||
if readErr == io.EOF {
|
||||
break
|
||||
}
|
||||
if readErr != nil {
|
||||
return parsedCount, gerror.Wrapf(readErr, "read CSV row %d failed", rowNo+1)
|
||||
}
|
||||
rowNo++
|
||||
if isEmptyRow(values) {
|
||||
continue
|
||||
}
|
||||
|
||||
fields := make(map[string]string, len(columnIndex))
|
||||
for columnName, index := range columnIndex {
|
||||
fields[columnName] = cellValue(values, index)
|
||||
}
|
||||
if err = handler(ParsedRow{RowNo: rowNo, Fields: fields}); err != nil {
|
||||
return parsedCount, err
|
||||
}
|
||||
parsedCount++
|
||||
}
|
||||
if parsedCount == 0 {
|
||||
return 0, gerror.New("CSV file has no data rows")
|
||||
}
|
||||
return parsedCount, nil
|
||||
}
|
||||
Reference in New Issue
Block a user