Python 在大型CSV数据库中使用TO_DATETIME转换混合日期格式时出现转换错误

在我看来，你只需要两种日期或日期时间格式，而你的数据不止这些，但你不知道它们可能是什么.

对于如此大的数据集，很难事先对其进行询问并使一切完美，因此，您可能需要迭代和交互地运行此过程:

• 日期时间与您的预定义格式不匹配的任何行都会被踢到单独的文件中
• 然后，您可以判断这个"BADS"文件，并确定需要向您的主脚本添加什么新格式

我模拟了一个非常简单的输入CSV:

1,1/1/2001
2,2/2/2002 12/34/56
3,3.3.2003
4,6.1.2001
5,7.1.2001-5:38:19

以下脚本:

• 定义预期的日期时间格式列表
• 打开两个要写入的文件，并围绕它们创建csv.Writer
• 开始读取输入CSV:
  • 它try 所有预定义的日期时间格式，直到成功并返回，或者
    • 如果不成功，则返回None
  • 如果上一步未成功，该行将写入Bad进行分析，否则...
  • 它根据正确的日期时间进行筛选，记录/打印过滤出的行(仅用于调试，在这个非常小的样例数据集上)；它还将日期时间标准化为ISO格式

import csv
from datetime import datetime

fmts = [
    r"%d/%m/%Y",
    r"%d/%m/%Y %H/%M/%S",
]


def parse_dt(s: str) -> datetime | None:
    for fmt in fmts:
        try:
            dt = datetime.strptime(s, fmt)
            return dt
        except ValueError:
            continue

    return None


filtered = csv.writer(
    open("output_filtered.csv", "w", newline=""),
    delimiter=",",
)

bad = csv.writer(
    open("output_bad.csv", "w", newline=""),
    delimiter=",",
)

reader = csv.reader(
    open("input.csv", newline=""),
    delimiter=",",
)

for row in reader:
    dt = parse_dt(row[1])

    if dt is None:
        bad.writerow(row)
        continue

    if dt < datetime(2002, 1, 1):
        row[1] = dt.isoformat()  # standardize on ISO format
        filtered.writerow(row)
    else:
        print(f"dropped {dt}")

这将产生以下CSV:

output_bad.csv:
3,3.3.2003
4,6.1.2001
5,7.1.2001-5:38:19


output_filtered.csv:
1,2001-01-01T00:00:00

并将以下内容打印到stdout:

dropped 2002-02-02 12:34:56

然后我会 Select 3.3.2003和7.1.2001-5:38:19，用r"%d.%m.%Y和r"%d.%m.%Y-%H:%M:%S"更新fmts:

fmts = [
    r"%d/%m/%Y",
    r"%d/%m/%Y %H/%M/%S",
    r"%d.%m.%Y",
    r"%d.%m.%Y-%H:%M:%S",
]

然后重新运行:

dropped 2002-02-02 12:34:56
dropped 2003-03-03 00:00:00

BADS CSV为空，过滤后的CSV如下所示:

1,2001-01-01T00:00:00
4,2001-01-06T00:00:00
5,2001-01-07T05:38:19