Python 读取包含特定列的 CSV 文件并保留到最后一列

发布于04月04日

我有一组用空格分隔的分栏数据

Lorem ipsum dolor sit amet, consectetur adipiscing elit

需要的是将其读为CSV，由空格分隔，但只有5个第一列要在其中，文本的其余部分应该是单列，类似如下

|Lorem|ipsum|dolor|sit|amet,|consectetur adipiscing elit|

最后一列应该包含前5个以外的任何内容，因此单词和空格的数量是可变的

把它读成CSV是没有问题的，每字一栏.

但我在将可变字数尾数转换为单列时遇到了一些困难.

如有任何帮助，不胜感激.

我确实逐行阅读了它，并将其解析并插入到Pandas df中，但这很慢.因此，任何带有Read_csv()或类似内容的代码都会很好.

基本上，日志(log)文件

|ID|Datetime|Level|Recovered|Place|Message

 1  20230102 WARN  Yes       func1 Something wrong
 2  20230103 ERROR No        func2 Something really bad

推荐答案

我也会使用read_csv，但带有regex separator:

import io

s = "Lorem ipsum dolor sit amet, consectetur adipiscing elit"

df = pd.read_csv(io.StringIO(s), sep=r"\s(?=[^,]*,)|,\s", engine="python")

输出:

print(df.columns)

Index(['Lorem', 'ipsum', 'dolor', 'sit', 'amet', 'consectetur adipiscing elit'], 
        dtype='object')

[Regex demo]

100:

有趣的是，您可以使用此正则表达式方法来定位前五个空格:

import csv

with open("input.csv") as csvfile:
    col_names = next(csv.reader(csvfile, delimiter="|"))
    df = pd.read_csv("input.csv", sep=r"(\S+)\s+(\S+)\s+(\S+)\s+(\S+)\s+(\S+)|\|",
                     engine="python").dropna(axis=1).set_axis(col_names, axis=1)

否则，使用split:

with open("input.csv") as csvfile:
    col_names = next(csv.reader(csvfile, delimiter="|"))
    df = (pd.read_csv("input.csv", header=None, skiprows=1)
              [0].str.split(r"\b\s+", n=5, expand=True)
              .set_axis(col_names, axis=1)

发帖主题:Re:Kolibrios

   ID  Datetime  Level Recovered  Place               Message
0   1  20230102   WARN       Yes  func1       Something wrong
1   2  20230103  ERROR        No  func2  Something really bad