我有一个数据框,其中大多数列都是varchar/object类型.柱的长度变化很大,可以是3-1000+范围内的任何值.现在,对于每一列,我想测量最大长度.

我知道如何计算列的最大长度.如果是varchar,则:

max(df.char_col.apply(len))

如果是数字(float8或int64),则:

max(df.num_col.map(str).apply(len))

但我的dataframe有数百列,我想同时计算所有列的最大长度.问题是,有不同的数据类型,我不知道如何一次完成所有工作.

问题1:如何为数据帧中的每列获取最大列长度

现在,我try 使用以下代码仅对varchar/对象类型列执行此操作:

xx = df.select_dtypes(include = ['object'])
for col in [xx.columns.values]:
   maxlength = [max(xx.col.apply(len))]

我只 Select 了对象类型的列,并try 编写for循环.但它不起作用.在for循环中使用apply()可能不是个好主意.

问题2:如何仅为对象类型列获取每列的最大长度

示例数据框:

d1 = {'name': ['john', 'tom', 'bob', 'rock', 'jimy'], 'DoB': ['01/02/2010', '01/02/2012', '11/22/2014', '11/22/2014', '09/25/2016'], 'Address': ['NY', 'NJ', 'PA', 'NY', 'CA'], 'comment1': ['Very good performance', 'N/A', 'Need to work hard', 'No Comment', 'Not satisfactory'], 'comment2': ['good', 'Meets Expectation', 'N', 'N/A', 'Incompetence']}
df1 = pd.DataFrame(data = d1)
df1['month'] = pd.DatetimeIndex(df1['DoB']).month
df1['year'] = pd.DatetimeIndex(df1['DoB']).year

推荐答案

一个解决方案是使用numpy.vectorize.这可能比基于pandas的解决方案更有效.

可以使用pd.DataFrame.select_dtypes来 Select object列.

import pandas as pd
import numpy as np

df = pd.DataFrame({'A': ['abc', 'de', 'abcd'],
                   'B': ['a', 'abcde', 'abc'],
                   'C': [1, 2.5, 1.5]})

measurer = np.vectorize(len)

Max length for all columns

res1 = measurer(df.values.astype(str)).max(axis=0)

array([4, 5, 3])

Max length for object columns

res2 = measurer(df.select_dtypes(include=[object]).values.astype(str)).max(axis=0)

array([4, 5])

或者,如果需要输出为字典:

res1 = dict(zip(df, measurer(df.values.astype(str)).max(axis=0)))

{'A': 4, 'B': 5, 'C': 3}

df_object = df.select_dtypes(include=[object])
res2 = dict(zip(df_object, measurer(df_object.values.astype(str)).max(axis=0)))

{'A': 4, 'B': 5}

Python-3.x相关问答推荐

根据其他数据框架的列顺序从数据框架中进行 Select

使用Python装载. iso文件

为什么空列表也能起作用?

在Python中基于组/ID将两个数据帧进行映射,找出较接近的值

过滤并获取数据框中条件之间的行

使用 GEKKO 使用代码解决最佳时间控制问题时出现 IndexError

使用 pandas 数据帧映射到中转( node )点的跨容量请求

使用 python-binance 时,heroku [regex._regex_core.error: bad escape \d at position 7] 出错

从 yahoo Finance python 一次下载多只股票

django.core.exceptions.ImproperlyConfigured

Tkinter AttributeError:对象没有属性'tk'

如何在 Spyder 控制台中使用变量执行 Python 3.3 脚本?

try 注释散列变量时,ABCMeta对象不可下标

所有 Python dunder 方法的列表 - 您需要实现哪些方法才能正确代理对象?

AttributeError:系列对象没有属性iterrows

变量类型注解NameError不一致

谁能给我一个 Python 3 中标准输入和标准输出的快速教程?

为什么 TensorFlow 的 `tf.data` 包会减慢我的代码速度?

在 macbook pro M1 上安装 Tensorflow 时出现zsh:非法硬件指令 python

如何从Pandas 中的字符串中提取前8个字符