[PR]
2025年08月15日 11時34分55秒
×
[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。
【pyspark】カラム毎の最大文字数を調べる
2021年09月06日 22時26分31秒
カラム毎の最大文字数を調べるサンプル
from pyspark.sql.functions import *
d = [{'name': 'Tanaka', 'remark': '123'},{'name': 'Satou', 'remark': '12345'}]
df = spark.createDataFrame(d)
df = df.select(
length('name'),
length('remark')
).groupBy().agg(
max('length(name)'),
max('length(remark)')
)
df.show()
+---------------------+-----------------------+
|max(length(name))|max(length(remark))|
+---------------------+-----------------------+
| 6| 5|
+---------------------+-----------------------+
PR
Comment
