PySpark SelectExpr()

Pyspark.sql.DataFrame.selectExpr()

Функцията selectexpr() взема колоните/набора от изрази и връща DataFrame въз основа на посочените изрази/колони. В тази функция могат да бъдат посочени множество изрази, които са разделени със запетая. За да покажем DataFrame, можем да използваме функциите show()/collect().

Синтаксис:

Тук обектът pyspark_DataFrame_object е входният PySpark DataFrame.

Сценарий 1: Изберете колоните

В този сценарий ще видим как да изберете конкретните колони от PySpark DataFrame с помощта на функцията selectExpr().

Изразът, който се използва е “existing_column as new_name”. Тук existing_column е името на колоната, което присъства в DataFrame и се показва като new_name (псевдоним).

Пример:

Създайте PySpark DataFrame с име „agri_df“ с 5 реда и колони. Вземете колоните „Soil_status“ и „Soil_Type“ като „STATUS“ и „TYPE“.

Изход:

Сценарий 2: Указване на условните изрази

В този сценарий ще видим как да оценим условията във функцията selectExpr().

Изразът, който се използва, е “existing_column operator value”. Тук existing_column е името на колоната, което присъства в DataFrame и ние сравняваме всяка стойност в тази колона с низа/стойността.

Пример 1:

Проверете дали държавата е „САЩ“ или не. Тук се използва операторът equalto (=).

Изход:

Пример 2:

Проверете дали Soil_Type е NULL или не. Ключовата дума NULL проверява дали стойността е NULL или не. Ако е нула, се връща true. В противен случай се връща false. Крайният израз е „Soil_Type IS NULL“

Изход:

Сценарий 3: Оценяване на изразите

В този сценарий ще видим как да посочим математическите изрази. Изразът, който се използва е „съществуваща_колона математически_израз“.

Пример:

1. Покажете действителната колона „Акри“.
2. Добавете 100 към колоната „Акра“.
3. Извадете 100 от колоната „Акри“.
4. Умножете 100 с колоната „Акри“.
5. Разделете колоната „Акри“ на 100.

Изход:

Сценарий 4: Прилагане на агрегатните функции

SUM(име_на_колона) – Оценява общата стойност в указаната колона.

MEAN(име_на_колона) – Оценява средната стойност в посочената колона.

MIN(име на_колона) – Връща минималния елемент сред всички елементи в указаната колона.

MAX(име_на_колона) – Връща максималния елемент сред всички елементи в указаната колона.

Пример:

1. Намерете общия, средния, броя, минималния и максималния елемент на „акри“.
2. Намерете минималните и максималните елементи в колоната „Състояние на почвата“.

Изход:

Заключение

Обсъдихме функцията selectExpr(), която взема колоните/наборите от изрази и връща DataFrame въз основа на посочените изрази/колони. Като част от това научихме четирите основни сценария, в които selectExpr() е приложим. В тази функция могат да бъдат посочени множество изрази, които са разделени със запетая. Няма нужда да създавате ВРЕМЕНЕН ИЗГЛЕД, за да използвате функцията selectExpr().