Нормализирането на данните е техника, която помага да се постигне по -бърз резултат, тъй като машината трябва да обработва по -малък диапазон от данни. Нормализирането не е лесна задача, защото всички ваши резултати зависят от избора на вашия метод за нормализиране. Така че, ако сте избрали грешен метод за нормализиране на вашите данни, може да получите нещо различно от вашите очаквания.
Нормализирането също зависи от типа данни като изображения, текст, числови и т.н. Така че всеки тип данни има различен метод за нормализиране. Така че в тази статия ние се фокусираме върху числови данни.
Метод 1: Използване на sklearn
Методът sklearn е много известен метод за нормализиране на данните.
В номер на клетка [83] : Импортираме всички необходими библиотеки, NumPy и sklearn. Можете да видите, че импортираме предварителната обработка от самия sklearn. Ето защо това е методът за нормализиране на sklearn.
В номер на клетка [84] : Създадохме масив NumPy с някаква цяло число, което не е същото.
В номер на клетка [85] : Извикахме метода normalize от предварителната обработка и предадохме numpy_array, който току -що създадохме като параметър.
В номер на клетка [86] : От резултатите можем да видим, че всички наши цели данни сега са нормализирани между 0 и 1.
Метод 2: Нормализирайте определена колона в набор от данни, използвайки sklearn
Можем също да нормализираме конкретната колона с набор от данни. В това ние ще обсъдим това.
В номер на клетка [87] : Импортираме библиотеките pandas и sklearn.
В номер на клетка [88] : Създадохме фиктивен CSV файл и сега зареждаме този CSV файл с помощта на пакета pandas (read_csv).
В номер на клетка [89] : Отпечатваме този CSV файл, който наскоро заредихме.
В номер на клетка [90] : Четем конкретната колона от CSV файла, използвайки np. масив и съхранява резултата в value_array.
В номер на клетка [92] , извикахме метода normalize от предварителната обработка и предадохме параметъра value_array.
Метод 3: Конвертиране за нормализиране без използване на колони за масив (с помощта на sklearn)
В предишния метод 2 обсъдихме как към определена колона с CSV файл можем да нормализираме. Но понякога трябва да нормализираме целия набор от данни, тогава можем да използваме метода по-долу, където нормализираме целия набор от данни, но по колона (ос = 0). Ако споменем оста = 1, тя ще направи нормализиране по ред. Оста = 1 е по подразбиране.
В номер на клетка [93] : Импортираме библиотеките pandas и sklearn.
В номер на клетка [94] : Създадохме фиктивен CSV файл (demo_numeric.csv) и сега зареждаме този CSV файл с помощта на пакета pandas (read_csv).
В номер на клетка [95] : Отпечатваме този CSV файл, който наскоро заредихме.
В номер на клетка [96] : Сега предаваме целия CSV файл заедно с още една допълнителна ос на параметър = 0, която казва на библиотеката, че потребителят иска да нормализира целия набор от данни по колони.
В номер на клетка [97] , отпечатваме резултата и нормализираме данни със стойност между 0 и 1.
Метод 4: Използване на MinMaxScaler ()
Склеарнът предоставя и друг метод за нормализиране, който го нарекохме MinMaxScalar. Това също е много популярен метод, защото е лесен за използване.
В номер на клетка [98] : Импортираме всички необходими пакети.
В номер на клетка [99] : Създадохме фиктивен CSV файл (demo_numeric.csv) и сега зареждаме този CSV файл с помощта на пакета pandas (read_csv).
В номер на клетка [100] : Отпечатваме този CSV файл, който наскоро заредихме.
В номер на клетка [101] : Извикахме MinMaxScalar от метода за предварителна обработка и създадохме обект (min_max_Scalar) за това. Не предадохме никакви параметри, защото трябва да нормализираме данните между 0 и 1. Но ако искате, можете да добавите вашите стойности, които ще се видят в следващия метод.
В номер на клетка [102] : Първо четем всички имена на колоните за по -нататъшна употреба за показване на резултатите. След това извикваме fit_tranform от създадения обект min_max_Scalar и предаваме CSV файла в него.
В номер на клетка [103] : Получаваме нормализираните резултати, които са между 0 и 1.
Метод 5: Използване на MinMaxScaler (feature_range = (x, y))
Sklearn също предоставя възможност за промяна на нормализираната стойност на това, което искате. По подразбиране те нормализират стойността между 0 и 1. Но има параметър, който нарекохме feature_range, който може да зададе нормализираната стойност според нашите изисквания.
В номер на клетка [104] : Импортираме всички необходими пакети.
В номер на клетка [105] : Създадохме фиктивен CSV файл (demo_numeric.csv) и сега зареждаме този CSV файл с помощта на пакета pandas (read_csv).
В номер на клетка [106] : Отпечатваме този CSV файл, който наскоро заредихме.
В номер на клетка [107] : Извикахме MinMaxScalar от метода за предварителна обработка и създадохме обект (min_max_Scalar) за това. Но също така предаваме друг параметър вътре в MinMaxScaler (feature_range). Тази стойност на параметъра задаваме от 0 до 2. Така че сега MinMaxScaler ще нормализира стойностите на данните между 0 до 2.
В номер на клетка [108] : Първо четем всички имена на колоните за по -нататъшна употреба за показване на резултатите. След това извикваме fit_tranform от създадения обект min_max_Scalar и предаваме CSV файла в него.
В номер на клетка [109] : Получаваме нормализираните резултати, които са между 0 и 2.
Метод 6: Използване на максималното абсолютно мащабиране
Можем също така да нормализираме данните с помощта на панди. Тези функции също са много популярни при нормализиране на данните. Максималното абсолютно мащабиране нормализира стойностите между 0 и 1. Тук прилагаме .max () и .abs (), както е показано по -долу:
В номер на клетка [110] : Импортираме библиотеката на пандите.
В номер на клетка [111] : Създадохме фиктивна рамка от данни и я отпечатахме.
В номер на клетка [113] : Извикваме всяка колона и след това разделяме стойностите на колоните с .max () и .abs ().
В номер на клетка [114] : Отпечатваме резултата и от резултата потвърждаваме, че данните ни се нормализират между 0 и 1.
Метод 7: Използване на метода z-score
Следващият метод, който ще обсъдим, е методът z-score. Този метод преобразува информацията в разпределението. Този метод изчислява средната стойност на всяка колона и след това изважда от всяка колона и накрая я разделя със стандартното отклонение. Това нормализира данните между -1 и 1.
В номер на клетка [115] : Създадохме фиктивна рамка от данни и я отпечатахме.
В номер на клетка [117] : Изчисляваме средната стойност на колоната и я изваждаме от колоната. След това разделяме стойността на колоната със стандартното отклонение.
В номер на клетка [118] : Отпечатваме нормализираните данни между -1 и 1.
Заключение: Виждали сме различни видове нормализирани методи. Сред тях sklearn е много известен, защото поддържа машинно обучение. Но това зависи от изискванията на потребителя. Понякога функцията за панда за нормализиране на данните е достатъчна. Не можем да кажем, че има само по -горе нормализирани методи. Има много методи за нормализиране на данните, които също зависят от типа на данните ви, като изображения, числови, текстови и др. Ние се фокусираме върху тези цифрови данни и Python.