Приложимостта и използваемостта на моделите за машинно обучение се тества върху данни. Надеждността на тестовете зависи до голяма степен от количеството и качеството на данните, върху които се прилагат тези модели. Пълна задача само по себе си е създаването, получаването и почистването на подходящо голям набор от данни, за да тествате вашите „ Обработка на естествен език (НЛП) ” Модел на машинно обучение.
Hugging Face предлага изискано решение за това със своята изключително голяма библиотека от набори от данни, от които да избирате и да намерите този, който идеално отговаря на вашите изисквания. Тук ще ви покажем как да намерите идеалния набор от данни и да го подготвите, за да тествате адекватно вашия модел.
Как да използвам набори от данни за прегръщащи се лица?
Ще ви покажем как да използвате набори от данни за прегръщане на лица, използвайки примера на „ TinyStories ” Набор от данни от Hugging Face.
Пример
Наборът от данни TinyStories има повече от 2 милиона реда данни в разделянето на влака и има повече от 2 хиляди изтегляния на платформата Hugging Face. Ще го използваме в кода в Google Colab, даден по-долу:
! пип Инсталирай трансформатори
! пип Инсталирай набори от данни
от набори от данни импортирайте load_dataset
набор от данни = load_dataset ( 'roneneldan/TinyStories' )
TinyStories_Story = 3
пример_низ = набор от данни [ 'влак' ] [ TinyStories_Story ] [ 'текст' ]
печат ( примерен_низ )
В този код разгледайте посочените по-долу стъпки:
Стъпка 01 : Първата стъпка е „ инсталация ” от набори от данни за трансформатори.
Стъпка 02 : След това импортирайте необходимия набор от данни, “ TinyStories ” във вашия проект.
Стъпка 03 : След това заредете избрания набор от данни с помощта на „ load_dataset() ” функция.
Стъпка 04 : Сега посочваме номера на историята, който искаме от набора от данни TinyStories. Посочили сме числото 03 в нашия пример за код.
Стъпка 05 : И накрая, ще използваме метода “print()”, за да покажем резултата.
Изход
Забележка: Кодът и изходът също могат да се видят директно в нашия Google Colab .
Заключение
“ Набори от данни за прегърнати лица ” прави невероятно ефикасно за потребителите да тестват своите модели на машинно обучение, докато директно импортират големи набори от данни от тяхната онлайн библиотека. В резултат на това прилагането на NLP алгоритми стана по-лесно и по-бързо, тъй като програмистите могат да тестват проектите си спрямо набор от данни, който има както качество, така и количество.