В тази епоха Transformers са най-мощните модели, които осигуряват най-добри резултати в множество NLP (обработка на естествен език) операции. Първоначално той е бил използван за задачи за езиково моделиране, включително генериране на текст, както и класификация, машинен превод и много други. Но сега той се използва и за разпознаване на обекти, класификация на изображения и множество други задачи за компютърно зрение.
В този урок ще предоставим процедурата за извършване на класификацията на текст с помощта на Transformers.
Как да извършим класификация на текст с помощта на трансформатори?
За да извършите класификацията на текста с помощта на Transformers, първо инсталирайте „ трансформатори ” библиотека чрез изпълнение на предоставената команда:
! пип Инсталирай трансформатори
Както можете да видите, посочената библиотека е инсталирана успешно:
След това импортирайте „ тръбопровод ' от ' трансформатори ' библиотека:
от тръбопровод за внос на трансформатори
Тук „ тръбопровод ” ще включва НЛП задачата, която трябва да изпълним и желания трансформаторен модел за тази операция заедно с токенизатора.
Забележка: Токенизаторът се използва за извършване на обработка на текста, за да бъде предоставен входът на модела чрез разделяне на текст на токени.
След това използвайте „ тръбопровод() ” функция и я предайте на „ класификация с нулев удар “ като аргумент. След това предайте друг параметър, който е нашият модел. Ние използваме Facebook ' БАРТ ” модел трансформатор. Тук не използваме токенизатора, защото той може да бъде автоматично изведен от посочения модел:
text_classifier = тръбопровод ( 'класификация с нулев удар' , модел = 'facebook/bart-large-mnli' )
Сега декларирайте „ след ” променлива, която съдържа нашия въведен текст, който трябва да бъде класифициран. След това предоставяме категориите, в които искаме да класифицираме текста, и ги запазваме в „ лаборатория ”, което е известно като етикети:
лаборатория = [ 'актуализация' , 'грешка' , 'важен' , 'проверка' ]
Накрая стартирайте тръбопровода заедно с входа:
След изпълнение на тръбопровода, както можете да видите, моделът прогнозира предоставената от нас последователност да бъде класифицирана:
Допълнителна информация: Ако искате да ускорите производителността на модела, трябва да използвате GPU. Ако отговорът е да, тогава за тази цел можете да зададете аргумент устройство към тръбопровода и да го зададете на „ 0 ”, за да използвате GPU.
Ако искате да класифицирате текста на повече от една последователност/изявление за входен текст, тогава можете да ги добавите към списък и да го предадете като вход към конвейерите. За тази цел вижте кодовия фрагмент:
след = [ „Коректурата и редактирането са необходими компоненти, за да се гарантира яснота, съгласуваност и съдържание без грешки“ ,„В тази модерна ера SEO оптимизацията е от съществено значение, за да могат статиите да се класират добре и да достигнат до по-широка аудитория“ ]
текст_класификатор ( след , лаб )
Изход
Това е! Събрахме най-лесния начин за извършване на класификация на текст с помощта на Transformers.
Заключение
Трансформаторите се използват за изпълнение на задачи за езиково моделиране, като генериране на текст, класификация на текст и машинен превод, както и задачи за компютърно зрение, включително разпознаване на обекти и класификация на изображения. В този урок ние илюстрирахме процеса за извършване на класификация на текст с помощта на Transformers.