Как да използвате PyGPT4All в Python

Синтаксис:

Тъй като сме запознати с ChatGPT, знаем, че тази платформа е собственост на общността Open AI и предоставя инструменти, архитектури, API и няколко рамки, които можем да използваме при внедряването на нашите приложения и моделите за обработка на естествен език. Open AI предлага API, чрез които можем да използваме всякакви предварително обучени AI и NLP модели от платформата Open AI и можем да ги накараме да работят за нашите приложения, като например да дават прогнози за данни в реално време. По същия начин GPT4All също така предоставя на своите потребители да интегрират своите предварително обучени AI модели с различни приложения.

Моделът GPT4All се обучава на ограничени данни в сравнение с ChatGPT. Той също има някои от своите ограничения на производителността в сравнение с ChatGPT, но позволява на потребителя да използва своя личен GPT на своя локален хардуер и не изисква никакви мрежови връзки. С помощта на тази статия ще научим как можем да използваме моделите GPT4All в скрипт на Python, тъй като GPT4All има официалните обвързвания с Python, което означава, че можем да използваме и интегрираме моделите GPT4All и чрез скрипт на Python.

Всичко това изисква онлайн команда за инсталиране на GPT4All за Python IDE. След това можем да интегрираме толкова AI модели, колкото и нашите приложения. Командата за инсталиране на този GPT4All в Python е както е показано по-долу:

Пример 1:

За да започнем с този пример, трябва да изтеглим и инсталираме Python в нашите системи. Препоръчителните версии на Python са „версия 3.7“ или тези, които идват след тази версия. Друг начин да работите с Python, за да избегнете дългия процес на инсталиране на „настройката на Python“ на нашите системи, е използването на „Google Colab“, която е базирана на облак среда за Python. Можем да стартираме тази среда на всеки уеб браузър и можем да изградим AI и модели за машинно обучение. Примерите, които ще приложим тук, се изпълняват в Google Colab.

Този пример обхваща метода за инсталиране на GPT4All в Python и как да използвате неговите предварително обучени модели. Започваме, като първо инсталираме GPT4All. За това се изпълнява командата, която споменахме по-рано. С изпълнението на командата GPT4All заедно с неговите пакети и рамки се изтеглят и инсталират.

Сега продължаваме напред. От GPT4All импортираме „GPT4All“. Това добавя всички предварително обучени модели от GPT4All към проекта. Сега можем да използваме всеки отделен модел и да го накараме да прави прогнозите за нашето приложение. След като импортираме пакета GPT4All, сега е време да извикаме тази функция и да използваме модела GPT4All, който дава резултат за „завършване на чат“.

С други думи, ако поискаме нещо от този модел на входа, той го връща на изхода. Моделът, който използваме тук, е „ggml-gpt4all-j-v1.3-groovy“. Тези модели вече са съхранени в кеша на GPT4All. Можем да вземем тези модели от тази връзка “ https://github.com/nomic-ai/gpt4all/tree/main/gpt4all-chat ” за ръчно изтегляне. Ако моделът вече присъства в кеша на GPT4All, ние просто извикваме името на модела и го определяме като входни параметри към функцията „GPT4All()“. Ако ръчно сме го изтеглили успешно, предаваме пътя до папката, в която се намира моделът. Тъй като този модел е за завършване на съобщение, синтаксисът за този модел е даден, както следва:

Съобщенията са списък с речници и всеки речник трябва да съдържа ключ за „роля“ със стойност на потребителя, системата или асистента и съдържанието на „ключа“, което има стойност като низ. В този пример ние посочваме съдържанието като  „именуване на три цвята“ и ролевия ключ като „потребител“.

След тази спецификация извикваме функцията „chat_completion()“ с модела. Кодът за това се показва в следния изход:

След изпълнението на този пример моделът връща три цвята като отговор на входа.

Пример 2:

Ние разглеждаме друг пример, където откриваме друг метод за използване на GPT4All в Python. Това може да се направи с помощта на официалните обвързвания за Python, които се предоставят от „Nomic“, която е AI общност с отворен код и изпълнява GPT4All. Използвайки следната команда, ние интегрираме „nomic“ в нашата Python конзола:

След като това е инсталирано, импортираме GPT4All от „nomic.gpt4all“. След като импортираме GPT4All, ние инициализираме GPT4All с функцията „open()“. След това извикваме функцията “prompt()” и предаваме подкана към тази функция. След това се генерира бърз отговор въз основа на подканата, която сме дали като вход към модела на подкана.

Резултатът показва бързия отговор от модела, който генерирахме с помощта на предварително обучения модел GPT4All в Python. Ако искаме да научим повече за моделите и как можем да използваме тези модели за генериране на отговорите, или с прости думи, ако искаме да придобием знания за синтаксиса за генериране на отговорите от тези модели, може да потърсим допълнителна помощ от GPT4 Всички подробности за техническата документация.

Заключение

GPT4All все още се стреми да постигне точност на производителността. Той се управлява от nomic AI платформа, която има за цел да предостави изкуствено интелигентни чатботове на своите потребители на CPU от потребителски клас, тъй като GPT4All работи без никаква мрежова връзка и GPU. Тази статия ни просветлява как да използваме умело PyGPT4All в среда на Python и да създадем взаимодействие между нашите приложения и предварително обучените GPT4All AI модели. В това ръководство разгледахме два различни метода за инсталиране на GPT4All в Python.