Как да използвам буфер за токени за разговор в LangChain?

Kak Da Izpolzvam Bufer Za Tokeni Za Razgovor V Langchain



LangChain позволява на разработчиците да изграждат модели с помощта на машинно обучение или задълбочено обучение, което може да обучава модели с помощта на наборите от данни. Тези модели могат да получат различни модели от данните или да разберат формата на набора от данни и неговия език, за да извлекат информация. Големите езикови модели или LLM могат да бъдат конфигурирани или проектирани с помощта на рамки LangChain, които могат да разбират и генерират текст на естествени езици.

Това ръководство ще илюстрира процеса на използване на буфер на токен за разговор в LangChain.

Как да използвам буфер за токени за разговор в LangChain?

The ConversationTokenBufferMemory библиотеката може да бъде импортирана от рамката LangChain, за да съхранява най-новите съобщения в буферната памет. Токените могат да бъдат конфигурирани да ограничават броя на съобщенията, съхранявани в буфера, и по-ранните съобщения ще бъдат изчистени автоматично.







За да научите процеса на използване на буфера на токена за разговор в LangChain, използвайте следното ръководство:



Стъпка 1: Инсталирайте модули

Първо инсталирайте рамката LangChain, съдържаща всички необходими модули, като използвате командата pip:



pip инсталирайте langchain





Сега инсталирайте модула OpenAI, за да изградите LLM и вериги с помощта на метода OpenAI():

pip инсталирайте openai



След като инсталирате модулите, просто използвайте API ключа на OpenAI, за да настройте средата използване на библиотеките на os и getpass:

импортиране Вие

импортиране getpass

Вие . приблизително [ „OPENAI_API_KEY“ ] = getpass . getpass ( „API ключ на OpenAI:“ )

Стъпка 2: Използване на буферната памет на токена за разговор

Изградете LLM с помощта на метода OpenAI() след импортиране на ConversationTokenBufferMemory библиотека от рамката LangChain:

от Langchain. памет импортиране ConversationTokenBufferMemory

от Langchain. llms импортиране OpenAI

llm = OpenAI ( )

Конфигурирайте паметта, за да зададете токена, той изчиства старите съобщения и ги съхранява в буферната памет. След това запазете съобщенията от разговора и вземете най-новите, за да ги използвате като контекст:

памет = ConversationTokenBufferMemory ( llm = llm , max_token_limit = 10 )

памет. save_context ( { 'вход' : 'Здравейте' } , { 'изход' : 'Как си' } )

памет. save_context ( { 'вход' : 'Аз съм добър, а ти' } , { 'изход' : 'не много' } )

Изпълнете паметта, за да получите данните, съхранени в буферната памет, като използвате метода load_memory_variables():

памет. load_memory_variables ( { } )

Стъпка 3: Използване на буферната памет на токена за разговор във верига

Изградете веригите, като конфигурирате ConversationChain() метод с множество аргументи за използване на буферната памет на маркера за разговор:

от Langchain. вериги импортиране ConversationChain

разговор_с_резюме = ConversationChain (
llm = llm ,
памет = ConversationTokenBufferMemory ( llm = OpenAI ( ) , max_token_limit = 60 ) ,
многословен = Вярно ,
)
разговор_с_резюме. прогнозирам ( вход = 'Здрасти какво става?' )

Сега започнете разговора, като задавате въпроси, като използвате подканите, написани на естествен език:

разговор_с_резюме. прогнозирам ( вход = „Просто работя по НЛП проекта“ )

Вземете изхода от данните, съхранени в буферната памет, като използвате броя токени:

разговор_с_резюме. прогнозирам ( вход = „Просто работя върху проектирането на LLM“ )

Буферът продължава да се актуализира с всяко ново въвеждане, тъй като предишните съобщения се изчистват редовно:

разговор_с_резюме. прогнозирам (

вход = „LLM използва LangChain! Чували ли сте за него“

)

Това е всичко за използването на буфера на токена за разговор в LangChain.

Заключение

За да използвате буфера на токена за разговор в LangChain, просто инсталирайте модулите, за да настроите средата, като използвате API ключа от OpenAI акаунта. След това импортирайте библиотеката ConversationTokenBufferMemory, като използвате модула LangChain, за да съхраните разговора в буфера. Буферната памет може да се използва във верига за изчистване на по-старите съобщения с всяко ново съобщение в чата. Тази публикация разработи подробно използването на буферната памет на маркера за разговор в LangChain.