ЧИТАЙТЕ ПОЛНЫЙ БЛОГ ЗДЕСЬ
Мы уже рассмотрели руководство по LangChains для начинающих о том, как создавать различные приложения с использованием инфраструктуры LangChain вместо LLM. Если вы пропустили это, мы предоставим вам все необходимое.
https://vteam.ai/blog/posts/beginners-guide-for-lang-chain
Итак, как вы, наверное, знаете, LangChain — это мощная платформа, построенная на основе больших языковых моделей (LLM), предназначенная для таких задач, как чат-боты, генеративные ответы на вопросы, обобщение и многое другое. Основная идея LangChain — «связать» вместе различные компоненты, создавая последовательности компонентов или подцепей для достижения конкретных задач. Эти компоненты включают в себя шаблоны подсказок, языковые модели и анализаторы вывода, которые гармонично работают для обработки пользовательского ввода, генерации ответов и обработки выходных данных. LangChain упрощает настройку таких моделей, как GPT-3, предоставляя API для быстрого проектирования, повышая доступность работы с LLM для различных приложений. Он упрощает интеграцию с различными типами моделей и интерфейсов, позволяя специалистам LLM принимать строки в качестве входных данных и создавать строки в качестве выходных данных, что ускоряет разработку приложений на основе больших языковых моделей.
В последнем уроке мы создали три разных приложения: проверку грамматики, смену тонов и языковой переводчик, коды для которых доступны в упомянутом выше сообщении блога. Немного усложняя задачу, мы перейдем к некоторым формулировкам проблем, связанных с НЛП, и к тому, как их реализовать с помощью LangChains и LLM. Но прежде чем переходить к кодам, давайте разберемся с несколькими фундаментальными понятиями, необходимыми для понимания этого руководства.
Распознавание именованных объектов (NER): NER включает идентификацию и классификацию именованных объектов (таких как имена людей, мест, организаций, даты и т. д.) в тексте. Пример: «Джонни живет во Флориде» — NER идентифицирует «Джонни» как ЧЕЛОВЕКА, а «Флориду» как GPE (геополитическую сущность).
Разметка текста. Разметка текста в системе обработки естественного языка (NLP) включает в себя присвоение определенных меток или тегов словам в текстовом корпусе для обозначения их грамматических или семантических свойств. Эти теги предоставляют информацию о части речи (существительное, глагол, прилагательное и т. д.) или других лингвистических характеристиках каждого слова.
LLM: Большие языковые модели (LLM) — это тип искусственного интеллекта, характеризующийся большим размером. Они обладают способностью обрабатывать и генерировать человеческие ответы на запросы на естественном языке. LLM обучаются на огромных объемах текстовых данных, часто взятых из Интернета, с использованием ускорителей искусственного интеллекта. Они используются в различных задачах обработки естественного языка и способны генерировать связный и контекстуально релевантный текст. Популярные примеры LLM включают BERT, GPT-3 и T5. Эти модели произвели революцию в обработке естественного языка, продемонстрировав способность генерировать человеческий текст и понимать контекст, что привело к применению в чат-ботах, генерации контента, переводе и т. д.
LangChains: LangChain — это платформа, предназначенная для упрощения создания приложений с использованием больших языковых моделей (LLM). Он позволяет объединять различные компоненты для создания расширенных вариантов использования LLM, таких как чат-боты, генеративные ответы на вопросы, обобщение и многое другое. LangChain предлагает стандартный интерфейс для построения цепочек моделей и интегрируется с различными инструментами. Это облегчает взаимодействие между цепочками и внешними источниками данных для генерации дополненных данных.
Урок 1. Распознавание именованного объекта
В этой короткой демонстрации мы извлечем имя человека, организации и города. Давайте начнем с необходимого импорта
#!pip install openai langchain
from langchain.chat_models import ChatOpenAI
from langchain.chains import create_extraction_chain
# Schema
schema = {
"properties": {
"name": {"type": "string"},
"city":{"type": "string"},
"organization":{"type":"string"}
}
}
Здесь схема относится к объектам, которые мы хотим извлечь в форме словаря.
# Run chain llm = ChatOpenAI(openai_api_key=api_key) chain = create_extraction_chain(schema, llm)
Далее мы загружаем объект LLM. Помните, что на этом этапе нам нужен api_key. Используйте схему и LLM в качестве параметра для передачи в create_extraction_chain().
Время для некоторых испытаний
inp = """Being working at Salesforce, Bengaluru, Ravi has earned a fortune for himself""" print(chain.run(inp)) inp = 'Diksha heads the Marketing department at DBS, Singapore' print(chain.run(inp)) inp = 'How is life in Hyderabad, Mehul?' print(chain.run(inp))
Как вы можете заметить, мы успешно извлекли все сущности, присутствующие в тексте. Если вам нужны и другие объекты, укажите их в схеме.
Пожалуйста, прочитайте полный блог, где вы найдете руководства по разметке текста и обобщению !!
