На занятии посмотрим как выбрать LLM для задачи — квантизованные модели, instruct-модели и пр, какие есть способы запуска LLM — как использовать API, как развернуть LLM локально с помощью Ollama, как происходит токенизация для разных языков и как это влияет на стоимость решения.
Рассмотрим реализация памяти в цепочках langchain и обсудим зачем подключать внешние источники если уже есть модели с контекстом более 10 М токенов.
В конце реализуем пару простых агентов на langchain.