Как мы внедрили LLM в рабочие процессы аналитиков на R — и сделали это бесплатно

В этой статье расскажу, как мы в команде аналитиков начали использовать большие языковые модели (LLM) в повседневных рабочих инструментах. Всё построено на R, и покажу на практике, как можно внедрить такие фичи у себя — без платных подписок, без OpenAI и без строчки кода на Python.
Это не просто обзор, а реальный кейс — как мы встроили LLM в наше Shiny-приложение, которое помогает управлять задачами на сервере. Расскажу и покажу:
- Как бесплатно получить API-ключ от Gemini;
- Как с помощью пакета
ellmerсобрать свой AI-чат; - Как научить чат доставать структурированные данные из текста;
- Как подключить внешние API к чату;
- Как собрать для всего этого интерфейс на
shinychat; - И как загрузить в модель свои данные, чтобы она давала более точные и контекстные ответы.
Всё, что покажу — реально работает и используется у нас в проде.
А если ты не любишь читать — специально для тебя я записал подробный видеоурок. Смотри, повторяй, внедряй.
Если вы интересуетесь анализом данных возможно вам будут полезны моиtelegramиyoutubeканалы. Большая часть контента которых посвящены языку R.
Содержание
- Видео
- Как мы используем LLM в рабочих процессах
- Генерация API ключа для работы с LLM
- Работа с LLM в R
- Как с помощью LLM извлекать структурированные данные из текста
- Добавляем в чат инструменты
- Создаём Shiny интерфейс для чата
- Как дообучить модель своими данными
- Заключение
Видео
Для тех кто не особо люит читать – ниже видео урок с подробным объяснением всего, о чём я далее буду рассказывать в этой статье.https://embedd.srv.habr.com/iframe/680c99f1fc0bb4a81642b7ca
Тайм коды:
- 00:00 О чём это видео
- 01:05 Кейс практического внедрения AI в рабочие процессы
- 06:49 Введение в пакет ellmer
- 08:20 Как бесплатно сгенерировать API ключ для работы с Gemini API
- 09:05 Аргументы конструктора LLM чатов
- 11:07 Создаём объект chat
- 13:01 Методы объекта chat
- 14:30 Отправляем запрос в LLM
- 17:03 Извлечение структурированных данных из текста
- 24:15 Добавляем в чат инструменты, работа со сторонними API
- 28:17 Создаём графический интерфейс для нашего чата с помощью shinychat
- 31:02 Как дообучить модель своими данными
- 33:50 Заключение
Как мы используем LLM в рабочих процессах
Львиная часть нашей работы заключается в разработке скриптов, которые получают данные из различных источников, обрабатывают их, и далее либо куда-то записывают, либо формируют из них сообщения или письма и рассылают. Все скрипты крутятся на сервере под Windows, и запускаются через планировщик задач. На данный момент в планировщике заданий настроено более 350 задач, запускающих разные скрипты.
Для мониторинга планировщика заданий был написан бот, который запускается раз в 10 минут, и проверяет статус последнего выполнения всех настроенных нами задач. О самом боте я уже рассказывал в публикации Пишем telegram бота на языке R (часть 1): Создаём бота, и отправляем с его помощью сообщения в telegram.
Недавно мы пошли дальше, и развернули на сервере Shiny приложение, которое запрашивает все данные по задачам из планировщика заданий Windows, и позволяет:
- Просматривать и фильтровать список настроенных задач
- Просматривать логи, т.е. Rout файлы запускаемых задачей скриптов
- Отправлять .Rout файл на анализ в LLM, и получать объяснение о возникновении ошибки при выполнении скрипта, и пошаговый план по устранению ошибки
- Просматривать листинг скрипта запускаемого задачей
- Отправить код на анализ в Gemini и получить объяснение того, что этот код делает
- Запускать задачу
Так же в приложении есть и много другого функционала, среди которых есть чат основанный на LLM, который помогает генерировать код, и исправлять ошибки.
У нас достаточно много внутренних источников данных:
- Внутренняя самописная ERP/CRM система
- Внутренняя самописная HRM система
- Менеджер задач
- Система финансового учёта
- И ряд других внутренних источников данных.
Под работу с каждым из этих источников данных у нас написаны пакеты, которые по сути являются обёрткми в которые вшиты либо SQL запросы либо вызовы API. Так вот, чат помогающий нам писать код, анализирующий Rout файл и листинг кода, о котором я писал выше, дообучен документацией по работе к нашим пакетам, и он генерирует и анализирует код и логи с использованием подробной документации к нашим внутренним пакетам, чего не может делать ни один внешний LLM чат, ни ChatGPT, ни Claude, ни Gemini.
Всё это работает на базе Shiny, ellmer, shinychat и Gemini, абсолютно бесплатно. Далее я подробно расскажу о том, как всё это было разработано.
Генерация API ключа для работы с LLM
Для работы с API любой LLM модели вам надо сгенерировать API ключ. Практически все провайдеры сейчас убрали из планов бесплатный доступ к API, единственный провайдер, у которого я нашел бесплатный тарифы это Gemini.
Для генерации ключа просто зайдите в Google AI Studio, и нажмите кнопку Get API Key. В бесплатном тарифе вам доступно несколько моделей, среди которых очень неплохо себя показала Gemini 2.5 Flash.
Для удобства дальнейшей работы создайте переменную среды GOOGLE_API_KEY с полученным ключём.
Работа с LLM в R
Для взаимодействия с LLM моделями в R с недавних пор появился пакет ellmer, который предоставляет вам единый интерфейс к огромному количеству провайдеров LLM, моделей. Работа с ellmer начинается с создания объекта чата через один из конструкторов chat_*().
Под каждый провайдер есть свой конструктор, на данный момент ellmer поддерживает работу со следующими провайдерами LLM моделей:
- Anthropic’s Claude:
chat_claude(). - AWS Bedrock:
chat_bedrock(). - Azure OpenAI:
chat_azure(). - Databricks:
chat_databricks(). - DeepSeek:
chat_deepseek(). - GitHub model marketplace:
chat_github(). - Google Gemini:
chat_gemini(). - Groq:
chat_groq(). - Ollama:
chat_ollama(). - OpenAI:
chat_openai(). - OpenRouter:
chat_openrouter(). - perplexity.ai:
chat_perplexity(). - Snowflake Cortex:
chat_snowflake()andchat_cortex_analyst(). - VLLM:
chat_vllm().
Установим пакет ellmer, и создадим объект chat и отправим свой первый запрос:
pak::pak('ellmer')library(ellmer)# API ключSys.setenv(GOOGLE_API_KEY = 'ВАШ API ТОКЕН')chat <- chat_gemini( system_prompt = 'Ты специалист по анализу данных, и разработчик на языке R. В этом чате ты помогаешь генерировать код на языке R.' )out <- chat$chat( 'Напиши мне функцию, которая по заданному городу запрашивает текущу погоду из бесплатного API', echo = 'none' )
Все функции-конструкторы чатов имеют общий набор основных аргументов:
- mode -l Имя модели, которую вы хотите использовать. Каждый провайдер предлагает различные модели, и вы можете выбрать ту, которая лучше всего подходит для вашего случая использования. Например, у OpenAI есть модели GPT-4o, gpt-4o-mini и др.
- system_prompt – Строка, описывающая роль или поведение чата. Это начальная подсказка, которая задает тон и стиль взаимодействия, например: «You are a friendly assistant.»
- api_args – Список дополнительных аргументов, которые могут быть переданы API. Это может включать настройки специфичные для конкретного провайдера, например, температуру для генерации текста.
- echo – Управление выводом результата, принимает одно из значений: none, text, all
Объект chat построен на базе R6 классов, которые являются реализацией классического ООП в R, chat имеет следующие методы:
chat()– Этот метод используется для отправки запроса к LLM и получения ответа в виде строки.stream()– Позволяет обрабатывать потоковые данные в реальном времени. Этот метод возвращает генератор coro, который позволяет обрабатывать ответ по мере его поступления. Это удобно для различных случаев использования, таких как запись данных в файл или отправка ответа в интерфейс Shiny.chat_async()– Асинхронная версия метода chat(). Возвращает promise, который разрешает результаты, когда ответ получен. Полезен для одновременного запуска нескольких сеансов общения или в контексте Shiny, чтобы не блокировать интерфейс.stream_async()– Асинхронная версия метода stream(). Она возвращает async generator, который позволяет обрабатывать асинхронные результаты с течением времени.extract_data()– Используется для извлечения структурированных данных из текста или изображений. Принимает схему, определяющую, как должны быть структурированы данные. Возвращает данные в R-представлении, например в виде списка или таблицы данных.register_tool()– Регистрирует внешние функции или “инструменты”, которые чат-бот может вызывать. Позволяет настроить чат для выполнения дополнительных действий в зависимости от контекста, таких как выполнение API-запросов или манипуляции с данными.token_usage()– Возвращает информацию об использовании токенов в текущей сессии. Это полезно для оптимизации затрат на использование модели, так как позволяет следить за количеством использованных и оставшихся токенов.
Как с помощью LLM извлекать структурированные данные из текста
Большинство LLM моделей обладают функцией извлечения структурированных данных их текста. С помощью чего вы можете:
- быстро обрабатывать полнотекстовые анкеты извлекая из них нужные данные
- определить настроение комментариев
- классифицировать статьи по тематикам
Да и в целом можно найти огромное количество вариантов применения этой функции. Реализуется она с помощью метода extract_data(), в который вам необходимо передать текст, из которого планируете извлечь структурированные данные, и описание структуры, которую ы хотите извлечь из текста.
## описание структурыpersonal_data_str <- type_object( age = type_integer('Возраст в годах, целое число'), name = type_string('Имя'), job = type_string('Занимаемая на работе должность'))## извлекаем информациюtext <- "Привет, меня зовут Алексей, мне 40 лет, с 2016 года занимаю должность руководителя отдела аналитики."personal_data <- chat$extract_data(text, type = personal_data_str)# классификация настроения комментарияtext <- "Купленный товар работает отлично, к нему никаких притензий нет, но обслуживание клиентов было ужасным. Я, вероятно, больше не буду у них покупать."type_sentiment <- type_object( "Извлеки оценки настроений заданного текста. Сумма оценок настроений должна быть равна 1.", positive_score = type_number("Положительная оценка, число от 0.0 до 1.0."), negative_score = type_number("Отрицаетльная оценка, число от 0.0 до 1.0."), neutral_score = type_number("Нейтральная оценка, число от 0.0 до 1.0."))str(chat$extract_data(text, type = type_sentiment))
Т.е. изначально вам необходимо создать объект описания структуры с помощью функции type_object(), внутри которого вы описываете каждый отдельный извлекаемый элемент структуры с помощью других функций семейства type_*(), все типы данных можно условно поделить на 3 категории:
- Скаляры представляют собой отдельные значения, которые бывают пяти типов: type_boolean(), type_integer(), type_number(), type_string()и type_enum(), представляющие собой отдельные логические, целочисленные, двойные, строковые и факторные значения соответственно.
- Массивы представляют любое количество значений одного типа и создаются с помощью type_array(). Вы всегда должны указывать itemаргумент, который определяет тип каждого отдельного элемента. Массивы скаляров очень похожи на атомарные векторы R.
- Объекты представляют собой набор именованных значений и создаются с помощью type_object(). Объекты могут содержать любое количество скаляров, массивов и других объектов. Они похожи на именованные списки в R.
Добавляем в чат инструменты
Метод register_tool() позволяет вам встраивать в ваш чат дополнительные инструменты, например интеграцию с любыми другими API, или в целом описать любой другой инструментарий посредствам создания обычных R функций, которые вы добавите в чат. Например, ниодна LLM модель не может получить данные в реальном времени, она не знает даже текущего времени, не может дать вам информацию о текущей погоде в каком либо городе. Но вы можете обучить этому свой чат, добавив в него функции:
chat <- chat_gemini()chat$chat('Какое текущее время сейчас по Киеву?')#' Gets the current time in the given time zone.#'#' @param tz The time zone to get the current time in.#' @return The current time in the given time zone.get_current_time <- function(tz = "UTC") { format(Sys.time(), tz = tz, usetz = TRUE)}chat$register_tool(tool( get_current_time, "Получить текущее время в указанном часовом поясе.", tz = type_string( "Часовой пояс. По умолчанию `\"UTC\"`.", required = FALSE )))chat$chat('Какое текущее время сейчас по Киеву?')
В этом примере мы написали функцию get_current_time(), которая получает текущее время по указанному часовому поясу. Далее мы добавили эту функцию в чат с помощью метода register_tool(), и функции tool(), которая позволяет вам дать описание того что передаваемая в чат функция делает, и описать каждый её аргумент.
Создаём Shiny интерфейс для чата
С функционалом пакета ellmer разобрались, теперь перейдём к тому, как упаковать чат в графический интерфейс. Для этого проoе всего использовать пакет shinychat.
library(shiny)library(shinychat)ui <- bslib::page_fluid( chat_ui("chat"))server <- function(input, output, session) { chat <- ellmer::chat_gemini( system_prompt = "Ты специалист по разработке кода и анализу данных на языке R" ) observeEvent(input$chat_user_input, { stream <- chat$stream_async(input$chat_user_input) chat_append("chat", stream) })}shinyApp(ui, server)
Представленный выше код Shiny приложения запустит интерфейс для вашего чата.
Как дообучить модель своими данными
Основным аргументом позволяющим вам дообучать модель собственными данными, например документацией к вашим пакетам, или просто описанием каких либо ваших рабочих процессов источников данных, или чего угодно, является system_prompt.
Помимо обычной строки вы можете скормить ему довольно большой .md файл, в котором будет вся необходимая для обучения информация. В своём приложении я дал базовое описание:
- какие внутренние источники данных у нас есть
- определение того какой пакет предназначен для работы с каким источником
- описание всех функций, всех аргументов, и всех возвращаемых каждой функцией пакета полей
Т.е. мой md файл выглядит примерно так:
В этом чате ты выполняешь несколько фукнций:1. Анализируешь логи выполнения скриптом читая Rout файлы, даёшь объяснения ошибки и пошаговый план её исправления2. Помогаешь генерировать код на основе внутренних корпоративных пакетов# Внутренние источники данныхТут базово описаны внутренние истоники данных# Соответвие пакета и источника данныхПрописываем какой пакет предназначен для работы с каждым из источников данных# Документация к пакетамНиже приведена подробная документация к корпоративным пакетам, используй эту документацию для генерации кода и анализа Rout файлов.## Название пакетаРаботает с источником 1## Функции пакета* название фукнции 1 - описание * аргументы * аргумент 1 - описание * аргумент 2 - описание * поля которые возвращает функция * поле 1 - описание * поле 2 - описание* название фукнции 2 - описание * аргументы * аргумент 1 - описание * аргумент 2 - описание * поля которые возвращает функция * поле 1 - описание * поле 2 - описание
Далее вы передаёте этот .md файл в аргумент system_prompt:
chat <- ellmer::chat_gemini( system_prompt = paste(readLines(here::here('system_prompt.md')), collapse = "\n"))
После чего ваш чат будет обучен на основе ваших данных, и будет помогать как в генерации кода, так и в исправлении ошибок при запуске созданных ранее скриптов.
Заключение
Как оказалось на практике, внедрить LLM в реальные рабочие процессы можно без лишних затрат и сложностей. Всё, что мы сделали — использовали доступные бесплатные инструменты, немного инженерии на R и грамотную настройку. В результате получили мощного помощника, который действительно упрощает рутинные задачи, помогает в разработке, анализирует ошибки и работает с нашими внутренними данными лучше любых внешних решений.
Главный вывод: сегодня любой аналитик или разработчик на R может собрать собственное LLM-решение под свои задачи — быстро, бесплатно и без необходимости учить Python. Всё, что нужно — правильный подход и желание улучшать свои процессы.


