В конце концов, выбор метрик зависит от вашего случая использования и реализации вашего LLM-приложения, где метрики RAG и fine-tuning являются отличной отправной точкой для оценки выводов LLM. Для более специфичных метрик в зависимости от случая использования prompt инженер вы можете использовать G-Eval с few-shot prompting для наиболее точных результатов. Метрика предвзятости оценивает такие аспекты, как политические, гендерные и социальные предвзятости в текстовом контенте. Это особенно важно для приложений, где пользовательская языковая модель (LLM) участвует в процессах принятия решений. Например, при помощи в одобрении банковских займов с непредвзятыми рекомендациями или в рекрутинге, где модель помогает определить, должен ли кандидат быть включён в список для интервью.
User Story: кто пишет пользовательские истории и зачем это надо
Разные аудитории могут иметь разные цели и способы взаимодействия с вашим продуктом. Начав это упражнение с набора персонажей пользователей, вы сможете гарантировать, что команды имеют общее представление о целевой аудитории и строят истории с этой точки зрения. Это также исключает напрасные усилия в крайних случаях, которые не подходят вашей целевой аудитории. https://deveducation.com/ Существуют такие программные решения и сервисы, которые прочно удерживают внимание пользователя. И дело здесь не только в удобном интерфейсе, легкой навигации и понятной структуре. Огромную роль играет грамотно проработанная user story, которая помогает понять, что именно пользователь ждет от продукта.
User story — что это, структура и 7 примеров
Они эволюционируют в процессе разработки, уточняются и дополняются по мере того, как команда и заказчик лучше понимают потребности пользователей и возможности продукта. В Agile-фреймворках, таких как Scrum или Kanban , пользовательские истории служат основой для user stories это планирования спринтов, оценки прогресса и приоритизации задач. Они помогают разбить большие и сложные задачи на управляемые части, что облегчает их реализацию и тестирование.
Пользовательские истории (User Stories)
Это будет удобно тем, кто не использует Infinity и хочет вдохновиться через этот шаблон и тем, кто пользуется Infinity и хочет ускорить процесс. Истории пишут продакт-менеджеры (product manager) или владельцы продукта (product owner) в максимально простом формате, объемом в пару предложений. Если история выходит слишком насыщенная нюансами, то ее стоить разделить на несколько простых историй. Эффективная работа с User Stories требует постоянной практики и адаптации под специфику проекта и команды. Ключ к успеху — поддерживать баланс между формальностью процесса и гибкостью, необходимой для быстрой разработки и реагирования на изменения.
Метрики, специфичные для конкретного случая
Это шаги или операции, которые необходимо выполнить для создания продукта. Например, задачей может быть добавление кнопки «Купить» на странице товара. Эпики — это по сути те же истории пользователей, но они включают несколько и содержат описание функционала приложения и его задач. Обычно эпики используют, чтобы не перегружать список с общими задачами. Когда приходит время создания юзер стори, то эпики дробят на эти истории. Это привычный шаг для всех, кто создает продукты для пользователей, — составить портрет своей целевой аудитории.
Однако ясно, что это не будет «Agile» (гибко), если это история с 423 критериями приемки. Они представляют собой набор инструкций, каждая из которых дает четкий результат «прошел или не прошел» — например, контрольный список, в котором указаны функциональные и нефункциональные требования. Узнайте, как команды могут отслеживать отдельные работы с помощью задач. Пользовательские истории состоят из нескольких предложений, описывающих требуемый результат простым языком и в общих чертах.
В нем вы указываете, кто пользователь (As a…), что он хочет (I want…) и зачем ему это нужно (So that…). «Каждая команда использует свои критерии приоритизации, но общий принцип — в первую очередь делать то, что важнее для пользователя. Если задача требует большей проработки, можно отложить ее на потом. «На начальных этапах можно использовать стикеры, чарты, большие доски. Например, самые популярные среди продуктовых команд и команд разработки — Jira и Trello. Если вы считаете, что это слишком сложно реализовать, вы можете использовать DeepEval.
Каждый участник команды мог взять листок и записать свою идею. Потом эти карточки группировали на общей доске — они всегда были на виду и помогали в разработке продукта. Контекстная точность — это метрика RAG, которая оценивает качество извлекателя вашего конвейера RAG. Когда мы говорим о контекстных метриках, нас в основном интересует релевантность контекста извлечения.
Высокая оценка контекстной точности означает, что узлы, которые релевантны в контексте извлечения, ранжируются выше, чем нерелевантные. Это важно, поскольку LLM придает больший вес информации в узлах, которые появляются раньше в контексте извлечения, что влияет на качество конечных выходных данных. Основная цель Prometheus заключается в том, чтобы сделать процессы оценки открытыми, устраняя зависимость от проприетарных моделей, таких как GPT от OpenAI. Однако, для тех, кто стремится создать лучшие доступные методы оценки LLM, Prometheus может оказаться не самым подходящим выбором. Это общая пользовательская история, которая описывает широкий функционал или набор функций, которые нужно реализовать в продукте.
User Stories используют не только для разработки программ, но и для того, чтобы выстраивать стратегию развития продукта. Этот инструмент может служить мостом между отделами продаж и разработки, так как он помогает изучить вопросы и пожелания клиентов. Важно использовать User Story и JTBD на этапе тестирования продукта. User Story помогает создать сценарии для его тестирования, а JTBD — проверить, насколько продукт действительно решает задачи пользователей. Допустим, компания собирается разрабатывать сайт для заказа такси. Нужно оценить, какие параметры для пользователей будут иметь первостепенное значение.
Как пользователь приложения, я хочу быстро регистрироваться через VK, чтобы сэкономить время на регистрацию. ✔️Как пассажир, я хочу смотреть стоимость такси разного класса. Проще всего визуализировать через такие инструменты, где предусмотрено создание досок и карточек. Например, это может быть привычный всем Trello, за рубежом нередко используют Kanban.
При создании User Story изучают целевую аудиторию, создают описание пользователя. Для составления User Story уделяют внимание пожеланиям клиентов, поэтому их потребности важно изучать. Для создания хороших User Stories проводят опросы и исследования целевой аудитории. В плохой пользовательской истории ценность равна действию пользователя. User Story помогает определить, в чем ценность продукта для клиентов. На эту же задачу направлен другой инструмент — JTBD — «Jobs to be done».
- Это позволяет модели-судье (judge LLM) избегать анализа длинного контекста (который может привести к галлюцинациям) и сосредоточиться на проверке выполнения одной инструкции за раз.
- Прочитайте эту статью от онлайн школы FoxmindEd и узнайте про, user story mapping что это, user story как писать и user story пример.
- Сформулировав пользовательские истории, позаботьтесь о том, чтобы они были доступны всей команде.
- При создании User Story изучают целевую аудиторию, создают описание пользователя.
- ✔️ Как пассажир, я хочу выбирать такси разного класса в приложении.
Это позволяет разработчику узнать, когда пользовательская история готова и как клиенту проверить это. Без точных формулировок требований в момент поставки продукта могут возникнуть длительные неконструктивные разногласия. Пользовательская история остается неофициальным определением требований, пока отсутствует процедура приемочного тестирования. Прежде чем реализовывать пользовательскую историю, клиент должен определить соответствующую приемную процедуру, чтобы гарантировать, что цели пользовательской истории были достигнуты. В Agile-разработке программного обеспечения User Story – это краткое объяснение функции простым языком, написанное с точки зрения пользователя. Многие эксперты по гибкой разработке также описывают User Story как наименьшую единицу работы по разработке продукта, которая может привести к полному элементу пользовательской функциональности.
Вместо многостраничных документов с требованиями к программному обеспечению, команда разработчиков описывает понятные пользовательские истории, обсуждает их. Одним из принципов agile-разработки является идея разбиения крупных разработок на более мелкие части, называемые историями. К каждой пользовательской истории в какой-то момент должно быть прикреплено одно или более приемочное тестирование.
То есть стори не являются технической документацией — это чаще неформальный или деловой текст, который понимает каждый человек в отделе. Сам текст оформляется на карточках и содержит основные тезисы — считается, что истории должны быть максимально краткими и понятными, чтобы никто не сидел над их расшифровкой долго. При создании новой истории автор всегда должен сосредоточиться на описании своих потребностей и цели, которую он пытается достичь с ее помощью. Благодаря этому команда, выслушав историю и не будучи ограниченной уже предложенными попытками решения, может свободно создать или предложить наилучшую альтернативу для решения проблемы.
Может потребоваться дополнительная документация для полного описания системы. Разбивка функциональности на небольшие истории позволяет реализовывать продукт инкрементально, что соответствует принципам Agile. Компактный формат историй облегчает оценку трудозатрат и времени, необходимых для реализации функциональности. Их можно добавлять, удалять или изменять приоритеты без необходимости переписывать обширную документацию.