Экспериментальная оценка и сравнение эмбеддинг-энкодеров для систем генерации, дополненной поиском (RAG)

Генерация с дополнением поиском (Retrieval-Augmented Generation, RAG) является эффективной стратегией снижения галлюцинаций в больших языковых моделях за счёт привязки ответов к внешним источникам. В биомедицине, где ошибки могут иметь реальные последствия, этап извлечения информации особенно критичен, и выбор модели эмбеддингов, управляющей ретривалом, может существенно влиять на качество ответов. В данной работе проводится прямое сравнительное исследование четырёх моделей эмбеддингов — MiniLM, BioBERT, PubMedBERT и OpenAI text-embedding-ada-002 — интегрированных в один и тот же RAG-конвейер для биомедицинских вопросов и ответов на датасете PubMedQA. Качество ответов оценивается с использованием метрик BERTScore и ROUGE-L, отражающих соответственно семантическое соответствие и лексическое совпадение; дополнительно анализируется задержка (latency), чтобы учесть практические ограничения внедрения. Во всех рассмотренных конфигурациях компактные модели общего назначения, такие как MiniLM, сопоставимы по качеству или даже превосходят предметноориентированные альтернативы, сохраняя конкурентоспособное (часто более низкое) время извлечения и полное время обработки запроса. Полученные результаты дают практические рекомендации специалистам и показывают, что «лёгкие» эмбеддинги могут обеспечивать привлекательный компромисс между точностью и вычислительной эффективностью для биомедицинских RAG-систем без потери фактической обоснованности.

Hali tarjima qilinmagan