
BOOKS - Retrieval Augmented Generation in Production

Retrieval Augmented Generation in Production
Author: Skanda Vivek
Format: PDF
File size: PDF 1.8 MB
Language: English

Format: PDF
File size: PDF 1.8 MB
Language: English

The author emphasizes the importance of studying and understanding the process of technology evolution to ensure the survival of humanity and the unity of people in a warring state. The book begins by highlighting the challenges that software engineers face when building real-world applications with large language models (LLMs) and how incorporating open-source LLMs can offset these benefits. The author then introduces Haystack, an open-source framework that provides a collection of useful tools and infrastructure building blocks to design and build scalable API-driven LLM backends. This framework makes it easy to build extractive or generative QA and semantic search for querying large textual data, as well as a reliable and secure ChatGPT-like experience on top of technical documentation.
Автор подчеркивает важность изучения и понимания процесса эволюции технологий для обеспечения выживания человечества и единства людей в воюющем государстве. Книга начинается с освещения проблем, с которыми сталкиваются инженеры-программисты при создании реальных приложений с большими языковыми моделями (LLM), и того, как включение LLM с открытым исходным кодом может компенсировать эти преимущества. Затем автор представляет Haystack, фреймворк с открытым исходным кодом, который предоставляет коллекцию полезных инструментов и строительных блоков инфраструктуры для проектирования и создания масштабируемых бэкендов LLM на основе API. Этот фреймворк позволяет легко строить экстракционный или генеративный QA и семантический поиск для запроса больших текстовых данных, а также надежный и безопасный ChatGPT-подобный опыт поверх технической документации.
L'auteur souligne l'importance d'étudier et de comprendre le processus d'évolution des technologies pour assurer la survie de l'humanité et l'unité des hommes dans un État en guerre. livre commence par mettre en évidence les problèmes rencontrés par les ingénieurs en programmation lors de la création d'applications réelles avec de grands modèles linguistiques (LLM) et comment l'inclusion de LLM open source peut compenser ces avantages. L'auteur présente ensuite Haystack, un cadre open source qui fournit une collection d'outils utiles et de blocs de construction d'infrastructure pour concevoir et créer des backends LLM évolutifs basés sur l'API. Ce cadre permet de construire facilement un QA extractif ou génératif et une recherche sémantique pour demander de grandes données de texte, ainsi qu'une expérience ChatGPT fiable et sécurisée en plus de la documentation technique.
autor subraya la importancia de estudiar y comprender el proceso de evolución de la tecnología para garantizar la supervivencia de la humanidad y la unidad de los seres humanos en un Estado en guerra. libro comienza destacando los retos que enfrentan los ingenieros de software a la hora de crear aplicaciones reales con modelos de lenguaje grande (LLM) y cómo la inclusión de LLM de código abierto puede compensar estos beneficios. A continuación, el autor presenta Haystack, un framework de código abierto que proporciona una colección de herramientas útiles y bloques de construcción de infraestructura para diseñar y crear backends escalables LLM basados en API. Este marco le permite construir fácilmente QA de extracción o generación y búsqueda semántica para solicitar grandes datos de texto, así como una experiencia de ChatGPT confiable y segura sobre la documentación técnica.
Der Autor betont, wie wichtig es ist, den Prozess der technologischen Evolution zu studieren und zu verstehen, um das Überleben der Menschheit und die Einheit der Menschen in einem kriegführenden Staat zu gewährleisten. Das Buch beginnt mit der Hervorhebung der Herausforderungen, denen Softwareingenieure beim Erstellen realer Anwendungen mit großen Sprachmodellen (LLM) gegenüberstehen, und wie die Einbeziehung von Open-Source-LLM diese Vorteile ausgleichen kann. Der Autor stellt dann Haystack vor, ein Open-Source-Framework, das eine Sammlung nützlicher Tools und Infrastrukturbausteine für das Design und die Erstellung skalierbarer API-basierter LLM-Backends bietet. Dieses Framework ermöglicht den einfachen Aufbau einer extraktiven oder generativen QA und semantischen Suche zur Abfrage großer Textdaten sowie eine zuverlässige und sichere ChatGPT-ähnliche Erfahrung über die technische Dokumentation hinaus.
''
Yazar, insanlığın hayatta kalmasını ve savaşan bir devlette insanların birliğini sağlamak için teknolojinin evrim sürecini incelemenin ve anlamanın önemini vurgulamaktadır. Kitap, yazılım mühendislerinin büyük dil modelleriyle (LLM'ler) gerçek dünya uygulamaları oluştururken karşılaştıkları zorlukları ve açık kaynaklı LLM'lerin dahil edilmesinin bu faydaları nasıl dengeleyebileceğini vurgulayarak başlıyor. Yazar daha sonra, ölçeklenebilir API tabanlı LLM arka uçlarının tasarlanması ve oluşturulması için yararlı araçların ve altyapı yapı taşlarının bir koleksiyonunu sağlayan açık kaynaklı bir çerçeve olan Haystack'ı tanıtıyor. Bu çerçeve, büyük metin verilerini sorgulamak için ekstraktif veya üretken bir QA ve semantik aramanın yanı sıra teknik belgelerin üstünde güvenilir ve güvenli bir ChatGPT benzeri deneyim oluşturmayı kolaylaştırır.
يؤكد المؤلف على أهمية دراسة وفهم عملية تطور التكنولوجيا لضمان بقاء البشرية ووحدة الناس في دولة متحاربة. يبدأ الكتاب بتسليط الضوء على التحديات التي يواجهها مهندسو البرمجيات في بناء تطبيقات في العالم الحقيقي بنماذج لغوية كبيرة (LLMs)، وكيف يمكن لإدراج LLMs مفتوحة المصدر تعويض هذه الفوائد. ثم يقدم المؤلف Haystack، وهو إطار مفتوح المصدر يوفر مجموعة من الأدوات المفيدة ولبنات بناء البنية التحتية لتصميم وبناء نقاط خلفية API قابلة للتطوير. يسهل هذا الإطار بناء QA استخراجي أو توليدي والبحث الدلالي للاستعلام عن البيانات النصية الكبيرة، بالإضافة إلى تجربة موثوقة وآمنة تشبه ChatGPT بالإضافة إلى الوثائق الفنية.
