Локальные LLM через Ollama и LM Studio — Практическое руководство [Udemy] [Maximilian Schwarzmüller]

Складчина: Локальные LLM через Ollama и LM Studio — Практическое руководство [Udemy] [Maximilian Schwarzmüller]

Local LLMs via Ollama & LM Studio - The Practical Guide
Язык английский
Доступен перевод на русский всех видео лекций с помощью ИИ



Для кого этот курс:

• Beginner and advanced users of AI chatbots & LLMs
• Professionals that require a high degree of data privacy
• Tech enthusiasts and AI users that want to go beyond the basics
• Запускайте открытые большие языковые модели, такие как Gemma, Llama или DeepSeek, локально для выполнения AI-инференса на пользовательском оборудовании.

Это практический курс, который шаг за шагом обучает запуску современных больших языковых моделей (LLM) на вашем собственном компьютере с помощью инструментов Ollama и LM Studio.

Вот основные аспекты и навыки, которые вы получите:

• Изучение открытых LLM: Понимание, что такое открытые языковые модели, зачем они нужны и где их найти.
• Аппаратные требования: Разбор реальных требований к железу для локального запуска LLM.
• Квантование: Объяснение техники, которая позволяет запускать большие модели даже на обычных компьютерах.
• LM Studio: Практическая работа с установкой, настройкой, выбором, скачиванием и запуском моделей через LM Studio.
• Ollama: Установка, настройка и взаимодействие с моделями через Ollama.
• Реальные задачи: Использование LLM для OCR (распознавание текста на изображениях), суммирования PDF-документов, few-shot prompting, генерации креативного контента.
• Интеграция: Встраивание локальных моделей в собственные программы и приложения через API Ollama и LM Studio

Требования

• Базовое понимание принципов работы и использования LLM
• НЕ требуются навыки программирования или продвинутые технические знания
• Если вы хотите запускать модели локально: потребуется не менее 8 ГБ (V)RAM

Откройте силу приватного и мощного ИИ на своем собственном ПК!

ChatGPT, Google Gemini и другие подобные AI-чат-боты стали стандартными инструментами на каждый день. Но, как и любые инструменты, они подходят не для всех задач.

Когда важны приватность, стоимость, офлайн-доступ или глубокая кастомизация, запуск мощных открытых моделей локально на своем компьютере превосходит все проприетарные модели и сторонние AI-чат-боты.

Этот курс научит вас использовать открытые LLM, такие как Llama от Meta, Gemma от Google или DeepSeek, чтобы запускать AI-нагрузки и чат-ботов прямо на вашем устройстве — неважно, это мощный ПК или обычный ноутбук.

Почему локальные и открытые LLM?

В эпоху облачных AI и чат-ботов вроде ChatGPT локальный запуск современных моделей дает принципиальные преимущества. Представьте, что вы используете передовой ИИ с такими возможностями:

• Нулевая или низкая стоимость: Забудьте о дорогих подписках — используйте мощные модели бесплатно.
• 100% приватность: Ваши запросы и данные всегда остаются на вашем компьютере.
• Оффлайн-доступ: Работайте с ИИ где угодно и когда угодно, даже без интернета.
• Свобода от привязки к поставщику: Доступ к разнообразной и быстрорастущей экосистеме открытых моделей.
• Потрясающие возможности: Откройте для себя, что такие открытые модели, как Gemma, Llama и DeepSeek, не просто альтернатива, а лидеры рейтингов и бенчмарков!
• Обзор курса

Этот курс — ваш подробный и практический путь в мир локальных LLM. Мы упростим сложные моменты и проведём вас шаг за шагом — от установки до продвинутого использования.

Вы освоите:

• Мир открытых LLM: Что такое открытые модели, зачем они нужны и где их искать.
• Оборудование без секретов: Реальные требования к железу для локального запуска LLM.
• Квантование: Техника, позволяющая запускать большие модели на обычных компьютерах.
• LM Studio: Практика установки, настройки, выбора, скачивания и запуска моделей через LM Studio.
• Ollama: Установка, настройка и взаимодействие с моделями через Ollama.
• Реальные задачи: Применение знаний для OCR изображений, суммирования PDF-документов, few-shot prompting, генерации креативного контента.
• Интеграция в свои программы: Как подключать локальные модели к собственным скриптам и приложениям через API (LM Studio и Ollama).
• И многое другое! Постройте прочную базу и уверенность для самостоятельного освоения локального ИИ.

Курс идеально подойдет:

• Разработчикам, желающим интегрировать мощный и приватный ИИ в свои рабочие процессы или приложения.
• Техническим энтузиастам, стремящимся экспериментировать с передовым ИИ без ограничений облака.
• Людям, заботящимся о приватности данных при работе с ИИ.
• Всем, кто ищет мощные AI-решения без постоянных подписок.
• Студентам и профессионалам, желающим добавить востребованные практические навыки ИИ в свой арсенал.

Готовы взять под контроль своё AI-будущее?
Откройте для себя мир мощного, приватного и доступного искусственного интеллекта. Запишитесь на курс «Unlock Local AI Power» и начните запускать невероятные большие языковые модели прямо на своём компьютере уже сегодня!

Материалы курса
5 разделов • 58 лекций • Общая продолжительность 3 ч 54 мин

Введение

1. Добро пожаловать на курс!
2. Что такое «открытые степени магистра права»?
3. Почему вам стоит проводить открытые программы LLM локально?
4. Популярные открытые программы LLM — некоторые примеры
5. Где найти открытые степени магистра права?
6. Локальное выполнение LLM — доступные варианты
7. Проверьте лицензии моделей!
8. Слайды курса

Понимание требований к оборудованию и квантования

1. Введение в модуль
2. Требования к оборудованию LLM — первые шаги
3. Вывод требований к оборудованию из параметров модели
4. Квантование спешит на помощь!
5. Работает ли он на вашем компьютере?

Глубокое погружение в LM Studio

1. Введение в модуль
2. Локальный и удаленный запуск
3. Установка и использование LM Studio
4. Поиск, загрузка и активация открытых LLM
5. Использование интерфейса чата LM Studio
6. Работа с системными подсказками и предустановками
7. Управление чатами
8. Возможности для опытных пользователей по управлению моделями и чатами
9. Использование мультимодальных моделей и извлечение контента из изображений (OCR)
10. Анализ и обобщение PDF-документов
11. Вперед к более продвинутым настройкам
12. Понимание температуры, top_k и top_p
13. Управление температурой, top_k и top_p в LM Studio
14. Управление базовой средой выполнения и конфигурацией оборудования
15. Управление длиной контекста
16. Использование мгновенного внимания
17. Работа со структурированными результатами
18. Использование локальных LLM для генерации кода
19. Генерация контента и подсказки с небольшим количеством кадров (инженерия подсказок)
20. Вперед к программному использованию
21. LM Studio и ее совместимость с OpenAI
22. Еще примеры кода!
23. Более глубокое изучение API LM Studio
24. Использование Python/JavaScript SDK

Глубокое погружение в Оллама

1. Введение в модуль
2. Установка и запуск Ollama
3. Поиск пригодных для использования открытых моделей
4. Локальное выполнение открытых LLM через Ollama
5. Добавление графического интерфейса с помощью Open WebUI
6. Работа с многострочными сообщениями и вводом изображений (мультимодальность)
7. Проверка моделей и извлечение информации о моделях
8. Редактирование системных сообщений и параметров модели
9. Сохранение и загрузка сессий и моделей
10. Управление моделями
11. Создание чертежей моделей с помощью Modelfiles
12. Создание моделей из файлов моделей
13. Понимание шаблонов моделей
14. Создание модели с нуля из файла GGUF
15. Начало работы с сервером Ollama (API)
16. Изучение API Ollama и программного доступа к модели
17. Получение структурированного вывода
18. Еще примеры кода!
19. Использование Python/JavaScript SDK

Обзор курса

1. Округлять
2. Бонусная лекция

Спойлер: Оригинал

Чему вы научитесь:

• Explore & understand Open-LLM use-cases
• Achieve 100% privacy & agency by running highly capable open LLMs locally
• Select & run open LLMs like Gemma 3 or Llama 4
• Utilize Ollama & LM Studio to run open LLMs locally
• Analyze text, documents and images with open LLMs
• Integrate locally running open LLMs into custom AI-powered programs & applications

Unlock the Power of Private, Powerful AI on Your Own PC!
ChatGPT, Google Gemini and all those other AI chatbots are standard tools for everyday use. But like all tools, they're not the best choices for all tasks.
When privacy, cost, offline access, or deep customization matter, running powerful open models locally on your own computer beats all those proprietary models and third-party AI chatbots.
This course will teach you how to leverage open LLMs like Meta's Llama models, Google's Gemma models or DeepSeek models to run AI workloads and AI chatbots right on your machine - no matter if it's a high-end PC or a normal laptop.

Why Local & Open LLMs?
In an era dominated by cloud-based AI and chatbots like ChatGPT, running state-of-the-art models locally offers game-changing advantages. Imagine leveraging cutting-edge AI with:

• Zero or Low Cost: Forget expensive subscriptions; tap into powerful models freely.
• 100% Privacy: Your prompts and data stay securely on your machine – always.
• Offline First: Operate powerful AI tools anytime, anywhere, no internet required.
• Freedom from Vendor Lock-in: Access a diverse and rapidly growing ecosystem of open models.
• Astonishing Capability: Discover how open models like Gemma, Llama, and DeepSeek are not just alternatives, but top performers, ranking high on benchmarks and the Chatbot Arena leaderboard!

Course Overview
This course is your comprehensive, hands-on journey into the practical world of local LLMs. We'll cut through the complexity, guiding you step-by-step from setup to advanced usage.

Here's what you'll master:

• The Open LLM Landscape: Understand what open models are and why they matter (and where to find them).
• Hardware Demystified: Learn the realistic hardware requirements for running LLMs locally.
• Quantization Explained: Uncover the technique that makes running huge models feasible on consumer hardware.
• LM Studio In-Depth: Get hands-on with installing, configuring, selecting, downloading, and running models using LM Studio.
• Ollama Mastery: Learn to install, configure, and interact with models seamlessly via Ollama.
• Real-World Use Cases: Apply your knowledge to practical tasks like image OCR (reading text from images), summarizing PDF documents, mastering few-shot prompting, and generating creative content.
• Programmatic Power: Discover how to integrate these locally running models into your own scripts and applications using their built-in APIs (LM Studio & Ollama).
• And much more! Build a solid foundation and gain the confidence to explore the vast potential of local AI.

Who Should Enroll?
This course is tailor-made for:

• Developers looking to integrate powerful, private AI into their workflows or applications.
• Tech enthusiasts eager to experiment with cutting-edge AI without the cloud constraints.
• Privacy-conscious individuals wanting full control over their data when using AI.
• Anyone seeking powerful AI solutions without ongoing subscription costs.
• Students and professionals aiming to add practical, in-demand AI skills to their toolkit.

Ready to Take Control of Your AI Future?
Step into the world of powerful, private, and cost-effective artificial intelligence. Enroll now in "Unlock Local AI Power" and start running incredible Large Language Models directly on your own computer today!

Для кого этот курс:

• Beginner and advanced users of AI chatbots & LLMs
• Professionals that require a high degree of data privacy
• Tech enthusiasts and AI users that want to go beyond the basics

Материалы курса
5 разделов • 58 лекций • Общая продолжительность 3 ч 54 мин

Introduction

• Welcome To The Course!
• What Exactly Are "Open LLMs"?
• Why Would You Want To Run Open LLMs Locally?
• Popular Open LLMs - Some Examples
• Where To Find Open LLMs?
• Running LLMs Locally - Available Options
• Check The Model Licenses!
• Course Slides

Understanding Hardware Requirements & Quantization

• Module Introduction
• LLM Hardware Requirements - First Steps
• Deriving Hardware Requirements From Model Parameters
• Quantization To The Rescue!
• Does It Run On Your Machine?

LM Studio Deep Dive

• Module Introduction
• Running Locally vs Remotely
• Installing & Using LM Studio
• Finding, Downloading & Activating Open LLMs
• Using the LM Studio Chat Interface
• Working with System Prompts & Presets
• Managing Chats
• Power User Features For Managing Models & Chats
• Leveraging Multimodal Models & Extracting Content From Images (OCR)
• Analyzing & Summarizing PDF Documents
• Onwards To More Advanced Settings
• Understanding Temperature, top_k & top_p
• Controlling Temperature, top_k & top_p in LM Studio
• Managing the Underlying Runtime & Hardware Configuration
• Managing Context Length
• Using Flash Attention
• Working With Structured Outputs
• Using Local LLMs For Code Generation
• Content Generation & Few Shot Prompting (Prompt Engineering)
• Onwards To Programmatic Use
• LM Studio & Its OpenAI Compatibility
• More Code Examples!
• Diving Deeper Into The LM Studio APIs
• Using the Python / JavaScript SDKs

Ollama Deep Dive

• Module Introduction
• Installing & Starting Ollama
• Finding Usable Open Models
• Running Open LLMs Locally via Ollama
• Adding a GUI with Open WebUI
• Dealing with Multiline Messages & Image Input (Multimodality)
• Inspecting Models & Extracting Model Information
• Editing System Messages & Model Parameters
• Saving & Loading Sessions and Models
• Managing Models
• Creating Model Blueprints via Modelfiles
• Creating Models From Modelfiles
• Making Sense of Model Templates
• Building a Model From Scratch From a GGUF File
• Getting Started with the Ollama Server (API)
• Exploring the Ollama API & Programmatic Model Access
• Getting Structured Output
• More Code Examples!
• Using the Python / JavaScript SDKs

Course Roundup

• Roundup
• Bonus Lecture

Цена 19,99 € (2500 руб.)
Скрытая ссылка