Лабораторная работа 3

Цель работы

Научиться упаковывать FastAPI приложение в Docker, интегрировать парсер данных с базой данных и вызывать парсер через API и очередь (Celery + Redis). Освоить многосервисную архитектуру с оркестрацией через Docker Compose.

Выполненные задачи

Архитектура сервисов

Стек технологий

Структура проекта

API эндпоинты (парсер)

POST /parse/direct — прямой парсинг (Подзадача 2)

# Запрос
curl -X POST "http://localhost:8000/parse/direct?url=https://www.python.org"

# Ответ
{
  "id": 1,
  "url": "https://www.python.org",
  "title": "Welcome to Python.org"
}

POST /parse/async — асинхронный парсинг через Celery (Подзадача 3)

# Запрос — ставит URL в очередь Redis
curl -X POST "http://localhost:8000/parse/async?url=https://fastapi.tiangolo.com"

# Ответ
{
  "message": "Task queued",
  "task_id": "a1b2c3d4-...",
  "status": "PENDING"
}

# Проверка статуса
curl "http://localhost:8000/parse/async/status/a1b2c3d4-..."

# Ответ (после выполнения)
{
  "task_id": "a1b2c3d4-...",
  "status": "SUCCESS",
  "result": {
    "id": 2,
    "url": "https://fastapi.tiangolo.com",
    "title": "FastAPI"
  }
}

POST /parse/batch — пакетный парсинг

# Запрос
curl -X POST "http://localhost:8000/parse/batch" \
  -H "Content-Type: application/json" \
  -d '["https://www.python.org", "https://github.com"]'

# Ответ
{
  "parsed": 2,
  "time_seconds": 1.234,
  "results": [...]
}

GET /parse/history — история парсинга

curl "http://localhost:8000/parse/history?limit=5"

Celery + Redis: поток выполнения

1. Клиент отправляет POST /parse/async?url=...
2. FastAPI вызывает parse_url_task.delay(url) — задача помещается в очередь Redis
3. FastAPI сразу возвращает клиенту task_id и статус PENDING
4. Celery Worker (отдельный контейнер) забирает задачу из Redis
5. Worker выполняет HTTP-запрос к URL, парсит <title>, сохраняет в PostgreSQL
6. Результат сохраняется в Redis backend
7. Клиент может запросить статус через GET /parse/async/status/{task_id}

Модель ParsedPage

# app/models/models.py (добавлено)
class ParsedPage(Base):
    __tablename__ = "parsed_page"

    id: Mapped[int] = mapped_column(Integer, primary_key=True, autoincrement=True)
    url: Mapped[str] = mapped_column(Text, nullable=False)
    title: Mapped[str] = mapped_column(String(500), nullable=False)
    parsed_at: Mapped[datetime] = mapped_column(DateTime(timezone=True), server_default=func.now())

Celery-задача

# app/tasks/celery_tasks.py
from celery import Celery

celery_app = Celery("parser_tasks", broker=REDIS_URL, backend=REDIS_URL)

@celery_app.task(bind=True, name="parse_url")
def parse_url_task(self, url: str) -> dict:
    """Fetch URL, extract