2026-03-20·Technikai·6 perc olvasás

Forrásregiszter: hogyan adunk hozzá egy új import vagy HU forrást

A 4 fájlos forrás-hozzáadási minta: ingest, schema, normalizáló, deduplikáció. Mit jelent IMPORT vs TARGET szerep.

Az autoszoftver.hu architektúrájának egyik kulcseleme a forrásregiszter — egy egységes minta, amellyel új import (külföldi) vagy HU komparátor (target) forrásokat tudunk pár órán belül beilleszteni. Egy új forrás hozzáadása 4 fájlt érint.

IMPORT vs TARGET

Az IMPORT szerepet betöltő forrásokról vásárolnánk (Openlane, AutoScout24, Mobile.de, Carvago, Autoplius). A TARGET szerepű forrásokat HU komparátorként használjuk (Hasznaltauto.hu, Jófogás). Egy forrás lehet egyik vagy másik, ritkán mindkettő.

A 4 fájl

  1. **Source definition (lib/sources/<key>.ts)** — kulcs, label, szerepkör, alap URL, formátum.
  2. **Scraper (workers/sources/<key>.ts)** — HTTP/Playwright hozzáférés, lap-bejárás, adatkinyerés.
  3. **Normalizáló (lib/normalize/<key>.ts)** — a forrás-specifikus mezőket egy egységes Listing sémára képzi le.
  4. **Tesztek (workers/sources/<key>.test.ts)** — fixture HTML-ekkel, hogy a parser ne csússzon el észrevétlenül.

Mit kell tudnia a parsernek?

  • VIN, márka, modell, évjárat, km, ár.
  • Hengerűrtartalom + meghajtás (a reg adó számításához kritikus).
  • Pontos hirdetési URL és kép.
  • Listázás dátuma (a time decay-hoz).
Ez a minta tette lehetővé, hogy 7 forrást futtassunk párhuzamosan kevesebb mint 2000 sor kód karbantartásával — az új forrás belépési költsége ~1 munkanap, nem hét.
A cikkben szereplő fogalmak
Kapcsolódó cikkek
Forrásregiszter: hogyan adunk hozzá egy új import vagy HU forrást | autoszoftver.hu · autoszoftver.hu