A Hasznaltauto.hu az autoszoftver.hu legfontosabb HU-oldali forrása — innen jönnek a komparátoraink, és ezzel állítjuk be a HU várható eladási árat. A szkennelést viszont megnehezíti, hogy az oldal Cloudflare védelmet és botellenőrzést használ. Ebben a bejegyzésben átfutunk azon, hogyan oldottuk meg.
Mit védenek?
- JS challenge — minden első kérésre Cloudflare JS challenge fut le; nyers HTTP nem megy át.
- TLS fingerprint — alap Node fetch fingerprint-jét pillanatok alatt felismeri.
- Rate limit — egy IP-ről percenként ~20 kérés a felső határ; e fölött 429 + ideiglenes ban.
- Captcha — ha valami gyanús, hCaptcha jön be.
A megoldás-stack
- **Playwright + stealth plugin** — egy igazi Chromium, fingerprint maszkolva. A `navigator.webdriver` és társai mind eltüntetve.
- **FlareSolverr** — a JS challenge-eket egy szeparált konténer oldja meg és visszaadja az érvényes session cookie-kat.
- **Proxy-rotáció** — több (rezidenciális) IP rotálva, hogy a rate limit alatt maradjunk.
- **Backoff** — 429-re exponenciálisan visszaesünk, és átváltunk másik IP-re.
- **NBSP normalizálás** — a kinyert szövegben a magyar oldal nem törhető szóközt használ a számok ezreseinek elválasztására. Ezt minden numerikus mezőben (km, ár) cseréljük tiszta space-re a beolvasás előtt.
Etika & tisztelet
Csak a publikusan megjelenő, hirdetésekben szereplő adatokat dolgozzuk fel, és a forgalmunkat erősen korlátozzuk (jellemzően 1-2 req/sec, párhuzamosan max 4 worker). A célunk nem a kihasználás, hanem az árbenchmark képzése a magyar piaci átlagból.
Az eredmény
A stack 99%-os sikerráta mellett szed össze friss adatot napi 8-10 ezer hirdetés tartományban — ennyi bőven elég a komparátor aggregálásához és a megbízható HU benchmark képzéséhez.