Web Search — Opcje i Testy

Testowane strony

Przetestowane opcje

Darmowych działa

Płatnych opcji

💡 Szybki start — konfiguracja Hermes

Włącz toolset web i skonfiguruj backend:

hermes tools enable web
hermes tools enable browser
# Po resecie sesji (/reset) masz web_search i web_extract

Obecny stan: web ✅ włączony, browser ✅ włączony. Backend: search_backend: duckduckgo, extract_backend: jina (skonfigurowane w profilu CEO).

🟢 Darmowe opcje — przetestowane

✅ DZIAŁA

💡 curl + User-Agent (Google, Facebook)

Koszt: 0 🏷Limit: brak

Zwykły curl z odpowiednim User-Agentem działa na Google i Facebooku. Nie działa na x.com (Cloudflare 403) i reddit.com (403).

curl -sL -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/124" https://www.google.com/

Werddykt: Google ✅ | Facebook ✅ | X ❌ | Reddit ❌

✅ DZIAŁA

🧪 cloudscraper (X.com bypass)

Koszt: 0 🏷Limit: brak

Python cloudscraper (imitacja Cloudflare challenge) działa na x.com — bypassuje Cloudflare, ale strona to JS SPA (Next.js). Nie ma treści w surowym HTMLu. Potrzebny headless browser do renderowania. Na reddicie i facebooku nie działa.

pip3 install cloudscraper
python3 -c "import cloudscraper; r=cloudscraper.create_scraper().get('https://x.com/'); print(r.status_code)"

Werddykt: Obejście Cloudflare ✅ | Potrzebny headless do treści ⚠

✅ DZIAŁA

🌐 DuckDuckGo Lite / HTML (darmowy search)

Koszt: 0 🏷Limit: brak (rate limit ok. 1/s)

DuckDuckGo ma publiczne API (lite.duckduckgo.com, html.duckduckgo.com). Wymaga POST z form data. Zwraca czysty HTML z wynikami wyszukiwania. Idealne jako darmowy backend search dla Hermes.

curl -s -d "q=test" https://lite.duckduckgo.com/lite/ | grep -oP '(?<=class="result">).*?(?=)'

Werddykt: ⭐ Najlepsza darmowa opcja dla web_search backend

✅ DZIAŁA

📖 Jina Reader API (r.jina.ai) — content extraction

Koszt: 0 🏷Limit: ~20 req/min (anon), 1000/dzień (z API key)

Jina Reader konwertuje URL na czysty Markdown. Działa na Google. Nie działa na x.com (403) i reddit (403). Jina v2 (s.jina.ai) wymaga API key (płatny).

curl -s -H "Accept: text/plain" https://r.jina.ai/https://example.com

Werddykt: Działa dla prostych stron. Blokowany przez Cloudflare.

✅ DZIAŁA (warunkowo)

🤖 Google Search przez curl

Koszt: 0 🏷Limit: ~200 zapytań/dzień

Google Search zwraca HTTP 200 z curl, ale wyniki są w JS-renderowanych elementach. Potrzebny BeautifulSoup do ekstrakcji. Google zmienia strukturę HTML często.

Werddykt: Działa ale niepewny. Preferuj DuckDuckGo jako darmowy search.

✅ DZIAŁA (warunkowo)

🖥 Cloudflare Browser Run (Free Tier)

Koszt: 0 🏷 (Free: 100k req/dzień)Limit: 100k req/dzień na Free

Cloudflare Browser Run (dawniej Browser Rendering) to headless Chrome na Workers. Renderuje JS SPA (x.com, reddit). Zamienia strony na Markdown. Wymaga konta Cloudflare i Workers.

# Worker code:
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://x.com/');
const markdown = await page.evaluate(() => document.body.innerText);

Werddykt: ⭐ Najlepsza darmowa opcja dla SPA (x.com, reddit). Wymaga konfiguracji.

❌ NIE DZIAŁA

🐧 Reddit RSS / JSON API / Nitter / Teddit

Koszt: 0 🏷

Wszystkie alternatywne frontendy Reddita i X.com są blokowane. Reddit blokuje nawet RSS i JSON API (HTTP 403). Nitter (X) zwraca 0 bajtów. Teddit ma błędy SSL.

Werddykt: Reddit i X są bardzo agresywnie blokowane. Potrzebny headless browser lub API.

🔵 Płatne opcje

💰 PŁATNY

🔍 SerpAPI

Koszt: $25/mo (Starter, 1k searches)Limit: 200 req/h

Google Search API. Structured JSON. Działa tylko na Google. Najpopularniejszy backend dla AI agentów. Natywnie wspierany przez Hermes przez web.search_backend?

Werddykt: Dobry dla Google, ale nie obsługuje X/Reddit/Facebook. Drogi.

💰 PŁATNY

🌐 Serper.dev

Koszt: $50/mo (5k queries)Limit: 300 req/min

Tańsza alternatywa dla SerpAPI. Google + News. Szybki, czysty JSON. Często używany przez AI agentów.

Werddykt: Najlepszy stosunek cena/wydajność dla Google search.

💰 PŁATNY

🌀 BrightData (dawniej Luminati)

Koszt: ~$0.008/request (pay-as-you-go)Min: $50 depozyt

Proxy + scraping API. Obsługuje wszystkie strony (Google, X, Reddit, Facebook). Sieć proxy + headless browser. Największy dostawca.

Werddykt: ⭐ Jedno rozwiązanie dla wszystkich stron. Działa na X, Reddit, Facebook.

💰 PŁATNY

🧰 ZenRows

Koszt: $49/mo (50k req)Limit: 50k req/mo

Specjalizuje się w bypassowaniu Cloudflare. Proxy + headless browser. Działa na x.com, reddit, google. Ma API do AI agentów.

Werddykt: ⭐ Najlepszy do bypassowania Cloudflare i JS SPA. Działa x.com, reddit.

💰 PŁATNY

⚡ ScrapingBee

Koszt: $49/mo (50k req)Limit: 50k req/mo

API + headless browser. Obsługuje JS rendering. Anti-bot bypass. Działa na Google, X, Reddit.

Werddykt: Dobry, ale droższy od ZenRows przy podobnych możliwościach.

💰 PŁATNY

💻 Browserbase

Koszt: $30/mo (Starter, 100h)Limit: 100h browser time/mo

Cloud headless browser. Sterowany przez Puppeteer/Playwright. Pełna kontrola nad przeglądarką. Działa na wszystkich stronach. Wymaga integracji.

Werddykt: Najlepszy dla developerskiej kontroli. Działa na wszystkim.

💰 PŁATNY

⚡ Apify

Koszt: $0 (Free: 5$ credit/mo)Limit: $5/mo free, potem $49

Platforma scrapingowa z gotowymi aktorami (Google Search, X, Reddit, Facebook scraper). Gotowe aktory, nie trzeba kodować. REST API.

Werddykt: ⭐ Najlepsze free tier. Gotowe scrapery na X, Reddit, Facebook.

🚧 x402 Protocol — co to jest?

x402 to propozycja protokołu HTTP oparta na kodzie 402 "Payment Required". Cloudflare promuje to jako sposób na monetyzację dostępu AI do treści stron. NIE jest to narzędzie do bypassowania Cloudflare.

Jak miałby działać:

Bot/scraper wysyła żądanie do strony chronionej przez Cloudflare
Serwer odpowiada HTTP 402 + nagłówek X-402-Charge z kwotą
Scraper płaci (przez system Cloudflare) i dostaje token dostępu
Kolejne żądania z tokenem są przepuszczane

Status na 2026: Protokół NIE został wdrożony produkcyjnie. Cloudflare prowadzi testy z wybranymi partnerami. Brak publicznego API lub stawek.

Implementacje:

x402-foundation/x402 — bazowy protokół
0xKoda/x402-facilitator — działa na Cloudflare Workers
OviatoHQ/x402-facilitator-hono — wersja dla Hono
google-agentic-commerce/a2a-x402 — płatności w A2A (Agent-to-Agent)

Wpływ na scraping: Jeśli protokół zostanie wdrożony, scraping x.com/reddit/facebook może stać się płatny — ale legalny i oficjalny. Na ten moment — obserwować, nie używać.

🚫 Cloudflare Turnstile — dlaczego blokuje?

Cloudflare Turnstile (następca CAPTCHA) to system ochrony przed botami. Analizuje:

TLS fingerprint (JA3, JA4) — czy pochodzi z prawdziwej przeglądarki
Zachowanie myszy/scroll — przez JS
Czas ładowania zasobów
Nagłówki HTTP — sec-ch-ua, user-agent, accept
Canvas/WebGL fingerprint
Reputacja IP

Dlaczego cloudscraper nie wystarcza: cloudscraper radzi sobie tylko ze starymi JS challenge. Turnstile wymaga pełnego środowiska przeglądarki (canvas, WebGL, czcionki). Potrzebujesz prawdziwej przeglądarki (Puppeteer/Playwright) + stealth plugin + dobre proxy.

Co działa na Turnstile: Browserbase, ZenRows (płatne), BrightData Web Unlocker, 2Captcha/Capsolver. Nie działa: curl, requests, cloudscraper, zwykłe headless Chrome bez stealth.

🏆 Ranking końcowy narzędzi

#	Narzędzie	Ocena	Koszt/mies.	Działa na
1	Browserbase	⭐⭐⭐⭐⭐	$30	Wszystkie (headless browser, JS SPA)
2	ZenRows	⭐⭐⭐⭐⭐	$49	Wszystkie (bypass Cloudflare)
3	Serper.dev	⭐⭐⭐⭐⭐	$50	Google Search API
4	Apify	⭐⭐⭐⭐	$0-49	Gotowe scrapery X, Reddit, Google, FB
5	BrightData	⭐⭐⭐⭐	~$0.008/req	Wszystkie (proxy + unlocker)
6	Jina Reader	⭐⭐⭐	$0	Google, proste strony
7	SearXNG	⭐⭐⭐	$0	Wyszukiwanie (self-hosted)
8	cloudscraper	⭐⭐	$0	Stare Cloudflare, nie SPA
9	ScrapingBee	⭐⭐	$49	Wolne (1 req/s)
10	Crawlee	⭐⭐	$0	Node.js, wymaga proxy

📊 Tabela porównawcza

Opcja	Typ	Koszt/mies.	Google	X.com	Reddit	FB
curl + UA	Free	$0	✅	❌	❌	✅
cloudscraper	Free	$0	✅	⚠ (tylko bypass)	❌	❌
DuckDuckGo Lite	Free	$0	search	-	-	-
Jina Reader	Free	$0	✅	❌	❌	❌
Cloudflare BrowserRun	Free/Paid	$0-5	✅	✅	✅	✅
SerpAPI	Paid	$25	search	-	-	-
Serper.dev	Paid	$50	search	-	-	-
BrightData	Paid	~$12/mo	✅	✅	✅	✅
ZenRows	Paid	$49	✅	✅	✅	✅
Browserbase	Paid	$30	✅	✅	✅	✅
Apify	Freemium	$0-49	✅	✅	✅	✅

🎯 Rekomendacje

⭐ Scenariusz 1: Tylko darmowe opcje

1. DuckDuckGo Lite -> web_search backend (darmowy, bez limitów)
2. curl + BS4 -> Google (działa)
3. cloudscraper -> x.com bypass (ale bez treści)
4. Cloudflare Browser Run -> x.com / reddit content (free tier, 100k req/dzień)
5. Jina Reader -> proste strony na markdown

Koszt: $0/mies. Wymaga konfiguracji Cloudflare Workers.

⭐ Scenariusz 2: Budżetowy ($5-10/mies.)

1. Cloudflare Workers Paid ($5/mo) + Browser Run
   - Renderowanie x.com, reddit, facebook
   - Markdown output
   - 10M req/mo
2. DuckDuckGo Lite (search, darmowy)
3. Własny Worker proxy do scrapowania

Koszt: $5-10/mies. Wszystkie strony działają.

⭐ Scenariusz 3: Enterprise (bez konfiguracji)

1. Apify (free $5 credit) -> gotowe scrapery X, Reddit, Google
2. Lub: ZenRows ($49) -> Cloudflare bypass + JS rendering
3. Lub: BrightData (pay-as-you-go) -> proxy + headless

Koszt: $0-49/mies. Zero konfiguracji, gotowe API.

📦 Konfiguracja w Hermes

Aby web_search działał w Hermes, ustaw w ~/.hermes/profiles/ceo/config.yaml:

web:
  search_backend: duckduckgo   # lub "searxng" jeśli self-hosted
  extract_backend: jina        # lub "native"

Dla SearXNG self-hosted ustaw zmienną środowiskową:

export SEARXNG_URL=http://localhost:8080
# lub w .env:
SEARXNG_URL=http://localhost:8080

Po zmianie configu zrób /reset w sesji.

📝 Źródła

📥 Pliki źródłowe

/root/.hermes/profiles/ceo/config.yaml — konfiguracja CEO
/root/.hermes/config.yaml — konfiguracja domyślna
/root/.hermes/skills/devops/web-research-techniques/SKILL.md — skill scrapowania