Cara Bikin Web Scraper Riset Harga Pakai AI API Buat Seller Marketplace 2026

Jualan online tanpa riset harga itu kayak perang buta. Kamu pasang harga Rp150rb, ternyata kompetitor jual Rp120rb dengan bonus lebih banyak. Besoknya, pembeli kabur semua. Sialnya, cek harga manual tiap hari itu melelahkan banget — buka 10 toko kompetitor, catat satu-satu, dan besok ulangi lagi.

Nah, di 2026 ini kamu gak perlu lakoni itu semua. Dengan kombinasi Python sederhana + AI API (OpenAI atau Claude), kamu bisa bikin sistem yang otomatis pantau harga kompetitor tiap hari, rangkum perubahannya, bahman kasih peringatan kalau ada kompetitor yang tiba-tiba turun harga drastis.

Artikel ini tutorial lengkapnya, dari nol sampai jalan. Dan yang penting: biaya API-nya bisa super murah kalau kamu ikuti strategi di bawah.

Kenapa Web Scraper + AI Itu Kombinasi Killer?

Web scraper biasa udah ada sejak lama. Masalahnya, scraper tradisional itu rapuh — begitu struktur HTML website berubah sedikit, script kamu langsung error. Harus benerin lagi, lagi, dan lagi.

Di sinilah AI API ngubah permainan:

  1. Ekstraksi fleksibel — AI bisa nemuin harga di halaman web walaupun struktur HTML-nya berubah, karena dia paham “makna” konten, bukan cuma posisi tag.
  2. Normalisasi otomatis — harga “Rp 149.000” dan “149rb” bisa langsung dipahami sebagai angka yang sama.
  3. Rangkuman pintar — AI bisa kasih insight: “Kompetitor A turun harga 15% minggu ini, kemungkinan flash sale.”
  4. Perawatan minim — walaupun layout berubah, mayoritas kasus AI tetap bisa ekstrak dengan benar.

Buat seller yang serius, ini tools yang sehari bisa hemat 1-2 jam kerjaan manual.

Yang Kamu Butuhin

  • Python 3.10+ terinstall di laptop/PC (atau VPS murah kalau mau jalan 24/7)
  • requests dan beautifulsoup4 buat ambil dan bersihin HTML
  • Akses AI API — bisa OpenAI API atau Claude API. Kalau belum punya, kamu bisa beli API key resmi dengan harga hemat di abdijualan.online
  • Spreadsheet atau database simpel (CSV aja udah cukup buat pemula)

Kalau kamu masih bingung bedanya API key vs akun login biasa, baca dulu artikel perbedaan API key dan akun login untuk pakai AI biar gak salah pilih.

Langkah 1: Ambil Data Halaman Produk

Pertama, bikin script Python untuk download HTML halaman produk target. Contoh sederhana:

import requests
from bs4 import BeautifulSoup
import time

def ambil_halaman(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
    }
    response = requests.get(url, headers=headers, timeout=30)
    response.raise_for_status()
    return response.text

def bersihkan_html(html):
    soup = BeautifulSoup(html, "html.parser")
    # Buang script & style biar fokus ke konten
    for tag in soup(["script", "style", "noscript"]):
        tag.decompose()
    return soup.get_text(separator="\n", strip=True)

Penting: selalu kasih time.sleep(2) antar request. Jangan spam server — selain gak sopan, IP kamu bisa diblokir.

Langkah 2: Ekstraksi Harga Pakai AI

Ini bagian ajaibnya. Daripada nulis regex rumit yang gampang error, kirim teks halaman ke AI dan minta dia ekstrak terstruktur:

import json
from openai import OpenAI

client = OpenAI(api_key="API_KEY_KAMU")

def ekstrak_data(teks_halaman, url):
    prompt = f"""
Kamu adalah asisten ekstraksi data produk. Dari teks halaman web berikut,
ekstrak informasi dan balas HANYA dalam format JSON:

{{
  "nama_produk": "...",
  "harga": 0,
  "stok_tersedia": true/false,
  "diskon_persen": 0,
  "penjual": "..."
}}

URL sumber: {url}

Teks halaman (dipotong 6000 karakter pertama):
{teks_halaman[:6000]}
"""
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
        temperature=0
    )
    return json.loads(response.choices[0].message.content)

Hasilnya JSON rapi yang langsung bisa kamu olah. Gampang kan? Dan karena kita cuma kirim teks (bukan gambar), biaya per request-nya sangat kecil — biasanya di bawah Rp100 per halaman.

Tips: pakai temperature=0 biar hasil ekstraksi konsisten dan gak ngarang.

Langkah 3: Simpan & Pantau Perubahan Harga

Simpan hasil ke CSV dengan timestamp:

import csv
from datetime import datetime

def simpan_ke_csv(data, filename="riwayat_harga.csv"):
    data["waktu_cek"] = datetime.now().isoformat()
    with open(filename, "a", newline="") as f:
        writer = csv.DictWriter(f, fieldnames=data.keys())
        writer.writerow(data)

Jalankan script ini tiap hari (pakai cron job di Linux atau Task Scheduler di Windows), dan dalam seminggu kamu udah punya data tren harga kompetitor yang lengkap. Data CSV ini juga bisa kamu analisis lebih dalam pakai ChatGPT Plus — caranya udah pernah dibahas di artikel analisis data Excel dan CSV pakai ChatGPT Plus.

Langkah 4: Bikin Laporan Otomatis

Level selanjutnya: minta AI bikinin rangkuman harian. Kumpulkan semua data hari ini, kirim ke API, dan minta insight:

def bikin_laporan(data_hari_ini):
    prompt = f"""
Sebagai konsultan pricing, analisis data harga kompetitor berikut.
Beri: 1) perubahan harga signifikan hari ini, 2) posisi harga kita
dibanding kompetitor, 3) rekomendasi strategi harga untuk besok.
Balas dalam Bahasa Indonesia, maksimal 150 kata.

Data: {json.dumps(data_hari_ini)}
"""
    # kirim ke API seperti sebelumnya
    ...

Hasilnya bisa dikirim ke WhatsApp atau Telegram kamu tiap pagi. Kalau mau lebih otomatis lagi, kamu bisa gabungkan dengan tutorial auto-reply WhatsApp dengan OpenAI API biar laporan dikirim otomatis ke tim.

Tips Hemat Biaya API

Jangan boros token. Beberapa strategi yang terbukti ampuh:

  1. Pakai model murah untuk ekstraksi rutin. Gak perlu model flagship cuma buat baca harga. Model ringkas udah lebih dari cukup.
  2. Cache hasilnya. Kalau halaman gak berubah, jangan panggil AI lagi. Bandingkan hash HTML dulu — kalau sama, skip.
  3. Batasi frekuensi scraping. Cukup 1-2x sehari untuk kebanyakan produk. Harga marketplace jarang berubah tiap jam.
  4. Potong teks sebelum dikirim. Jangan kirim seluruh halaman (bisa 50rb+ karakter). Ambil bagian relevan saja.

Strategi lengkapnya udah dirangkum di artikel tips hemat kuota token API AI — wajib baca kalau mau biaya operasional bulanan tetap puluhan ribu rupiah.

Sedikit disclaimer biar aman:

  • Jangan ambil data pribadi. Nama pembeli, nomor HP, alamat — itu zona merah. Fokus ke data harga publik.
  • Hormati server. Pakai delay antar request dan jangan scraping ratusan halaman sekaligus.
  • Baca ToS platform. Beberapa marketplace melarang scraping di Terms of Service-nya. Kalau platformnya punya API resmi atau program data partner, itu jalur yang lebih aman.
  • Gunakan untuk analisis, bukan copy-paste. Data harga buat riset, bukan buat bajak listing kompetitor.

Kesimpulan

Web scraper + AI API adalah investasi waktu 2-3 jam yang bisa ngasilin penghematan berjam-jam tiap minggu. Kamu dapat: monitoring harga otomatis, deteksi perang harga lebih cepat, dan data pricing yang jadi dasar keputusan bisnis — bukan tebakan.

Mulai dari satu produk kompetitor dulu, jalankan seminggu, lihat hasilnya. Setelah kebukti berguna, baru scale ke daftar produk lebih panjang. Dan kalau butuh akses API key AI dengan harga hemat buat project ini, cek katalog API key di abdijualan.online.

Selamat coding, seller!