Proyek Scraping Python
Dengan Python dan pustaka scraping gratis, kamu bisa otomatis mengambil data dari situs tertentu (selama tidak melanggar syarat penggunaan situs tersebut).
| English | Bahasa Indonesia |
|---|---|
| Project Details | Rincian Proyek |
| I'm looking for a Python developer to create a script that converts CSV data into an Excel file and populates additional columns with information sourced from the internet. | Saya mencari pengembang Python untuk membuat skrip yang mengubah data CSV menjadi file Excel dan menambahkan kolom tambahan dengan informasi yang diambil dari internet. |
| The additional data should include websites, email addresses, and phone numbers. | Data tambahan harus mencakup situs web, alamat email, dan nomor telepon. |
| Key Requirements: | Persyaratan Utama: |
| Convert CSV data into an Excel format | Mengubah data CSV ke format Excel |
| Populate Excel with additional columns: Websites, Email addresses, and Phone numbers | Menambahkan kolom tambahan pada Excel: Situs web, Alamat email, dan Nomor telepon |
| Source information from company websites and public directories | Mengambil informasi dari situs web perusahaan dan direktori publik |
| Ensure data accuracy and integrity during the conversion and population process | Memastikan keakuratan dan integritas data selama proses konversi dan penambahan |
| Ideal Skills and Experience: | Keterampilan dan Pengalaman yang Diinginkan: |
| Proficiency in Python programming | Mahir dalam pemrograman Python |
| Experience with data manipulation and conversion using libraries like Pandas | Berpengalaman dalam manipulasi dan konversi data menggunakan pustaka seperti Pandas |
| Web scraping skills to gather data from specified online sources | Kemampuan web scraping untuk mengumpulkan data dari sumber online tertentu |
| Attention to detail to ensure data accuracy | Teliti untuk memastikan keakuratan data |
| Familiarity with Excel file handling and formatting | Terbiasa menangani dan memformat file Excel |
| If you have the expertise to automate this process efficiently, I would love to hear from you! | Jika Anda memiliki keahlian untuk mengotomatiskan proses ini dengan efisien, saya ingin mendengar kabar dari Anda! |
| Skills Required | Keterampilan yang Dibutuhkan |
| Python, Data Processing, Data Entry, Excel, Web Scraping, Data Mining, Data Extraction, Data Analysis, Data Integration, Pandas | Python, Pemrosesan Data, Entri Data, Excel, Web Scraping, Penambangan Data, Ekstraksi Data, Analisis Data, Integrasi Data, Pandas |
| Project ID: 39629837 | ID Proyek: 39629837 |
| IP Agreement Private Sealed | Perjanjian IP Privat Tersegel |
| Bids: 176 | Penawaran: 176 |
| $30.00 – 250.00 USD | $30.00 – 250.00 USD |
| Bidding ends in 6 days, 9 hours | Penawaran berakhir dalam 6 hari, 9 jam |
Definisi: Proses mengevaluasi data secara sistematis untuk menemukan pola, tren, korelasi, atau wawasan yang bermanfaat. Analisis ini sangat penting setelah proses scraping untuk memahami isi data.
Contoh Caranya:
- Menggunakan Pandas untuk menghitung statistik deskriptif (rata-rata, median, modus).
- Membuat grafik tren waktu (time series) dari data penjualan hasil scraping e-commerce dengan Matplotlib atau Seaborn.
- Menyaring dan mengelompokkan data pengguna berdasarkan lokasi dan aktivitas.
Tools/Library yang Bisa Digunakan:
- Pandas: manipulasi dan analisis data tabular (dataframe).
- NumPy: operasi matematis untuk vektor dan matriks.
- Matplotlib dan Seaborn: visualisasi data untuk mendukung interpretasi.
- Plotly: visualisasi interaktif (opsional).
Hal Penting Lainnya:
- **Kebersihan data:** Data yang kotor harus dibersihkan terlebih dahulu sebelum dianalisis.
- **Konteks bisnis:** Wawasan yang dicari harus sesuai tujuan proyek atau kebutuhan pengguna.
- **Visualisasi:** Grafik atau tabel sangat membantu dalam menyampaikan hasil analisis.
- **Validasi:** Penting untuk memverifikasi hasil analisis agar tidak menyesatkan.
Definisi:
Data Analysis adalah proses meninjau, membersihkan, mengubah, dan memodelkan data dengan tujuan menemukan informasi berguna, menarik kesimpulan, dan mendukung pengambilan keputusan. Analisis ini sangat penting setelah data dikumpulkan melalui proses scraping.
Contoh Caranya:
- Menganalisis tren harga dari data produk yang diambil dari marketplace selama 6 bulan.
- Membandingkan performa penjualan antar kategori berdasarkan ulasan pelanggan.
- Mendeteksi lonjakan trafik atau pencarian pada situs berita menggunakan scraping judul/artikel harian.
Tools/Library yang Bisa Digunakan:
- Pandas: Untuk manipulasi dan transformasi data tabular (DataFrame).
- NumPy: Untuk komputasi numerik dan statistik dasar.
- Matplotlib: Untuk visualisasi dasar seperti line chart, bar chart, histogram.
- Seaborn: Untuk visualisasi statistik lanjutan seperti heatmap, boxplot, scatter plot dengan mudah.
- Plotly: Untuk visualisasi interaktif (opsional untuk dashboard atau laporan web).
Hal Penting Lainnya:
- **Data harus bersih dan valid**: Hindari duplikasi, nilai kosong, atau kesalahan ketik sebelum dianalisis.
- **Tujuan analisis harus jelas**: Misalnya apakah ingin membuat prediksi, klasifikasi, atau hanya eksplorasi data.
- **Visualisasi sangat membantu**: Untuk menyampaikan hasil analisis secara ringkas dan intuitif.
- **Gunakan teknik statistik dasar**: Seperti rata-rata, median, standar deviasi untuk menggambarkan data secara numerik sebelum lanjut ke model prediktif.
Definisi:
Data Entry adalah proses memasukkan, memverifikasi, dan memperbarui data ke dalam sistem atau format digital (seperti spreadsheet, database, atau file CSV). Dalam konteks web scraping, data entry berguna untuk memastikan hasil scraping dimasukkan ke dalam struktur data yang rapi dan akurat.
Contoh Caranya:
- Memasukkan hasil scraping ke dalam tabel Excel untuk laporan bulanan.
- Menyalin data produk dari situs e-commerce yang sudah diekstrak ke dalam Google Sheets secara otomatis.
- Menggunakan skrip Python untuk menyimpan data dari HTML ke format CSV yang siap dianalisis.
Tools/Library yang Bisa Digunakan:
- Excel / Google Sheets: Untuk input dan pengecekan data manual atau semi-otomatis.
- Pandas: Untuk input, validasi, dan ekspor data ke berbagai format seperti CSV, Excel, JSON.
- openpyxl / xlsxwriter: Untuk menulis data ke file Excel secara terstruktur.
- Form Web + JavaScript: Untuk entry data manual di aplikasi berbasis web.
Hal Penting Lainnya:
- **Akurasi sangat penting**: Kesalahan input sekecil apa pun bisa memengaruhi hasil analisis.
- **Validasi format data**: Pastikan format angka, tanggal, dan teks sesuai dengan kebutuhan.
- **Automasi disarankan**: Untuk volume data besar, sebaiknya menggunakan skrip otomatis agar efisien.
- **Gunakan template yang konsisten**: Supaya struktur data tidak berubah saat pengisian manual.
Definisi:
Data Extraction adalah proses mengambil atau mengekstrak informasi spesifik dari berbagai jenis sumber data seperti halaman web (HTML), file PDF, spreadsheet, hingga API. Dalam scraping, ini adalah tahap utama di mana data mentah dikumpulkan untuk diproses lebih lanjut.
Contoh Caranya:
- Menggunakan BeautifulSoup untuk mengambil judul, harga, dan ulasan produk dari halaman HTML.
- Menggunakan Scrapy untuk merayapi banyak halaman situs dan mengekstrak konten sekaligus.
- Menggunakan PyMuPDF atau pdfplumber untuk mengekstrak teks dan tabel dari file PDF.
- Menggunakan requests + json untuk mengambil data JSON dari API publik atau internal.
Tools/Library yang Bisa Digunakan:
- BeautifulSoup: Untuk parsing HTML dengan Python (cocok untuk halaman statis).
- Scrapy: Framework scraping kuat untuk mengambil data dari banyak halaman (cocok untuk crawling).
- requests: Untuk mengakses halaman web dan API.
- Selenium: Untuk mengekstrak data dari situs dinamis berbasis JavaScript.
- pdfplumber / PyMuPDF: Untuk ekstraksi data dari dokumen PDF.
- tabula-py: Untuk mengekstrak tabel dari PDF berbasis Java.
Hal Penting Lainnya:
- **Pahami struktur sumber data**: Misalnya struktur DOM pada HTML, atau format JSON dari API.
- **Perhatikan batasan legal**: Selalu hormati robots.txt dan syarat penggunaan situs target.
- **Perlu teknik parsing yang tepat**: Misalnya regex untuk pola teks spesifik, atau XPath untuk HTML yang kompleks.
- **Tangani data tak konsisten**: Misalnya elemen yang kadang ada, kadang tidak (null-safe coding penting).
- **Pastikan encoding benar**: Untuk teks non-ASCII (UTF-8 sangat disarankan).
Definisi:
Data Integration adalah proses menggabungkan data dari berbagai sumber yang berbeda menjadi satu kesatuan sistematis dan konsisten untuk dianalisis atau disimpan. Dalam scraping, ini penting ketika data berasal dari banyak situs, file, atau API dan perlu disatukan untuk mendapatkan gambaran yang utuh.
Contoh Caranya:
- Menggabungkan data produk dari beberapa situs e-commerce ke dalam satu file Excel atau database.
- Menggabungkan hasil scraping dari file HTML dan API ke dalam satu format DataFrame menggunakan Pandas.
- Menyatukan data dari tabel PDF dan data CSV menjadi satu basis data SQLite atau PostgreSQL.
Tools/Library yang Bisa Digunakan:
- Pandas: Untuk menggabungkan data (merge, join, concat) dari berbagai sumber dalam Python.
- SQL (MySQL, PostgreSQL, SQLite): Untuk menyimpan dan mengintegrasikan data dari berbagai channel scraping ke dalam sistem database relasional.
- openpyxl atau xlsxwriter: Untuk menuliskan hasil integrasi data ke Excel.
- ETL Tools seperti Apache NiFi atau Talend (jika volume dan kompleksitas data besar).
Hal Penting Lainnya:
- **Pastikan format data seragam**: Seperti format tanggal, mata uang, dan ID produk agar integrasi tidak salah gabung.
- **Tentukan primary key/identifier**: Untuk menghindari duplikasi saat menggabungkan data.
- **Periksa data yang hilang atau bentrok**: Seperti konflik nilai pada kolom yang sama dari sumber berbeda.
- **Gunakan logging atau catatan sumber**: Agar tetap bisa melacak data berasal dari mana jika ditemukan kesalahan.
Definisi: Proses menemukan pola tersembunyi, keterkaitan, atau anomali dari data besar hasil scraping. Data mining membantu mengambil keputusan yang lebih baik dengan menemukan wawasan yang tidak langsung terlihat.
Contoh Caranya:
- Menggunakan scikit-learn untuk klasifikasi produk berdasarkan harga dan ulasan.
- Menerapkan clustering (misalnya K-Means) untuk mengelompokkan data pengguna dari hasil scraping sosial media.
- Membuat association rule mining (seperti Apriori) untuk menemukan pola pembelian pada data e-commerce.
Tools/Library yang Bisa Digunakan:
- Pandas dan NumPy untuk persiapan data.
- scikit-learn untuk klasifikasi, regresi, dan clustering.
- MLxtend untuk asosiasi dan frequent pattern mining.
- Orange atau RapidMiner untuk mining visual (GUI-based).
Hal Penting Lainnya:
- **Kualitas data:** Data harus bersih, relevan, dan terstruktur dengan baik.
- **Pra-pemrosesan:** Meliputi normalisasi, penghapusan duplikat, dan transformasi fitur.
- **Tujuan analisis:** Harus jelas sejak awal (misalnya prediksi, segmentasi, deteksi outlier).
- **Etika dan privasi:** Hati-hati saat menggunakan data yang bersifat pribadi atau sensitif.
Definisi:
Data Processing adalah proses menyiapkan data mentah hasil ekstraksi agar siap digunakan untuk analisis, penyimpanan, atau visualisasi. Langkah ini mencakup pembersihan, pemformatan, transformasi, dan pengorganisasian data agar lebih terstruktur dan konsisten.
Contoh Caranya:
- Membersihkan teks HTML yang mengandung tag atau simbol aneh sebelum dimasukkan ke Excel.
- Mengubah format tanggal dari berbagai situs menjadi format tunggal (misalnya YYYY-MM-DD).
- Menghapus baris kosong, mengganti nilai NULL, atau menghilangkan duplikasi dari hasil scraping.
- Menormalisasi nama produk atau kategori agar konsisten dan mudah dikelompokkan.
Tools/Library yang Bisa Digunakan:
- Pandas: Untuk manipulasi, filtering, pembersihan, dan transformasi data dalam bentuk DataFrame.
- re (Regular Expressions): Untuk membersihkan atau menyesuaikan pola teks tertentu secara fleksibel.
- NumPy: Untuk mengelola data numerik yang kompleks, termasuk konversi tipe.
- OpenRefine: Tool berbasis GUI untuk membersihkan dan menstandardisasi data dalam jumlah besar.
Hal Penting Lainnya:
- **Pembersihan adalah fondasi analisis**: Data yang kotor akan menghasilkan analisis yang menyesatkan.
- **Waspadai inkonsistensi format**: Seperti mata uang berbeda, format desimal koma/titik, atau huruf kapitalisasi.
- **Catat transformasi data**: Agar reproducibility (proses bisa diulang) tetap terjaga.
- **Gunakan batch/otomatisasi untuk volume besar**: Supaya tidak mengandalkan input manual yang rawan error.
Definisi:
Excel adalah alat spreadsheet yang banyak digunakan untuk menyimpan, memproses, dan menganalisis data. Dalam konteks scraping, Excel digunakan untuk menyimpan hasil ekstraksi dalam format .xlsx atau .csv agar mudah dibaca dan dibagikan. Pengolahan juga dapat dilakukan secara otomatis melalui Python menggunakan library seperti openpyxl atau pandas.
Contoh Caranya:
- Menyimpan hasil scraping harga dan nama produk ke dalam file Excel menggunakan pandas.to_excel().
- Membuat file Excel berisi banyak sheet, misalnya per kategori produk, menggunakan ExcelWriter.
- Mengedit file Excel yang sudah ada (misalnya menambahkan kolom waktu scraping) dengan openpyxl.
Tools/Library yang Bisa Digunakan:
- pandas: Untuk membuat dan menyimpan DataFrame ke Excel dengan mudah.
- openpyxl: Untuk membaca/menulis file Excel (.xlsx), termasuk memformat sel, sheet, dll.
- xlsxwriter: Alternatif dari openpyxl untuk ekspor Excel dengan kontrol lebih besar terhadap format.
- Microsoft Excel: Untuk memeriksa dan mengolah data secara manual jika dibutuhkan.
Hal Penting Lainnya:
- **Gunakan format data yang jelas**: Hindari menyimpan data mentah atau tidak dibersihkan.
- **Perhatikan encoding saat ekspor**: Pastikan file tidak rusak saat dibuka di Excel (gunakan UTF-8).
- **Gunakan template jika berulang**: Buat template Excel standar agar integrasi data lebih mudah.
- **Jangan terlalu mengandalkan manual**: Untuk volume besar, lebih efisien menggunakan automasi dengan Python.
Definisi:
Pandas adalah library Python yang dirancang khusus untuk manipulasi dan analisis data dalam format tabel (DataFrame). Pandas sangat penting dalam alur kerja scraping karena memungkinkan pembersihan, transformasi, integrasi, dan analisis data dengan cepat dan efisien.
Contoh Caranya:
- Membaca data hasil scraping dari file CSV atau JSON menggunakan pd.read_csv() atau pd.read_json().
- Membersihkan data dengan menghapus baris kosong, mengisi nilai NaN, atau mengganti teks tertentu.
- Menggabungkan data dari berbagai sumber scraping dengan pd.merge() atau pd.concat().
- Menghitung statistik sederhana seperti rata-rata harga, jumlah ulasan, atau tren mingguan dengan groupby().
Tools/Library Pendukung:
- NumPy: Untuk perhitungan numerik dasar yang digunakan dalam Pandas.
- Matplotlib atau Seaborn: Untuk memvisualisasikan data yang sudah dimanipulasi dengan Pandas.
- openpyxl: Jika ingin ekspor DataFrame ke Excel dengan format tertentu.
- xlrd / xlsxwriter: Untuk baca/tulis Excel (alternatif).
Hal Penting Lainnya:
- **DataFrame adalah inti Pandas**: Semua manipulasi dilakukan lewat baris-kolom seperti di Excel.
- **Sangat efisien untuk data terstruktur**: Seperti hasil scraping dalam bentuk tabel atau JSON.
- **Gunakan chaining secara bijak**: Seperti df.drop().fillna().sort_values() untuk alur cepat.
- **Dokumentasi resmi sangat lengkap**: Penting untuk terus eksplorasi fitur-fitur Pandas lanjutan.
Definisi:
Python adalah bahasa pemrograman yang sangat populer dan serbaguna, banyak digunakan dalam web scraping, analisis data, otomatisasi, dan pengembangan aplikasi. Python dikenal karena sintaksnya yang sederhana, komunitas yang besar, serta banyaknya library yang mendukung berbagai kebutuhan scraping dan pengolahan data.
Contoh Caranya:
- Menggunakan requests untuk mengambil konten HTML dari sebuah halaman web.
- Parsing konten HTML dengan BeautifulSoup untuk mengekstrak elemen tertentu (misalnya judul, harga, tautan).
- Menyimpan data ke CSV atau Excel menggunakan pandas.
- Mengotomatisasi scraping dari situs dinamis dengan Selenium atau Playwright.
- Menyusun data yang dikumpulkan dalam bentuk DataFrame untuk dianalisis lebih lanjut.
Library Umum yang Digunakan:
- requests: Untuk mengambil data dari halaman web atau API.
- BeautifulSoup: Untuk mem-parsing dan mengekstrak informasi dari HTML/XML.
- Pandas: Untuk manipulasi dan analisis data dalam bentuk tabel.
- Selenium: Untuk scraping situs yang menggunakan JavaScript.
- Scrapy: Framework lengkap untuk scraping berskala besar.
- lxml: Parser cepat untuk HTML/XML.
- re: Untuk pencocokan teks menggunakan regular expressions.
Hal Penting Lainnya:
- **Python sangat cocok untuk pemula** tapi juga cukup kuat untuk proyek skala besar.
- **Banyak sumber belajar tersedia gratis**: Dokumentasi resmi, tutorial, dan komunitas di Stack Overflow atau GitHub.
- **Mudah diintegrasikan dengan database, API, Excel, bahkan GUI**.
- **Versi library dan environment penting diperhatikan**: Gunakan virtualenv atau conda untuk manajemen dependensi.
- **Python dapat dijalankan otomatis (cron/job scheduler)** untuk scraping berkala.
Definisi:
Web Scraping adalah teknik otomatisasi untuk mengambil konten dari halaman web, baik berupa teks, tabel, gambar, tautan, atau data terstruktur lainnya, lalu menyimpannya dalam format yang bisa diproses (seperti CSV, JSON, atau database).
Contoh Caranya:
- Mengambil daftar harga dan ulasan produk dari situs e-commerce menggunakan BeautifulSoup.
- Merayapi beberapa halaman berita dan mengekstrak judul serta isi artikel menggunakan Scrapy.
- Menggunakan Selenium untuk mengambil data dari situs yang memuat konten secara dinamis (JavaScript).
- Mengakses API publik (jika tersedia) dengan requests untuk mendapatkan data dalam bentuk JSON.
Tools/Library yang Bisa Digunakan:
- BeautifulSoup: Untuk parsing dan ekstraksi HTML (ringan dan fleksibel).
- Scrapy: Framework scraping untuk crawling berskala besar.
- Selenium: Untuk berinteraksi dengan halaman web dinamis yang menggunakan JavaScript.
- requests: Untuk mengambil konten halaman web atau API secara langsung.
- lxml: Untuk parsing HTML/XML dengan performa tinggi.
- Playwright: Alternatif modern dari Selenium, lebih cepat dan lebih stabil untuk halaman kompleks.
Hal Penting Lainnya:
- **Patuhi robots.txt dan kebijakan situs**: Beberapa situs melarang scraping, dan penting untuk menghormatinya.
- **Gunakan user-agent dan jeda waktu (delay)**: Agar tidak membebani server dan menghindari pemblokiran.
- **Tangani captcha, redirect, atau login**: Gunakan teknik lanjutan seperti sesi atau cookies.
- **Simpan data dalam format yang rapi**: Misalnya CSV, JSON, atau langsung ke database untuk kemudahan lanjutan.
- **Uji struktur DOM situs target**: Karena perubahan kecil pada HTML dapat membuat scraper gagal.
Berikut adalah alat dan pustaka Python yang umum digunakan untuk melakukan scraping data dari situs web secara otomatis.
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://quotes.toscrape.com/'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')
quotes = []
authors = []
for quote in soup.select('.quote'):
quotes.append(quote.select_one('.text').text)
authors.append(quote.select_one('.author').text)
df = pd.DataFrame({'Quote': quotes, 'Author': authors})
df.to_csv('quotes.csv', index=False)
print("Data berhasil disimpan ke quotes.csv")
Contoh di atas mengambil kutipan dan nama penulis dari situs quotes.toscrape.com, lalu menyimpannya ke dalam file CSV menggunakan pandas.
- requests – Mengambil HTML dari halaman web statis, yaitu halaman web yang isinya tidak berubah berdasarkan interaksi dinamis pengguna (misalnya klik atau scroll untuk menampilkan data tambahan) atau JavaScript. Contoh web statis: halaman berita, dokumentasi, atau blog sederhana.
pip install requests - BeautifulSoup (bs4) – Mengurai dan mengekstrak data dari HTML yang sudah diambil, seperti mengambil teks, link, atau elemen tertentu (misalnya:
<title>,<a>,<div>dengan ID atau kelas tertentu). BeautifulSoup cocok digunakan untuk struktur HTML yang sudah lengkap dan tidak bergantung pada pemrosesan JavaScript di browser.pip install beautifulsoup4 - lxml (opsional) – Parser HTML/XML yang cepat, digunakan oleh BeautifulSoup.
pip install lxml - schedule / time – Menjadwalkan scraping otomatis berkala.
pip install schedule - pandas (opsional) – Menyimpan data ke CSV, Excel, dll.
pip install pandas - selenium – Untuk scraping situs yang menggunakan JavaScript atau interaktif.
pip install selenium
Tambahan: unduh WebDriver (ChromeDriver, GeckoDriver) sesuai browser.
- Etika & Legalitas: Selalu baca
robots.txtdan Terms of Service (ToS) situs. Beberapa situs melarang scraping—pastikan Anda tidak melanggar hukum atau etika digital. - User-Agent: Tambahkan header
User-Agentagar permintaan terlihat seperti dari browser sungguhan.headers = {'User-Agent': 'Mozilla/5.0'} res = requests.get(url, headers=headers) - Rate Limiting: Hindari membanjiri server target. Gunakan
time.sleep()ataurandom.uniform()untuk memberi jeda antar permintaan. - Ketahanan (Error Handling): Gunakan
try/exceptdan periksa kode status HTTP, misalnyares.status_code == 200, untuk menghindari crash saat terjadi error. - Captcha / Konten Dinamis: Untuk situs dengan CAPTCHA atau elemen JavaScript interaktif, gunakan Selenium atau Puppeteer untuk meniru interaksi pengguna.
- Selenium / Puppeteer: Gunakan jika data tidak bisa dimuat tanpa interaksi pengguna (JS-heavy websites), meski konsumsi sumber daya lebih besar.
- Anti-blokir: Gunakan header yang sesuai, simpan sesi (cookies), rotating proxy, atau VPN jika situs sangat ketat terhadap scraping.
- Penyimpanan & Integrasi: Simpan hasil scraping ke file lokal (CSV, Excel), database, atau saluran seperti Telegram, serta integrasikan dengan script Python lanjutan (filter keyword, notifikasi, dll).
- Fitur Interaktif HTML: Tambahkan fitur seperti tombol “Salin Kode”, pratinjau data scraping langsung di halaman HTML, atau sistem input URL untuk fleksibilitas.
- Pemrosesan Data: Saring konten hasil scraping berdasarkan kata kunci, pola teks, atau kategori tertentu untuk mendapatkan informasi yang lebih relevan, seperti berita penting atau data harga spesifik.
- 1. Etika & Legalitas:
Selalu periksa
robots.txtdan Terms of Service (ToS) situs. Beberapa situs melarang scraping—pastikan Anda tidak melanggar hukum atau etika digital. (Poin paling mendasar & wajib di awal) - 2. User-Agent:
Tambahkan header
User-Agentagar permintaan terlihat seperti dari browser sungguhan.
(Paling sederhana tapi efektif untuk menghindari blok awal)headers = {'User-Agent': 'Mozilla/5.0'} res = requests.get(url, headers=headers) - 3. Anti-Blokir: Untuk situs yang ketat, gunakan rotating proxy, header lengkap, penyimpanan sesi (cookies), atau VPN. (Gunakan jika scraping berskala besar atau situs sensitif)
- 4. Rate Limiting:
Hindari membanjiri server. Gunakan
time.sleep()ataurandom.uniform()untuk memberi jeda antar permintaan. - 5. Ketahanan (Error Handling):
Gunakan
try/exceptdan periksares.status_codeuntuk menghindari crash saat error.try: res = requests.get(url, headers=headers) if res.status_code == 200: process(res.text) except Exception as e: print("Error:", e) - 6. Captcha & Konten Dinamis: Untuk situs dengan CAPTCHA atau konten berbasis JavaScript, gunakan Selenium atau Puppeteer. (Membedakan ketika data tidak bisa diambil dengan requests/bs4)
- 7. Selenium / Puppeteer: Gunakan untuk meniru interaksi pengguna seperti klik, scroll, atau login. Cocok untuk situs JS-heavy meski lebih berat dari sisi performa.
- 8. Pemrosesan Data: Saring konten berdasarkan kata kunci, pola teks, atau kategori tertentu untuk hasil lebih relevan (misalnya berita penting, harga produk, dsb).
- 9. Penyimpanan & Integrasi:
Hasil scraping dapat langsung disimpan ke semua format sekaligus — file lokal seperti
CSVatauExcel,databaseuntuk pencarian cepat, danTelegramuntuk notifikasi real-time.
Proses ini dapat dihubungkan ke script lanjutan seperti filter kata kunci, notifikasi otomatis, penjadwalan rutin, email alert, dashboard visualisasi, hingga API endpoint atau sinkronisasi cloud. - 10. Fitur Interaktif HTML: Tambahkan tombol "Salin Kode", sistem input URL, atau pratinjau data di halaman HTML untuk antarmuka yang lebih ramah pengguna.
Kode Status HTTP Umum:
200 OK– Berhasil, halaman dimuat dengan benar.301 Moved Permanently– Halaman dipindahkan permanen, redirect ke URL baru. Cekres.historyataures.url.302 Found– Redirect sementara. Bisa terjadi saat login atau anti-bot aktif.400 Bad Request– Permintaan tidak valid, bisa karena format URL salah atau data POST error.401 Unauthorized– Perlu login atau otentikasi. Gunakan headerAuthorization.403 Forbidden– Akses ditolak. Umum pada situs yang memblokir scraping. Coba ubahUser-Agentatau gunakancookies.404 Not Found– Halaman tidak ditemukan. URL mungkin salah atau konten telah dihapus.429 Too Many Requests– Terlalu sering mengakses. Tambahkantime.sleep()dan retry logic, atau gunakanbackoff.500 Internal Server Error– Masalah di server. Tunggu dan coba lagi.503 Service Unavailable– Server sedang sibuk atau maintenance. Tunggu beberapa saat.
Tips Cek Kode Respon:
if res.status_code != 200:
print(f"Error {res.status_code} saat mengakses halaman")
# Bisa tambahkan retry, log, atau keluar program
Berikut adalah contoh skrip Python untuk scraping sederhana dari situs web berita populer seperti detik.com. Contoh ini menggunakan pustaka Python populer seperti requests, BeautifulSoup, dan schedule untuk mengambil data setiap jam secara otomatis.
Berikut ini adalah contoh skrip Python untuk mengambil (scraping) judul-judul berita dari situs detik.com setiap satu jam menggunakan pustaka requests, BeautifulSoup, dan schedule.
import requests
from bs4 import BeautifulSoup
import schedule
import time
from datetime import datetime
def scrap_detik():
url = 'https://www.detik.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# Ambil semua judul berita utama
headlines = soup.find_all('h2')
print(f"\nScraped at {datetime.now()}")
for h in headlines[:5]:
print('-', h.get_text(strip=True))
# Jalankan setiap 1 jam
schedule.every(1).hours.do(scrap_detik)
# Mulai scheduler
while True:
schedule.run_pending()
time.sleep(1)
Catatan:
- Pastikan Anda telah menginstal pustaka
requests,bs4, danschedule. - Skrip ini akan berjalan terus-menerus dan mengambil data setiap satu jam.
- Untuk menjalankan hanya satu kali (tidak periodik), Anda bisa langsung memanggil
scrap_detik()tanpa bagian scheduler.
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Kosong
Comments
Post a Comment