Belajar cara scrape website dengan python dan beautiful soup

Belajar cara scrape website dengan python dan beautiful soup

Belajar cara scrape website dengan python dan beautiful soup – Kali ini riffamedia akan berbagi tutorial Belajar cara scrape website dengan python dan beautiful soup. Sebelum kita mememulai materi alangkah baiknya rekan rekan semua membacanya sambil mempraktekan nya agar cepat dalam memahami. Untuk itu silahkan rekan rekan install dulu python nya. Setelah terinstall rekan rekan bisa install modul beautifull soup dan install request, dengan cara mengetikan di cmd bagi yang memakai windows, dan bisa memakai terminal bagi yang memakai linux.

Cara menginstall Beautiful Soup

pip install beautifulsoup4

Kalau yang menggunakan pip3 rekan rekan bisa install dengan perintah

pip3 install beautifulsoup4

Setalah itu jangan lupa juga install request. Karena request ini digunakan untuk scrape website. Sedangkan beautiful soup digunakan untuk extract data. kalian bisa menginstall request dengan mengetikan perintah

 pip install request 

Cukup dengan dua modul diatas, kita sudah bisa melakukan scrape website, dan juga kita bisa extract data dari website tersebut sesuai dengan keinginkata yang akan diambil.

Cara Scrape Website Dengan Request

import requests
from requests import get

url = "https://www.example.com/"
headers = {
    "Accept-Language": "en-US, en;q=0.5",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36"
}
results = requests.get(url, headers=headers)

Kode diatas adalah digunakan untuk scrapping, yaitu mendapatkan kode html dari website. Dalam kasus diatas kita mengambil data dari example.com. Jika kita ingin menampilkan kode html diatas, kita bisa melakukan dengan code berikut.

Untuk menampilkan dalam bentuk clean

print(results.text)

Untuk menampilkan dalam bentuk html

print(results.content)

Cara Scrape Website dan extract HTML dengan Beautiful Soup

Untuk memulai menggunakan beautiful shoup rekan rekan bisa import dulu beautiful soupnya di project rekan rekan semua

from bs4 import BeautifulSoup

Untuk mengubahnya kedalam format beautiful soup dan agar enak dilihat kode htmlnya, rekan rekan bisa mengubahnya dengan kode berikut

soup = BeautifulSoup(results.content, 'html.parser')

Sekarang saatnya hal yang paling penting dan paling menentukan dalam extract data, yaitu penentuan mana yang akan kita ambil, Karena banyak orang dipusingkan dibagian sini. Oleh karena itu anda tetap harus sembari praktek agar anda bisa lebih mendalami dan lebih paham.

Mencari Text Berdasarkan ID dengan bautiful soup

title = soup.find(id='namaid').text
print(title)

Extract semua link menggunakan beautiful soup

for link in soup.find_all('a'):
   anchor = link.attrs["href"]
   print(anchor)

Extract semua Tags yang memiliki atribute tertentu menggunakan beatiful soup

sebagai contoh kita memiliki code html berikut

<span property="nama_proerty">Ini Adalah Yang Igin Dicari</span>

Maka kita bisa mengextractnya dengan code beikut

allspan = soup.find_all("span")
for span in allspan:
    if span.has_attr('property') and  "Produk" not in span.text:        
    print(span.text.strip())

Extract Tags tertentu yang memiliki atribute tertentu menggunakan beatiful soup

sebagai contoh kita memiliki code html berikut

<span property="nama_proerty">Ini Adalah Yang Igin Dicari</span>

Maka kita bisa mengextractnya dengan code beikut

weight = soup.findAll("span", {"property": "nama_proerty"})[0].text
print(weight)

……………Bersambung……………

Framework yang digunakan untuk membuat gui dengan python

Framework yang digunakan untuk membuat gui dengan python

Sebagai anda adalah software developer, tentu tidak lepas dengan Interface. karena dengan adanya interface yang bagus maka akan memudahkan pengguna software untuk menjalankan sofware yang anda buat.

Jika anda pengguna PHP, bisa menggunakan pemrograman HTML dan javascript. Untuk pengguna VB.NET , visual studio sudah menyediakan GUI yang bagus yang bisa anda gunakan dengan sangat mudah. bagaimana jika kita ingin membuat aplikasi gui dengan python? (more…)

Membuat Bot Whatsapp Untuk kirim Pesan Masal

Membuat Bot Whatsapp Untuk kirim Pesan Masal

Kali ini riffamedia.com akan berbagi tutorial tentang Membuat Bot Whatsapp Untuk kirim Pesan Masal. Bot ini menggunakan python , selenium dan chrome browser. Rekan rekan sebelumnya silahkan persiapkan dulu perangkat yang digunakan seperti installasi python, kemudian juga install google chrome, install selenium dan juga download chrome driver.

Bagiyang baru mengikuti tutorial ini silahakan teman teman bisa lihat playlist kami di bawah ini untuk memulai membuat sebuah bot

Playllis membuat bot

Setelah anda melihat video persiapan bikin bot, mari kita lanjut ke pengkodingan. Kami sudah menyiapakan sebuah koding sederhana yang bisa rekan rekan lihat di bawah ini

#untuk import module time
import time 
#untuk import module selenium
from selenium import webdriver 
#untut import module selenium dan mengambil fungsi yang ada di dalamnya
from selenium.webdriver.chrome.options import Options
#Declarasi Option dari chrome driver
chrome_options = Options()
#Untuk menyimpan cookies kedalam sebuah folder
chrome_options.add_argument("user-data-dir=cookies")
#Declarasi untuk pemaanggilan chrome driver dengan menambahkan option yang telah di set sebelumnya
driver = webdriver.Chrome(executable_path="chromedriver.exe", chrome_options=chrome_options)
#Declarasi nomor whatsapp dan isi pesan
caption ="isi dari pesan"
nowhatsapp="nomorwa"

#Untuk load sebuah URL
driver.get('https://web.whatsapp.com/send?phone=' + nowhatsapp + '&text=' + caption)
#Fungsi untuk meunggu selama 10 menit. Mengambil dari module time
time.sleep(10) 
#Perintah untuk menekan tombol kirim pada whatsapp.
tombolsend=driver.find_element_by_xpath('//*[@id="main"]/footer/div[1]/div[3]/button')
tombolsend.click()

Teman teman bisa lihat kode kode diatas. itu adalah code digunakan untuk mengirim ke satu nomor tujuan. Bagaimana kalalu kebanyak nomor?

nowhatsapparray=arr = ["nomorwa1", "nomorwa2"]
for nowhaltsapp in nowhatsapparray:
	driver.get('https://web.whatsapp.com/send?phone=' + nowhaltsapp + '&text=' + caption)
	time.sleep(10) 
	tombolsend=driver.find_element_by_xpath('//*[@id="main"]/footer/div[1]/div[3]/button')
	tombolsend.click()
	time.sleep(5)

Untuk kirim kebanyak nomor, silahkan ganti nomor whatsapp dengan sebuah array, kemudian eksekusi di buat perulangan seperti dibawah. Untuk lebih jelasnya kami akan buatkan video panduanya.

Automatisasi browser mengguanakan selenium web driver

Automatisasi browser mengguanakan selenium web driver

Rekan rekan semua mungkin pernah mendengar imacross. Imacross adalah tools yang digunakan untuk automatisasi browser. Dengan tools ini kita semua akan dibuat mudah melakukan kegiatan kegiatan yang sifatnya berulang ulang. Seperti Scrapping website, Upload image dan lain sebagainya. Kita bisa menggunakan imacros ini di chrome, firefox, bahkan ada software sendiri yang bisa kita download ke websitenya. Akan tetapi Imacross yang free memiliki banyak kekurangan, seperti upload image dan lainya. Kalau kita mau yang versi full harganya sangat mahal sekali. Sekitar Rp 1.500.000 untuk mendapatkan versi full. Bagi rekan rekan yang low budget , ada solusi yang bagus pengganti imacross. Yaitu Sellenium web driver.

Selenium webdriver sama fungsinya dengan imacross, yaitu browser automation tools. Memungkinkan kita untuk menjalankan browser secara otomatis Tanpa kita menggunakan mouse. Bisa kita gunakan untuk data scrapping, Upload, Download dan tugas lainya layaknya kita menjalankan browser seperti biasanya.

Di website resminya, Selenium mendukung banyak browser seperti Chrome, Firefox, Internet explorer , Panthom JS, Safari. Jadi jika rekan rekan browsernya di dukung oleh selenium, berarti tidak usah install browser lagi jika ingin menggunakanya.

Untuk bahasa pemrograman yang di dukung juga banyak. Selama ini kami sudah menggunakan dan test dengan beberapa bahasa pemrograman seperti Python, VB.net, PHP. Ada juga pemrograman lain seperti JAVA, Node JS ,C#, Ruby.

Jika anda sudah pernah mencoba beberapa pemrograman diatas, tidak ada salahnya untuk mencoba . Sudah banyak developer yang membuat software , dan mendapatkan banyak uang dari selenium. Karena softwarenya di terima oleh banyak orang, dan banyak orang membutuhkan. Contoh sofware yang saya ketahui adalah seperti Whatsapp blaster, Google Business Scrapper DLL.

Bagi rekan rekan yang ingin download selenium webdriver python tanpa install lewat pip bisa download di sini

Jadi kapan anda akan mencoba?

Tutorial Bikin Bot dengan Python Part 1 – Persiapan Alat

Tutorial Bikin Bot dengan Python Part 1 – Persiapan Alat

Kesempatan kali ini kami ingin berbagi kepada teman teman sekalian tentang pembuatn bot. Bot adalah tools, atau alat yang digunakan untuk membantu anda untuk lekakukan sesuatau menjadi otomatis dan lebih cepat. Dan dalam tutorial kali ini kami menggunakan bahasa pemrograman python. Untuk sofware pendukungnya adalah menggunakan chrome. Jadi nanti python akan menjalankan chrome secara otomatis sesuai dengan yang kita perintahkan.

Type bot yang akan saya buat ini sebenarnya sudah banyak di pake oleh banyak orang. Bahkan tidak sedikit orang yang menjual hasil bot dengan menggunakan chrome. Jadi barang kali anda yang berikutnya memiliki bot yang powerfull yang bisa membantu orang lain.

Berikut ini adalah langkah langkah persiapan alat yang akan kita gunakan untuk memulai membangun sebuah bot.

1.Download Python for windows.

Teman teman bisa download i halaman ini https://www.python.org/downloads/windows/.  Disana akan banyak versi dari python mulai versi 2 maupun versi 3. Mana yang akan kita pakai?. Itu optional teman teman bisa memilih salah satu yang ada di sana. Akan tetapi, saya lebih suka python versi 3.4.2 . Kenapa saya memilih versi tersebut karena versi 3.4.2 ini ketika di convert menjadai file exe, pendistribusianya mudah. Klient hanya perlu menginstall netframework 4.5.2 dan vc++ 2013. Dan kedua software windows tersebut sangat mudah untuk di install. Akan tetapi jika memakai versi python diatas versi 3.4.2, Client harus install vc++ 2015. Dan menurut pengalaman kami, vc++215 sering bandel untuk di install. Alhasil  client sangat kesulitan dalam proses instalasi sofware. Makslum karena di dindonesia banyak sekali windows bajakan, sehingga agak susah untuk di ajak kompromi 😀

2.Install Google Chrome.

Untuk step ini, kami yakin sekalau kalau teman teman pasti sudah terinstall google chrome nya di pc. Akan tetapi jika teman teman sekalian belum install , maka segeralah install google chrome nya. Teman teman sekalian bisa kunjugni https://www.google.com/intl/id_id/chrome/ . Dan saya yakin rekan rekan sudah bisa untuk install browser sejuata umat ini..

3.Download Chrome Driver.

Chrome driver ini digunakan untuk automatisasi google chrome. Dengan module ini chrome akan bisa kita gerakan sesuai dengan apa yang kita inginkan lewat bahasa pemrograman python. Teman teman bisa download chrome deiver di sini https://chromedriver.chromium.org/downloads. Akan tetapi teman teman terlebih dahulu cek google chrome version. di bagian help -> about chrome Kalau versi 77, maka temen teman bisa download chrome driver yang versi 77.

Berikut direct link download untuk memudahkan rekan rekan sekalian:

Google chrome versi 78 : https://chromedriver.storage.googleapis.com/78.0.3904.70/chromedriver_win32.zip

Google chrome versi 77 : https://chromedriver.storage.googleapis.com/77.0.3865.40/chromedriver_win32.zip

Google chrome versi 76 : https://chromedriver.storage.googleapis.com/76.0.3809.126/chromedriver_win32.zip

4. Download Selenium for python

Teman teman bisa download module slenium for python di https://github.com/SeleniumHQ/selenium. kemudian kita gunakan yang untuk python saja pada folder py.

Persiapkan ke 4 alat tempur diatas, dan kita nanti akan lanjut ke step selanjutnya. Dan untuk mempermudah teman teman, kami juga persiapkan video tutorial dalam p[roses mempersiapkan alat.

 

Pemrograman python untuk windows

Pemrograman python untuk windows

Diantara banyaknya pemrograman di dunia ini, python memiliki kedudukan peringkat termudah dibandingkan dengan pemrograman lainya. Jika anda sudah lama berkecimpung dengan dunia programing, akan tetapi anda belum penah menyentuh python sedikitpun, tenang, jika anda sudah memiliki skil pengetahuan tentang algoritma pemrograman yang kuat, pemrograman python akan cepat anda kuasai dengan cepat.

(more…)

Pin It on Pinterest