selenium 웹 크롤링 하기

반응형

ㄴfrom selenium import webdriver
from bs4 import BeautifulSoup
import urllib
import urllib.request

def main():

browser = webdriver.Chrome('chromedriver.exe')

# 웹페이지 로그인
url = "http://웹주소"  # 접속할 URL
browser.get(url)
username = browser.find_element_by_name('m_id')  #
username.send_keys('id')  # 사용자 ID
password = browser.find_element_by_name('password')  # 
password.send_keys('password')  # 사용자 PASSWORD
form = browser.find_element_by_id('form')  # 
form.submit()  # submit

soup = BeautifulSoup(browser.page_source, 'lxml')

findCategory = soup.find_all("a", {"class": "ct-link"})

countCate = 1
    
for cateLink in findCategory

productName = soup.find("strong", {"id": "_goodsnm"})

내 컴퓨터도 상대측 서버도 부하가 많긴 하지만 Selenium 의 웹드라이버로 값을 가져와서 beautifulSoup 으로 간단하게 사이트 로그인해서 페이지 크롤링하기.

반응형

• 카카오스토리
• 트위터
• 페이스북