"Selenium"의 두 판 사이의 차이

Pywiki
둘러보기로 가기 검색하러 가기
(새 문서: ==개요== 셀레니움. 동적 크롤링을 위한 라이브러리. 웹 애플리케이션 테스트 라이브러리다. === 특, 장점 === * 기본적인 웹 스크래핑 도구...)
 
222번째 줄: 222번째 줄:
 
|}
 
|}
 
(로그인할 때 글자를 쓰게 하거나.. 이것저것 입력할 것을 요구하면... 못한다.)
 
(로그인할 때 글자를 쓰게 하거나.. 이것저것 입력할 것을 요구하면... 못한다.)
[[분류:라이브러리]]
+
[[분류:라이브러리]]

2021년 4월 5일 (월) 23:59 판

1 개요

셀레니움. 동적 크롤링을 위한 라이브러리. 웹 애플리케이션 테스트 라이브러리다.

1.1 특, 장점

  • 기본적인 웹 스크래핑 도구는 주어진 것을 받아들일 뿐 로그인 해야만 볼 수 있는 정보를 받아올 순 없다. 이런 한계를 극복하기 위해 자주 사용되는 도구.(실제로 웹서핑을 하듯 사용자의 입력을 넣을 수 있다.)

1.2 한계

  • 사용자가 실제로 입력하듯 작동한다. 때문에 상대적으로 느리다.

1.3 설치

과정 설명 비고
설치 pip install selenium
웹드라이버 설치
  • 크롬 브라우저에서 chrome://version 을 입력해 버전 확인.
  • https://sites.google.com/a/chromium.org/chromedriver/downloads 에서 해당 버전에 맞는 드라이버 .zip 파일을 받는다.
  • 적절한 곳에 옮겨두고 경로를 기억해둔다.
    from selenium import webdriver
    
    drv = webdriver.Chrome('chromedriver.exe', options=opt)  # 웹드라이버 경로를 지정해준다.
    
매번 웹드라이버를 다운받기 귀찮을 땐, 혹은 이미 브라우저를 사용하고 있을 땐 webdriver-manager를 사용하면 편하다.

1.4 웹 드라이버

기본적으로 설치되어 있어야 작동한다.

드라이버 설명 사용법
Chrome 적절한 웹드라이버를 받기 힘들다면, pip install webdriver-manager를 이용해 사용한다.
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

browser = webdriver.Chrome(ChromeDriverManager().install())  # 이걸 브라우저로 사용한다.
PhantumJS JavaScriptCore 사용. 명령줄에서 웹브라우저를 조작한다.
기타(나중에 사용하게 되는 사람들이 사용하면서 정리해줘요~)

Firefox, Ie, Opera, PhantomJS, Remote 등의 웹드라이버사용이 가능하다.

2 사용법

웹드라이버를 browser라는 객체에 할당했을 때의 방법이다.

의도 설명 방법
기다리기 브라우저가 초기화될 때까지 기다린다.(보통 3초? 굳이 안써도 잘 작동하긴 한다.) browser.implicitly_wait(초)
웹페이지 읽기 browser.get(url)
종료하기 browser.quit()

2.1 객체 찾기(요소 찾기)

객체를 찾아 해당 내용에 접근할 수 있다.(다양한 방법이 있다. 사용하게 될 때마다 검색해서 사용하고 정리해두자.)

  • 기본적으로 가장 처음의 하나만 찾을 땐 find_element_by_...를 사용하고, 여러 개 추출할 땐 find_elements_by_...를 사용한다.
  • 요소를 찾지 못한다면 NoSuchElementException 에러를 반환한다.
의도 설명 방법
DOM 요소로 찾기(id) id속성으로 요소를 하나 추출한다. target = browser.find_element_by_id('DOM요소')
css셀렉터로 찾기 form = browser.find_element_by_css_selector("input.btn_global[type=submit]")

2.2 객체 조작(요소 조작)

키를 선택하거나 입력하는 등의 조작을 하기 위한 기능이다.

아래에서 사용된 target은 위에서 찾은 요소의 객체를 의미한다.

의도 설명 방법
지우기 양식에 처음부터 추가되어 있는 내용을 지운다. target.clear()
클릭 target.click()
키 입력 input 양식 따위에 내용을 입력한다. target.send_keys(입력값)
특수키 입력 방향키, ALT, COMMAND, F1 등 특수키를 사용하고 싶을 때.
from selenium.Webdriver.common.keys import Keys
위 모듈을 불러온 후 ARROW_DOWN, ALT, COMMAND, F1등을 입력한다.
전송 form 요소의 버튼같은 객체를 찾은 후 전송. target.submit()

이외 쿠키값을 조작하거나 브라우저의 위치, 크기를 조작하는 등 브라우저로 할 수 있는 대부분의 것들을 할 수 있다.

2.2.1 자바스크립트 사용

셀레니움에서 다양한 기능을 제공하지만, 더 세부적으로 조작하고싶은 경우, 자바스크립트를 사용할 수도 있다.

의도 설명 방법
자바스크립트 사용 JS를 실행한 결과는 객체에 담긴다. 객체 = browser.execute_script("자바스크립트")

2.3 하위속성 접근

의도 설명 방법
id속성에 접근 id속성을 보여준다. target.id
태그이름 요소의 태그 target.tag_name
텍스트에 접근 요소의 내부 글자를 보여준다. target.text

2.4 자주 안쓸 것 같은 기능

의도 설명 방법
스크린샷 브라우저의 화면을 캡처한다.(스크롤바까지 찍힌다.) browser.save_screenshot("경로.png")

3 다양한 사용법

3.1 로그인

네이버에 로그인할 때의 예시.

과정 설명 방법
사전 내용 기입 이것저것 준비하는 단계
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

User = 'id'
User_target = '타겟'  # id를 입력할 DOM요소 등을 지정.
Pass = 'password'
Pass_target = '타겟'  # password를 입력할 DOM요소 등을 지정.
form_target = '타겟'  # id와 password를 입력하고 제출버튼의 위치를 찾을 단서를 지정.
url_login = "http://주소"  # 로그인 페이지 주소.
로그인페이지 접근 selenium 사용을 위한 설정 및 접근
browser = webdriver.Chrome(ChromeDriverManager().install())  # 이걸 브라우저로 사용한다.
browser.implicitly_wait(3)
browser.get(url_login)
각종 내용 입력 후 제출
target = browser.find_element_by_id(User_target)
target.clear()
target.send_keys(User)  # ID에 해당하는 내용 입력
target = browser.find_element_by_id(Pass_target)
target.clear()
target.send_keys(Pass)  # 비밀번호에 해당하는 내용 입력
## 버튼 누르기
form = browser.find_element_by_css_selector(form_target)
form.submit()

(로그인할 때 글자를 쓰게 하거나.. 이것저것 입력할 것을 요구하면... 못한다.)