Михаил Р.

How to automate shadow DOM elements using selenium?

Если коротко, то порядок следующий:
1. Сначала нужно найти в основном dom тот элемент, к которому прикреплен shadow root.
2. У п1. нужно получить свойство .shadow_root.
3. И вот уже у п2. нужно вызывать его собственный метод find_element, чтобы найти нужный элемент внутри него.

Или так:
Локатор не находит элемент на сайте, хотя набран верно, пробовал разные варианты, не помогает, в чём проблема?

А если прочитать ошибку? Один экземпляр хрома уже использует этот профиль. Кильните процесс и начните заново, а также оберните в try except сам код, а quit в finally, чтобы больше не оставалось висячих процессов.

Я попробовал много способов, но все они не помогают мне обойти защиту

Какие пробовали?

Язык не важен

Не важен, но скорее всего это будет Python.

важен алгоритм. Как мне это сделать

1. Python + Zendriver + no headless.
2. Открываем отдельный профиль браузера.
3. Заходим на сайт с cloudlfare, ждем загрузки окна капчи, жмем на него, сохраняем куку и попадаем на сайт.

Последующий заход так же выполняем через профиль браузера из п2, cloudflare будет доволен, временно. Ну и про правильный отпечаток браузера + правильный ip я думаю смысла говорить нет.

Язык не важен, важен алгоритм. Как мне это сделать? Не предлагайте сторонние API для решения капчи.

Если с headless и без привязки к Python, то статьи по теме:
- Об одном способе веб-скрапинга сайтов, защищенных ....
- Парсим сайты с защитой от ботов.
- Chrome Headless против cloudflare JS challenge.

Способ рабочий, работает в том или ином виде до сих пор. Тема коммерческая, поэтому ответ без готового решения (да и он не требуется, судя по ТЗ).

Вручную можно сделать через настройку "Разрешить сайтам показывать небезопасный контент" с указанием ссылки на web ui, но не понимаю как это можно реализовать в коде.

Создайте профиль браузера, разрешите что нужно, затем запускайте selenium под этим профилем. Это костыль, но менее костыльный, чем другой.

Нейронка это конечно хорошо, но желательно проверять, что она пишет:

# EC.presence_of_element_located((By.CSS_SELECTOR, "product-slider__img js-product-current-img"))
EC.presence_of_element_located((By.CSS_SELECTOR, ".product-slider__img.js-product-current-img"))

Ниже код для Chrome и FF (Python 3.10, Windows 11 Pro 23H2) - все прекрасно работает, за исключением сайта-помойки, который грузится минуту:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

options = Options()
service = Service(r'D:\project\chromedriver-130.0.6723.93.exe')
driver = webdriver.Chrome(service=service, options=options)

url = 'https://superstep.ru/product/NCFSW0W288YW_GRA/#colorGRA'
driver.get(url)

try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, ".product-slider__img.js-product-current-img"))
    )
    page_html = driver.page_source
    print(page_html)

except TimeoutException:
    print("Элемент не найден")

finally:
    print('Программа завершена')
    driver.quit()

from selenium import webdriver
from selenium.webdriver.firefox.service import Service
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

options = Options()
service = Service(r'D:\project\geckodriver.exe')
driver = webdriver.Firefox(service=service, options=options)

url = 'https://superstep.ru/product/NCFSW0W288YW_GRA/#colorGRA'
driver.get(url)

try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, ".product-slider__img.js-product-current-img"))
    )
    page_html = driver.page_source
    print(page_html)

except TimeoutException:
    print("Элемент не найден")

finally:
    print('Программа завершена')
    driver.quit()

Возможно ли с помощью selenium создать такой скрипт, что:

Возможно, что может "увидеть" живой человек в браузере, то может и selenium. Вопрос лишь в написание кода и преодоление защиты со стороны сайта, если таковая имеется.

P.S. если контент сайта формируется не динамическим путем, то проще использовать библиотеки по типу requests.

Nodriver, официальная замена undetected-chromedriver.

$ curl https://codeforces.com/

<!DOCTYPE html><html lang="en-US"><head><title>Just a moment...</title><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=Edge">

Первый ответ сервера (а bs4 в большее и не умеет), возвращает среди прочего < title>Just a moment... title>, уже как бы намекая, что там что то происходит... Защита может быть элементарной, но не видя Ваш код, говорить о решение не приходится.

данный код не работает

Конечно не работает, Вы обращаетесь к свойству click (которого не существует), а не к методу click().

# driver.find_element("xpath", "//input[@id='LinkDa']" ).click
driver.find_element("xpath", "//input[@id='LinkDa']" ).click()

Полный вариант:

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get('https://autoins.ru/osago/raschet-stoimosti-osago/proverit-kbm/')

# Debug
time.sleep(10)

checkbox = driver.find_element(By.XPATH, '//label[@for="linkDa"]')
checkbox.click()

# Debug
time.sleep(10)

button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.ID, "btnDa"))
)

button.click()

# Debug
time.sleep(10)

driver.quit()

Headless

Необходимо использовать относительные пути в XPATH:

# h2= g.find_element(By.XPATH, '//h2').text
h2 = g.find_element(By.XPATH, './/h2').text

Как в selenium открыть селектор на JS?

Т.е. элемент, который создаётся динамически? Используйте явное ожидание элемента и уже затем взаимодействуйте с ним.

Как сделать, чтобы selenium открывал уже авторизированную страничку?

Относительные пути XPath?
By.XPath(".//div/div[1]/div[1]/div/span")

driver.quit()

Используйте как минимум 1 глобальное исключение, и в случае ошибки, выполняйте driver.quit(), т.к. в ином случае, скрипт крашнется, а сессия браузера останется.

Но далее чтобы получить номер уже зареганым, просит подтвердить капчей.

Профайл браузера и/или деятельность скрипта подозрительны.

Есть ли возможность сделать движения похожими на человеческие

Карта изучения Selenium, есть у вас источники и книги для изучения?

или еще лучше, как-то сделать имитацию регистрации и получить номер

Можно, аналогично тому, как это может сделать живой человек.

Как сделать так, чтобы при запуске скрипта, соответственно, переходе по ссылке, каждый раз не открывалась новая сессия?

Самый простой вариант - использовать отдельный профиль хрома (независимая постоянная сессия браузера):

import os
import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service

# ChromeDriver path (https://sites.google.com/chromium.org/driver/downloads)
chromedriver_path = r'C:\project\chromedriver.exe'

# Chrome profile path
profile_dir = r'C:\project\chrome-profiles\1'

# Create chrome profile (run in console):
# $ chrome C:\project\chrome-profiles\1
#
# or
#
# auto create chrome profile (if need)
if not os.path.exists(profile_dir):
    os.makedirs(profile_dir)

# Using chrome profile
options = webdriver.ChromeOptions()
options.add_argument(f'--user-data-dir={profile_dir}')

# Init
service = Service(executable_path=chromedriver_path)
driver = webdriver.Chrome(service=service, options=options)

# Open website
driver.get('https://maps.yandex.ru/')

# Delay and close driver
time.sleep(10)
driver.quit()

Вы поставили библиотеку ChromeDriver (Selenium), затем Ваш хром на компе обновился, а библиотека осталась прежней, версии стали не совместимыми.
pip install --upgrade selenium