То, о чём Вы спрашиваете, официально называется WAI-ARIA.
Тут можно скачать бесплатно экранного диктора и с помощью него тестировать свои сайты, осуществляя навигацию по ним с помощью табуляции, а так же открывая специальное меню с помощью горячих клавиш (командная кнопка приложения, которую назначите, по умолчанию ins+f7, или f6? Не помню уже точно :-) )

Доклады Вадима Макеева на ютубе:
https://www.youtube.com/watch?v=MWJKwn_gKR4
https://www.youtube.com/watch?v=ssJsjGZE2sc

Если действительно умеете соблюдать семантику, то, скорее всего, Вы уже сделали достаточно.
Рускоязычные ресурсы по доступности:
https://weblind.ru/
specialbank.ru/guide (В данный момент чёт не работает, но должен)
Есть курс, где учат именно этому: https://kurmak.info/
Статья на хабре: https://habr.com/ru/post/40730/ (там внизу есть полезные ссылки)
Тут можно найти информацию по этому вопросу, в том числе перевод статей из первой ссылки англоязычных ресурсов

В подкасте Веб-стандарты упоминается об этом очень часто. Тут можно прослушать все выпуски, а так же покопаться в выпусках и поискать упоминания доступности и статьи про это.

Есть англоязычные ресурсы
Про доступные компоненты: https://inclusive-components.design/ (нажимаете в хроме справа сверху "перевести страницу" и профит)
Есть спецификация: https://www.w3.org/TR/wai-aria-1.1/#usage (аналогично, перевод в браузере и профит)
MDN: https://developer.mozilla.org/en-US/docs/Learn/Acc...

Не всё так радужно, как задумывалось, но смысл в их использовании есть.
От каких то тэгов больше - от каких то меньше.
Но если что-то можно сделать не прилагая почти никаких усилий и получить от этого пользу, то почему этого делать не стоит?

https://habr.com/ru/company/htmlacademy/blog/546500/

Основных поинтов использования семантики 3.
1) Использование подходящих элементов делает их использование удобнее. Несколько раз встречал когда ссылки делали дивами с js поверх. Нет возможности нажать на них колёсиком чтобы открылаьс в новой вкладке или правой кнопкой с соответствующем ссылке контекстным меню. Это отвратительно неудобно.
2) это помощь людям с ограниченными возможностями для понимания контекста происходящего на экране. Наглядный пример это ссылки внутри тэга nav. Можно побаловаться со скрин ридером и будет понятно о чём речь.
Если коротко: ссылки в div будут озвучены как: *ссылка*.
Ссылки в nav: "ссылка, навигация"
https://vc.ru/promo/132280-kak-zvuchat-sayty-nezry...
https://www.youtube.com/watch?v=RQiN1Hhrxu0
3) Помощь поисковым ботам понимать контекст и формировать снипеты в поисковой выдаче. Пример есть в статье выше.
https://siteclinic.ru/blog/technical-aspects/html5...

с какой-либо из «сторон дела»: пользователя, верстки, программирования, поисковых систем?

1) Про пользователей выше
2) Про вёрстку - удобнее читать
3) Про программирование - использование верных тэгов соответствующим образом влияет на работу с этими элементами в JS либо избавляет от необходимости в JS в принципе.
4) Про поисковые системы выше.

Можно конечно отключать poiner-events, но если включать его для текста, то это всё равно приведёт к той же проблеме. Что под текстом не будет работать.

Поковырял немного:


Основное что изменил - отслеживание событий mousemove не на канвасе, а на всей секции и e.offsetX на e.clientX

Learn JavaScript
MDN
JavaScript Garden

На ютубе рекомендую этот канал. (ссылки на плейлисты с него)
https://www.youtube.com/watch?v=FX2fiUvrYP4&list=P...
https://www.youtube.com/watch?v=aQkgUUmUJy4&list=P...
И так ещё по каналу посмотрите отдельные видео.

Вообще то есть нативная возможность без костылей выносить кнопку сабмита за форму.
htmlbook.ru/html/button/form
И не надо прикручивать никаких листенеров.