¿Los usuarios de nuestro Sitio Web necesitan estar dentro del navegador para recibir la Notificación Web Push?

No, pero en algunos navegadores como Firefox (solo en versión de escritorio) necesitas abrir el navegador luego de iniciar el sistema operativo para comenzar a recibir las notificaciones web push ya que Firefox no se inicia en segundo plano.