$$R=\frac{a\sqrt{b}}{\sqrt{3b-a}}.$$
Demostración. Note que $PQ$ es la bisectriz de $\angle{XPY}$. Por lo tanto, usando la fórmula para la longitud de la bisectriz en el triángulo $XPZ$, tenemos:
$$PQ^2=\frac{PX\cdot{PZ}}{(PX+PZ)^2}\left[(PX+PZ)^2-(a+b)^2\right].\tag{1}$$
Por el teorema de la bisectriz tambien tenemos que
$$\frac{a}{b}=\frac{PX}{PZ} \Longrightarrow PZ=\frac{b}{a}PX.\tag{2}$$
Consecuentemente,
$$YZ=PY-PZ=PX-\frac{b}{a}PX=PX\left(\frac{a-b}{a}\right).\tag{3}$$
Por potencia de un punto $YZ^2=ZQ\cdot{ZX}$. Sustituyendo, obtenemos
$$PX^2\left(\frac{a-b}{a}\right)^2=b(a+b) \Longrightarrow PX^2=\frac{a^2b(a+b)}{(a-b)^2}.\tag{4}$$
Sustituyendo $(2)$ en $(1)$, simplificando y luego sustituyendo $(4)$ en $(1)$,
$$PQ^2=\frac{ab^2(a+b)}{(a-b)^2}-ab=\frac{a^2b(3b-a)}{(a-b)^2}.\tag{5}$$
Nuevamente, por potencia de un punto,
$$PX^2=PQ(PQ+2R) \Longrightarrow R=\frac{PX^2-PQ^2}{2PQ}.\tag{6}$$
Sustituyendo $(4)$ y $(5)$ en $(6)$ y simplificando, obtenemos
$$\boxed{R=\frac{a\sqrt{b}}{\sqrt{3b-a}}.}$$
Por la configuración, $b<a$ y necesariamente $3b>a$, de modo que la raíz de $3b−a$ tiene sentido.
