基準点合わせのポインターをフリックしても反応しないこと多いのですが。屋外で使用しています。

HoloLens 2/XR10は、カメラに写る手を認識しています。屋外では、HoloLens 2/XR10が手を認識しづらく、ジェスチャが反応しづらいことがあります。
HoloLens 2/XR10を屋外で使用する際、ジェスチャする手の作業服の袖を、反対の手で絞って腕のラインを出すことにより認識しやすくしたり、屋外の照明や太陽光の光によっても見え方が変わってくるため、実施する時間帯を変更したりすることで改善する可能性があります。お試しください。