正確には、XR Tool kitのスクリプト類は正しく動いていたのだが、コライダーのみ移動されてメッシュがそのまま取り残されていたという現象。
ちなみにUnity6のエディター画面で、Oculus Quest2をLinkでつないでデバッグしている状態にて。

https://discussions.unity.com/t/xr-grab-interactable-not-working-correctly-with-mesh-shape/829481

結論からいうと、これ。

デフォルトでは、Grab Interactable オブジェクトは、Transform ピボット ポーズを使用して Interactor を選択して、Interactor にアタッチされます。Grab Interactable の子 GameObject を作成し、それを Inspector ウィンドウの Attach Transform 値に割り当てることで、アタッチ ポイントの場所をオーバーライドできます。Unity エディターを使用する場合は、Center/Pivotボタンを使用してピボットの位置を決定できます。 1.0.0-pre.3 の時点では、Transform 位置とは異なる質量中心を持つオブジェクトに対して Instantaneous 移動タイプを使用すると、アタッチ位置が正しくなくなるというバグが現在存在します。これは、パッケージの次のバージョン 1.0.0-pre.4 で修正される予定です。

そんなの知らんがな状態。日本語サイトはもちろん、youtube解説、公式ドキュメントにも書いてない。

まぁこれでVR作品第1弾からできなかった（小さなコライダーでそれっぽくごまかしていた）、ハンドで服を掴んだり、何らかの物を揉むという動きが出来るようになった。