プレハブモードでのプレハブの編集 - Unity マニュアル
UI プレハブには UI Environment 設定を使用します。UI プレハブは、通常の Transform コンポーネントではなく、ルート上に Rect Transform コンポーネントを持つプレハブです。 “UI 以外” のプレハブは、通常の Transform コンポーネントを持つプレハブです。
公式には上記のように記載されていたため、Root が RectTransform を持っていれば UI プレハブが開始すると思っていたが、実際に RectTransform だけの Prefab を開いてみたところ UI プレハブモードで開始されなかった
調査結果
調査してみたところ Canvas
もしくは Canvas Renderer
のコンポーネントが存在していた場合 UI プレハブモードで開始されることが分かった