私の場合は新しいPHYモデルを追加したときに電波アニメーションが表示されないという問題に遭遇したことがあったので、そのときの解決が参考になるかと思ったのですが、sekigさんの場合は新しいアンテナモデルなんですよね。
文面からすると、PHYモデルは既存の802.11a/bあたりを改造して利用されているのでしょうか。

解決の糸口になるかどうか分かりませんが、以下の点を確認してみてください。

* qualnetをコマンドライン実行します。その際に-animateオプションをつけると、GUIに送られるアニメーションコマンドが出力されますので、ご自身で表示されたタイミングで該当アニメーションコマンドが出力されているか確認します。
* IDEのアニメータで「Node Radio Range animation」をEnableにし、レンジ表示します。この際にノードアイコンの真中付近にドット1つ分のごく小さな赤点が表示されていないかよく見てみてください。

上記の両方、またはいずれかが確認できたなら、アニメーションコマンド自体は出ているが、そのコマンドの内容が悪そうということになります。

もしQualNet 4.0のソースコードが入手できるようでしたら、GUI関連のAPIのソースコード(main/gui.cpp)が公開されていますので、問題の解析の参考にしてみてください。
ファイル gui.cpp の関数 GUI_InitWirelessInterface() あたりに、アンテナモデルに依存したコードが見られるようです。

ちなみに私が新規PHYモデル追加時に電波アニメーション表示されなかった原因は、上記関数 GUI_InitWirelessInterface() の変数rxThresholdのデフォルト値設定がdBm値になっているという不具合のためで、QualNet 4.0では問題なく修正できました。