今回のケースでは、dot11と802_11ですが、dot11の利用をお勧めします。
というのも、802_11はインプリメントが古く、dot11の方が最新機能が含まれています。

それから、dot11でのPHY呼び出しですが、たぶんこれ↓です。
/libraries/wireless/src/mac_dot11-sta.h にある、
MacDot11StationStartTransmittingPacketDirectionally からの、
PHY_StartTransmittingSignalDirectionally 呼び出し。

なお、実際の環境ではAODVは無線LAN環境のような場合で使われることが多いですが、
AODVはあくまでもルーティングプロトコルであり、
QualNetでもさまざまなMACと組合せて使うことが出来ます。

例えば、\QualNet\4.0\scenarios\wireless\aodv\aodv-ipv4 には
mixed-wired の.configがありますが、この.configでは、
ルーティング層が ROUTING-PROTOCOL AODV で、
MAC層は [N8-1.0] MAC-PROTOCOL SWITCHED-ETHERNET の
シナリオです。
スイッチングハブに有線でつないだネットワーク上のAODVですから、
今回やりたいことであるアンテナの指向性など、全く無関係です。
改造したQualNetでMAC層に SWITCHED-ETHERNET を選択されたら...

ということで、ご自分で使いたいMAC層に合わせて実装すれば良いと思います。