QualNetに限らず、ソースコードの改造における一般論になります。

既存のプロトコルを一部改造して使う場合、

既存のプロトコルとの共存をあきらめてしまい、改造してしまう。
既存のプロトコルとの共存が必要になるので、改造する。

しかありません。

あるいは、

既存のプロトコル(つまりQualNetオリジナル)の環境をとっとく。
改造したプロトコルの環境を別に作る。
使う場合に、これら2つのQualNetを使い分ける。

方法がありますが、シナリオでの共存はできません。

少なくとも、既存のプロトコルとの共存が必要なので改造する場合は、
改造部分とコンフリクトしないように、丁寧に名前を書き換えるしか
ありません。

で、今回の場合です。

『既にある mac_dot11.h の冒頭の define の定数値を少し書き換えたもの』

だけが改造内容であれば、defineの内容をconfigで設定可能にする改造が楽です。

たとえば、

#define DOT11_PS_LISTEN_INTERVAL 10
は、
int DOT11_PS_LISTEN_INTERVAL;
にしてしまい、実体をdot11の構造体で定義。実際の値は.configから読む。
configに値が定義されていなければ、デフォルトとして10にしておく。
使っている場所では、DOT11_PS_LISTEN_INTERVAL ではなくって、
何たら構造体.DOT11_PS_LISTEN_INTERVAL とか、
何たら構造体へのポインタ->DOT11_PS_LISTEN_INTERVAL と使う。

などの方法です。

ただし、
実際のdefineの内容にも依存するので、全てがうまく改造できるか否かは
保障の限りではありません。

あと、『コンパイルでエラーが出てしま』っていれば、
QualNetの実行形式はできないはずですが...
『今のところは、choices.xml と mac_dot11.cpp を少し書き換えて、
GUI上から値をさわれるようにしており何とかなっていますが』
という状況がいまいちつかめません。