> configファイルを読み込みコンパイル直後にエラーが発生します。
コンパイル直後ではなくってQualNet実行直後と読み替えますが、

>エラー発生前のメモリ使用量は約250MBになります。
250MBしか使っていなければ、32bitOSでも問題なさそうです。

実際にエラーが出た、
> Error in file ..\main\memory.cpp:72
この部分にデバッグ文を入れて、
具体的に何バイトmallocしようとしているのか、
確認してみてはいかがでしょうか。