関連するソースコードは以下の2つです。
./libraries/wireless/src/routing_olsr-inria.{cpp,h}

コストと経路に関連しているものを探します。

まず経路(RoutingTable)関連を探します。
./libraries/wireless/src/routing_olsr-inria.cpp
このファイルから以下の関数が候補になります。

OlsrLookupRoutingTable
OlsrDeleteRoutingTable
OlsrReleaseRoutingTable
OlsrInsertRoutingTable
OlsrInsertRoutingTablefromTopology
OlsrFillRoutingTableWith2HopNeighbors
OlsrFillRoutingTableWithNeighbors
OlsrInsertRoutingTableFromHnaTable
OlsrPrintRoutingTable
OlsrCalculateRoutingTable

次にコスト(metric)がどのように使われるのか探します。
./libraries/wireless/src/routing_olsr-inria.h
このファイルから以下の部分が関係ありそうです。

#define rt_metric rt_entry_infos.rtu_metric // cost of route
#define rt_interface rt_entry_infos.rtu_interface // cost of route

第一段階として、上記の情報を元に調べてみましょう。