Gegenüber dem Schlosse Gilgenberg steht ein hoher, fast unersteigbarer Fels, genannt Portefluh. Auf diesem soll früher ein Schloss gestanden sein, das viel älter gewesen sein soll als das Schloss Gilgenberg. Über die Erbauung und den Untergang des Schlosses erzählt man sich:

Als das Schloss bald seiner Vollendung nahe und schon bewohnt war, sollte auf Befehl des Erbauers von den Bürgern Zullwils eine grosse Eiche auf die Höhe des Felsens zum Schlosse transportiert werden. Vergeblich sagten die Leute dem Ritter, dies sei menschenunmöglich.

Der hartherzige Herr wollte von seinem Befehl nicht zurückstehen und die Leute mit Gewalt zwingen. Da schickten die verängstigten und bedrängten Bewohner einen Mann nach Solothurn, um dort bei den Herren Rat und Hilfe zu suchen. Auf der Höhe des Passwanges begegnete dem Boten ein schwarzes Männchen mit grünem Rocke. Der Unbekannte redete den Boten an und fragte, wo er hinwolle und warum, was dieser beantwortete. Der Unbekannte sagte hierauf, wenn sonst nichts fehle, so solle er nur zurückkehren, er wolle die Eiche schon zu dem Schlosse führen und zwar schon am folgenden Tage. Wie es der Unbekannte versprochen hatte, kam er wirklich auch am folgenden Tage mit einem Wagen daher gefahren, der mit vier schwarzen Pferden bespannt war. Die Eiche wurde auf den Wagen geladen. Der Unbekannte, mit einem grünen Federbusche auf dem Hute, liess seine Peitsche knallen und rief dreimal «hüo!» Die mutigen Rappen zogen an und den steilen Berg hinauf ging's, als wäre die Eiche nur ein Federkiel. Als der Fuhrmann samt der Ladung oben angelangt war, rief er abermals ein lautes dreimaliges «hüo» und fuhr dann mit Rossen und Wagen in die Mauern des Schlosses hinein, dass dieses krachend zusammenstürzte. Der Felsen, auf dem es erbaut war, bebte und barst entzwei und verschlang das Schloss samt dem Ritter, seiner Familie und dem Fuhrmann, samt Zug und Ladung, und alles war seither spurlos verschwunden, und nur noch der geborstene Felsen ist zu sehen.

Quelle: P. Keckeis, M. Kully, Sagen der Schweiz. Solothurn, Zürich 1987. Eingelesen von der Mutabor Märchenstiftung auf www.maerchenstiftung.ch