Ganz einfach,
so wie es aussieht, hast Du eine bestimmte, durch den Alltag geprägte Vorstellung vom Raum (und der Zeit). Das Problem ist, dass man davon nun abstrahieren muss. Um u.a. den Urknall mit Formeln irgendwie zu fassen (und mit den aktuellen astronomischen Beobachtungen in Einklang zu bringen - darum machen wir uns ja überhaupt die Mühe -) muss man den Raumbegriff ändern in ein mathematisches Kontrukt, dass bei menschlichen Dimensionen zwar unseren Alltag wiedergibt, in kosmischen Dimensionen aber alles andere als anschaulich ist.
Zum Beispiel: Wie groß ist das Volumen eines Schwarzen Lochs? Wir kennen zwar den Schwarzschild-Radius und können daraus ein Volumen ableiten, aber das sagt gar nichts über sein Inneres aus. (Mathematisch eine Art Null-Division - nicht definiert oder vielleicht ein Punkt ohne Ausdehnung) Noch vor 40 Jahren wurden SL von vielen Wissenschaftler ins Reich der Phantasie abgeschoben, erst vor wenigen Jahren hat man erkannt, dass Massiv-SL einen festen Platz bei der Galaxienbildung haben usw...
Noch was: Wie kommst Du darauf, dass der Raum unendlich sein soll? Das behauptet derzeit niemand ernsthaft. Jeder der auch nur ein wenig mit Mathematik zu tun hat, wird den Unendlichkeitsbegriff tunlichst meiden, so lange es geht. (Wie heißt es doch so plakativ: Parallelen schneiden sich im Unendlichen.)
Vielleicht hilft die Überlegung weiter, dass es genau der Raum selbst ist, der beim Urknall auseinanderplatzte. (Auseinanderfliegen ist mir schon wieder zu stark mit dem Geschwindigkeitsbegriff verflochten.) So gesehen ist die jetzige Materieverteilung im Gro0en und Ganzen aus einem Punkt heraus vergrößert worden. Und das erklärt auch, warum es Galaxien gibt, die weiter entfernt sind, als das Licht seit dem Urknall Zeit hatte. Für eine bestimmte Phase nach dem Urknall nennt man dieses Aufplatzen des Raumes denn auch sinniger Weise: Inflationsphase
(Das muss für die Materie bildlich wie ein Schockfrieren gewesen sein.)
PS: Was meine Überzeugung angeht: Was einmal geht (Urknall) geht auch öfter. Dass es geht, wurde ja zumindest einmal bewiesen.
PPS: Alles was für den Raumbegriff gilt, gilt in ähnlicher Weise auch für den Zeitbegriff: Man redet zwar von soundsoviel tausendstel Sekunden nach dem Knall, aber bei den anfänglichen Energie-/Massedichten muss die Zeit ziemlich langsam abgelaufen sein. (Dilationseffekt, den aber keiner bemerkt haben dürfte, weil es mangels Raum keinen aussenstehenden Beobachter gibt.)
PPPS: Man muss sich auch von der Vorstellung lösen, das Universum hätte einen Rand oder (Nuss-)Schale. Im Gegenteil: Von jedem Ort, sieht das All mehr oder weniger gleich aus. Es fließt keine Strahlung (die Hintergrundstrahlung müsste ja die erste sein) am Rand mit Lichtgeschwindigkeit in das Nichts hinaus. WEG MIT DIESER VORSTELLUNG. Ich sagte schon eingangs: "wenig anschaulich". Das mit der Anschaulichkeit, wird vielleicht an dem Problem deutlich, dass die Menschheit hatte, als sie die Erde noch als Scheibe begriffen: Da musste das Meer ja auch einen Rand haben oder über die Kante fallen. Thomas Reiter hat es von der ISS wohl anders erlebt.
Gruß