実家が貧乏な彼との結婚

私には結婚相談所で知り合い、お付き合いして１年程たつ彼がいます。
お付き合いして程なく、彼の実家に招待されたのですが、あまりに狭くて古くて汚いマンションでびっくりしてしまいました。
その後も何度か遊びに行かせてもらったのですが、狭くて汚いという印象は変わりません。
数ヶ月前にプロポーズされてイエスと答えたのですが、やっぱりあまり貧乏な人とは結婚したくないという思いがいまだにあります。
両親に相談すると、別に同居するわけでなければ、自分たちでこれからお金を貯めて家を買えばいいのだから、彼の実家がどうであろうと気にしなければいいのではないかと言われます。
私も実家がどうのこうの言うよりも、彼自身を好きなら問題はないとは思うのですが、今の彼の前にお付き合いしていた人は普通にきれいな家に住んでいたので、それと比べてしまって、前の彼は条件が整っていたんだなあと思って、前の彼にふられないようにもっと努力すればよかった、とか考えてしまう自分がいるのです。
前彼のことを思い出して後悔してしまうことを両親に話すと、そんなに今の彼のことが気に入らないというのなら、結婚はやめなさいと言われます。
ですが私は２年も結婚相談所で活動してやっと手に入れたご縁をふいにしてしまう勇気もありません。
でも、貧乏な人と結婚したら、私の性格上、劣等感（私の学生時代の友人はお金持ちと結婚している人が多いので）に悩まされたり、後悔したりするのではないかと思います。
私はこれから考えを改めて、人を条件で判断するのをやめるというようにすれば、今の彼と結婚して幸せになれるのでしょうか？
それとも、私の性格はなかなか変えられないから、こんなに悩むのであれば結婚はやめておいたほうがよいのでしょうか？