根据《户籍法》规定，户口所在地的农村居民，可以在户籍所在地新建住房。但是，如果您已经在县城拥有房子，需要在政策允许的前提下才能回到农村建房。例如，某些地区的政策规定，农村居民在城市工作购房后，可以继续在户籍所在地新建住房。因此，您需要了解当地政策，符合政策规定后，方可回到农村建房。