Il est toujours extrêmement difficile de connaître avec certitude le moment où l'homme, voire l'ancêtre, s'est installé à un endroit de façon permanente, abandonnant le nomadisme. Il faut parfois chercher les réponses à cette question dans le moindre indice, témoignage visuel encore évocateur de nos jours. À Payzac, le site de la Pierre Plantée, mégalithe dressé comme son nom l'indique, nous renseigne sur la présence humaine au moins temporaire, à l'époque où notre territoire était sous influence celtique. Beaucoup plus tard, l'église du village permet d'affirmer l'existence de Payzac dès le Moyen Âge. Cet édifice religieux, dédié à Saint-Pierre-aux-Liens, était en 1175 la propriété de l’abbaye bénédictine de Saint-Chaffre du Monastier. Un document l’atteste.
« La maçonnerie est faite de très belles pierres de taille en grès ocre, rose et gris extraites dans une carrière locale, taillées et disposées avec soin en moyen appareil. Un grand nombre de ces pierres portent les marques des tâcherons qui les ont façonnées. De remarquables exemplaires de ces signatures, gravées dans la pierre en vue de la rémunération des ouvriers, sont encore visibles dans les murs extérieurs sud-ouest et de l'abside » : ainsi est présentée cette église dans un document récent. La qualité des matériaux locaux et de leur mise en œuvre est sans doute la raison de sa bonne conservation… Les parties des plus anciennes sont romanes et datent du XIIe siècle. Les agrandissements sont gothiques et datent des XVe et XVIe siècles, et l'imposant clocher-mur à peigne également. Comme toutes les églises latines, elle est orientée le chevet à l’est. De son emplacement la vue porte loin sur les clochers voisins de Joyeuse et Lablachère, jusqu’au très caractéristique rocher de Sampzon.
Au cœur du village et de ses seize hameaux et ses dix grandes fermes isolées, des maisons anciennes affichent l'élégance et l'harmonie de leur assemblage de pierres de schiste, grès et calcaire. Elles témoignent d’une vie rurale où l’esthétisme n’était pas exclu et savait se marier avec l’aspect pratique des bâtiments. Se distingue aussi le donjon carré du château des Chanels, appartenant à l’historique famille Chaurand. Un de ses représentants, au milieu du XIXe siècle, a fait édifier un tombeau sur son terrain jouxtant le cimetière dans l’axe de l’autel de l’église. À noter que l’architecte lyonnais Pierre Bossan en a dessiné les plans ; il est également l’auteur de ceux de la basilique Notre-Dame-de-Fourvière et Saint-Régis à Lalouvesc. Ce sanctuaire est nommé la chapelle des Sept Douleurs…
Ce n’est pas que Payzac soit un lieu particulièrement voué à la tradition religieuse, mais force est de constater qu’elle a offert au village quelques belles réalisations. Le chemin de croix est également l’œuvre d’un sculpteur lyonnais, Joseph-Hugues Fabisch. Ce dernier a signé la Vierge Dorée de Notre-Dame-de-Fourvière et la Vierge à l’Enfant de la basilique de Lourdes… Au-delà de leur représentation spirituelle, ces bâtiments et ce statuaire sont de véritables œuvres d’art.
Derrière les pierres d’une maison du village naquit François-Clément Privat de Garilhe en 1759. Il fut homme de loi et député. Avocat puis juge au tribunal de Largentière au début de la révolution, son élection le porta jusqu’aux bancs de la députation. Au cours du procès de Louis XVI, il vota la détention. Bien sûr, comme bon nombre de personnes en ces périodes troublées, il passa un temps en prison et ne sauva sa tête que grâce à l’intervention de Robespierre. Enfin, il parvint à traverser les aléas de l’histoire pour décéder à Largentière en 1829.
Mais Payzac n’est pas synonyme de passé, aussi glorieux fut-il. Ce village fut le siège pendant une quinzaine d’années du festival des musiques actuelles de la Pleine Lune. Un très beau rendez-vous qui connut le succès populaire, mais qui malheureusement prit fin il y a peu pour cause de difficulté financière de l'association L'Art en scène portant cette manifestation. Si désormais ce festival n’est plus qu’un souvenir, la vie culturelle de Payzac est encore d’actualité. Ainsi dans cet attachant village, la culture rime avec le patrimoine et l’histoire avec la vie contemporaine. Cave viticole, marché de producteurs, bistrot de pays, moulin à huile contribuent à la vie sociale et économique du village.
Entre le village et ses nombreux hameaux s’étalent de vastes espaces boisés épousant parfaitement le relief. Autrefois des cultures de vignes, d’oliviers et autres ressources vivrières s’épanouissaient sur les terrasses façonnant les pentes. Avec la déprise agricole modifiant profondément les paysages de la France rurale, les forêts ont envahi l’espace. L’activité minière a incité à la plantation en masse de pins utilisés pour le boisement des galeries souterraines. En effet, ce bois offrait la caractéristique d’avertir les mineurs par des craquements bien en amont d’un éventuel effondrement général. Ainsi, les pins ont chassé les chênes et les châtaigniers. De nombreux chemins de randonnée parcourent en tous sens ces vastes espaces, livrant les secrets d’une nature entièrement sculptée par l’homme.