Jelsa ist das am besten erhaltene Fjorddorf in Ryfylke. Im Jahr 2008 wählte NRK Radio es sogar zum idyllischsten Ort in Rogaland. Etwa 250 Menschen leben hier, und die kleinen weißen Holzhäuser am Ufer sehen noch genauso aus wie vor hundert Jahren.
Der Ort hat tiefe Wurzeln. Bereits 1286 gab es hier eine Stabkirche, und schon in der Wikingerzeit war der Ort ein Versammlungsort für religiöse Zeremonien. Die heutige Kirche wurde 1647 im Renaissancestil fertiggestellt und von den besten Handwerkern der Zeit gebaut. Im Inneren hat der Maler Gottfried Hendtzcel die Decke wie einen Sternenhimmel mit Tausenden von Sternen dekoriert. Sie ist eine der wenigen Kirchen in Norwegen, die sich in Privatbesitz befinden, und wird auch heute noch regelmäßig genutzt.
Neben der Kirche steht das alte Schulhaus aus dem Jahr 1774, eines der ersten Schulgebäude in Ryfylke. Es wurde von einer Stiftung finanziert, die 1755 von Marcille Riiberg gegründet wurde. Heute dient es als Museum.
Ab 1855 wurde Jelsa zu einer regelmäßigen Station auf den Dampfschifffahrtsrouten durch Ryfylke, und der Handel florierte. Der alte Kai, das denkmalgeschützte Pfarrhaus und die charmanten Häuser bilden ein einzigartiges architektonisches Umfeld, das einen kurzen Spaziergang wert ist. Es gibt ein Hotel mit Restaurant, und auf den nahe gelegenen Obsthöfen werden Apfelsaft und Apfelwein hergestellt.