Entropi – definition och förklaring i termodynamik och informationsteori

Entropi – tydlig förklaring inom termodynamik och informationsteori: definition, matematik, exempel och varför system rör sig mot oordning och informationsosäkerhet.

Entropi är ett centralt begrepp i både termodynamik och informationsteori. I fysiken är entropi ett mått på den mängd energi som inte är tillgänglig för att utföra arbete. Entropin kan också beskrivas som ett mått på antalet möjliga arrangemang (mikrotillstånd) som atomerna eller partiklarnas i ett system kan ha. I denna mening är entropi ett mått på osäkerhet eller slumpmässighet: ju fler möjliga tillstånd, desto större osäkerhet om systemets exakta mikrotillstånd. En grundläggande fysiklag — termodynamikens andra lag — säger att i ett isolerat system kan entropin aldrig minska av sig själv; utan tillförsel av arbete eller energi tenderar system mot högre entropi, det vill säga mot mer utspridd och jämnt fördelad energi.

Begreppet entropi uppstod vid studiet av värme och energi under slutet av 1800‑talet. Matematiska idéer hämtade från sannolikhetsteori visade sig vara mycket användbara för att kvantifiera entropi. Dessa idéer används idag inom informationsteori, kemi och många andra områden.

Entropi är med andra ord ett kvantitativt mått på vad termodynamikens andra lag beskriver: spridning av energi tills den är jämnt fördelad. Beroende på sammanhang kan entropi betyda olika saker, till exempel:

• Termodynamiskt mått — mängden energi som inte kan omvandlas till mekaniskt arbete vid en given temperatur.
• Statistiskt mått — antalet mikrotillstånd som motsvarar ett makrotillstånd (ett mått på oordning).
• Informationsteoretiskt mått — osäkerheten i en stokastisk källa (hur mycket information som krävs för att beskriva utfallet).
• Kemisk/teknisk tillämpning — påverkar reaktionsriktning och jämvikt genom samband med fria energier.

Termodynamisk entropi — definition och formler

Inom klassisk termodynamik definieras entropi ofta genom Clausius relationen för en reversibel process:

dS = δQ_rev / T,

där δQ_rev är den värme som tillförs reversibelt och T är den absoluta temperaturen (i kelvin). För en process mellan två tillstånd ges entropiförändringen ofta som integralen av δQ_rev/T över processen.

Den statistiska tolkningen gavs av Ludwig Boltzmann och uttrycks i den berömda formeln:

S = k_B ln W,

där S är entropin, k_B är Boltzmanns konstant (≈ 1,380649×10^−23 J/K) och W är antalet möjliga mikrotillstånd som motsvarar systemets makrotillstånd. Formeln gör tydligt sambandet mellan entropi och sannolikhet: fler möjliga mikrotillstånd ger större entropi.

Informationsteori — Shannon‑entropi

I informationsteorin definierade Claude Shannon ett mått på osäkerhet eller informationsinnehåll i en stokastisk källa. Shannon‑entropin ges av

H = −Σ p_i log p_i,

där p_i är sannolikheten för utfall i och log kan vara i basen 2 (bits) eller e (nats). Shannon‑entropin mäter i genomsnitt hur många bitar som krävs för att koda utfallen från en källa utan förlust. Sambandet mellan termodynamisk entropi och Shannon‑entropi är konceptuellt nära: båda beskriver osäkerhet eller spridning, men de används i olika fysiska och matematiska kontexter.

Enheter och tolkningar

• Termodynamisk entropi har enheten joule per kelvin (J/K).
• Shannon‑entropi anges i bitar (log bas 2), nats (log bas e) eller hartley (log bas 10) beroende på logaritmens bas.
• Entropi är ett tillståndsberoende tillståndstal: det beror endast på systemets tillstånd, inte på hur det kom dit (även om ändringen i entropi kan beräknas via en reversibel väg).

Praktiska exempel och tillämpningar

• Värmeutbredning: När värme sprids från ett varmt föremål till ett kallare ökar entropin totalt sett. Denna ökade entropi speglar att värmeenergin blir mer utspridd.
• Blandningsprocesser: När två gaser blandas spontant ökar entropin eftersom det finns fler möjliga arrangemang för molekylerna.
• Energiomvandlingar: I realistiska energiprocesser omvandlas aldrig all tillförd energi till arbete — en del blir "oanvändbar" värme, vilket kopplas till entropiökning.
• Kemi och biologiska processer: Entropi bidrar till att bestämma om en kemisk reaktion är spontan genom Gibbs fria energi ΔG = ΔH − TΔS (där ΔS är entropiförändringen).
• Information och kodning: Shannon‑entropin bestämmer teoretiska gränser för effektiv kodning och datakompression.

Viktiga begrepp och vanliga frågor

• Kan entropin minska? I ett isolerat system kan entropin inte minska spontant. Lokala minskningar av entropi är möjliga om arbete eller energi tillförs (t.ex. kylning, organisering). Globalt (system + omgivning) ökar eller är entropin oförändrad.
• Maxwell's demon — ett tankeexperiment som förefaller bryta andra lagen genom att sortera snabba och långsamma partiklar utan arbete. Lösningen involverar informationskostnader: insamling och radering av information leder till entropiproduktion, vilket bevarar andra lagen.
• Entropi och liv — levande system upprätthåller hög ordning lokalt genom att använda energi (till exempel från solen). Den lokala ordningen sker på bekostnad av ökad entropi i omgivningen.

Sammanfattning

Entropi är ett mångsidigt och grundläggande begrepp som kvantifierar spridning, oordning och osäkerhet. Inom termodynamiken handlar det om hur energi är fördelad och hur mycket som inte kan utföra arbete; inom informationsteorin handlar det om hur mycket information eller osäkerhet en källa innehåller. Båda tolkningarna bygger på sannolikhet och ger kraftfulla verktyg för att förstå naturens och teknikens processer.

Frågor och svar

F: Vad är entropin hos ett objekt?

F: Vilket är förhållandet mellan entropi och osäkerhet/tillfällighet?

F: Kan entropin hos ett objekt eller system göras mindre utan arbete?

F: Varifrån kommer ordet entropi?

F: Vad mäter entropin kvantitativt?

F: Hur skiljer sig betydelsen av entropi åt inom olika områden?

F: Vilken roll spelar entropin i sannolikhetsberäkningar?

Sök med bokstav