Typisk avvik

I statistikk er standardavviket (også kjent som standardavvik og standardavvik og forkortet med den små greske bokstaven sigma σ eller den latinske bokstaven s , samt av akronymet SD (for standardavvik , i noen tekster oversatt fra engelsk)) er et mål som brukes til å kvantifisere variasjonen eller spredningen av et sett med numeriske data. [ 1 ]

Et lavt standardavvik indikerer at de fleste dataene i en prøve har en tendens til å være gruppert nær gjennomsnittet (også kalt forventet verdi ), mens et høyt standardavvik indikerer at dataene er spredt over et bredere spekter av verdier.

Generelle betraktninger

Grunnformler

Diskret tilfeldig variabel: [ 2 ]

(Aritmetisk gjennomsnitt) (Full befolkning) (utvalg av en populasjon)

Tilsvarende uttrykk:

(Full befolkning) (utvalg av en populasjon)

Kontinuerlig tilfeldig variabel:

Standardavviket til en tilfeldig variabel , statistisk populasjon , datasett eller sannsynlighetsfordeling er kvadratroten av variansen . Det er algebraisk enklere, men i praksis mindre robust , enn gjennomsnittsavviket . [ 3 ]​ [ 4 ]​ En nyttig egenskap ved standardavviket er at det, i motsetning til variansen, er uttrykt i de samme enhetene som dataene det er beregnet fra.

I tillegg til å uttrykke variasjonen til en populasjon, brukes standardavviket ofte for å måle påliteligheten til statistiske konklusjoner. For eksempel bestemmes feilmarginen i meningsmålingsdata ved å beregne forventet standardavvik i resultatene hvis den samme undersøkelsen ble utført flere ganger. Denne tolkningen av standardavviket kalles ofte " standardfeilen " for estimatet eller "standardfeilen for gjennomsnittet" (når det refereres til et gjennomsnitt). Det beregnes som standardavviket for alle gjennomsnittene som ville blitt beregnet fra den populasjonen hvis et uendelig antall prøver ble trukket og gjennomsnittet ble beregnet for hver prøve.

Det er veldig viktig å merke seg at standardavviket til en populasjon og standardfeilen til en statistikk utledet fra den populasjonen (som gjennomsnittet) er ganske forskjellige, men relaterte (relatert med den inverse kvadratroten av antall observasjoner). Feilmarginen for en undersøkelse beregnes ut fra standardfeilen til gjennomsnittet (eller alternativt produktet av populasjonsstandardavviket og inversen av kvadratroten av utvalgsstørrelsen, som er det samme) og er typisk ca. to ganger standardavviket – halve bredden av et 95 prosent konfidensintervall .

I vitenskapen ser mange forskere på standardavviket til eksperimentelle data, og bare effekter som er opptil to standardavvik unna gjennomsnittet anses som statistisk signifikante : normal tilfeldig feil, eller variasjon i målinger, skilles på denne måten fra ekte effekter. eller sannsynlige assosiasjoner. I finans er det også en viktig indikator, siden standardavviket for avkastningen på en investering gir et mål på volatiliteten .

Når bare et utvalg av data fra en populasjon er tilgjengelig, kan begrepet prøvestandardavvik, eller prøvestandardavvik , referere til mengden nevnt ovenfor brukt på disse dataene, eller også til en mengde som det gjøres en justering på som tjener et objektivt estimat av befolkningens standardavvik (det vil si av standardavviket for hele befolkningen).

Grunnleggende eksempler

Prøvestandardavvik av metabolsk hastighet av petrels

Murray Logans bok "Biostatistical Design and Analysis Using R" gir følgende eksempel: [ 5 ]

Naturforskerne Furness og Bryant [ 6 ] målte hvilestoffskiftet til 8 ynglende petreller og 6 hunner. Tabellen viser datasettet innhentet av Furness.

Data innhentet av Furness fra stoffskiftet til nordlige petrels
Kjønn metabolsk nivå Kjønn metabolsk nivå
Mann 525,8 Hunn 727,7
Mann 605,7 Hunn 1086,5
Mann 843,3 Hunn 1091,0
Mann 1195,5 Hunn 1361,3
Mann 1945.6 Hunn 1490,5
Mann 2135,6 Hunn 1956.1
Mann 2308,7
Mann 2950,0
Grafen viser stoffskiftet for menn og kvinner. Ved enkel visuell inspeksjon ser det ut til at variasjonen i stoffskiftet er større for menn enn for kvinner.

Prøvens standardavvik for stoffskifte for hunnsvaler beregnes som følger. Formelen for å beregne prøvens standardavvik er

hvor er de observerte verdiene av prøveelementene, er middelverdien av disse observasjonene, og N er antall observasjoner i prøven.

I prøvens standardavviksformel, for dette eksemplet, er telleren summen av kvadrerte avvik for hvert dyrs metabolske hastighet fra gjennomsnittlig metabolsk hastighet. Følgende tabell viser beregningen av denne summen av kvadrerte avvik for hunnsvaler, hvis sum er 886047,09, som vist i tabellen.

Beregning av kvadratsummen for hunnpetreller
Dyr Kjønn metabolsk nivå Halv Forskjell med gjennomsnittet Forskjellen med gjennomsnittet i annen
1 Hunn 727,7 1285,5 -557,8 311140,84
to Hunn 1086,5 1285,5 -199,0 39601,00
3 Hunn 1091,0 1285,5 -194,5 37830,25
4 Hunn 1361,3 1285,5 75,8 5745,64
5 Hunn 1490,5 1285,5 205,0 42025,00
6 Hunn 1956.1 1285,5 670,6 449704,36
Gjennomsnittlige stoffskiftehastigheter: 1285,5 Summen av kvadratiske forskjeller: 886047.09

Nevneren i utvalgets standardavviksformel er N -1, der N er antall kvinner. I dette eksemplet er det N = 6 hunner, så nevneren er 6-1 = 5. Derfor er utvalgets standardavvik for hunnpetreller

For hannfugler gir en lignende beregning et prøvestandardavvik på 894,37, omtrent det dobbelte av standardavviket for hunner. Grafen viser stoffskiftehastighetsdata, gjennomsnitt (røde prikker) og standardavvik (røde linjer) for menn og kvinner.

Bruken av utvalgets standardavvik innebærer at disse 14 petrellene er et utvalg fra en større populasjon. Hvis disse 14 petrellene omfattet hele populasjonen (hvis de var de siste 14 overlevende petrellene), så kan man snakke om populasjonsstandardavviket , i stedet for utvalgets standardavvik . I formelen for populasjonsstandardavviket er nevneren N i stedet for N -1. Det er ikke alltid mulig å ta målinger av en hel populasjon, så som standard beregner statistisk programvare vanligvis standardavviket til utvalget (det vil si å dele på N -1). Tilsvarende refererer tidsskriftartikler til prøvens standardavvik , med mindre annet er spesifisert.

Populasjonsstandardavvik for poengsum for åtte elever

Anta at hele befolkningen som studeres er åtte spesifikke elever fra en bestemt klasse. For et diskret sett med data bestemmes populasjonsstandardavviket ved å ta kvadratroten av gjennomsnittet i andre av avvikene til de subtraherte verdiene fra middelverdien. Karakterene til klassen på åtte elever (det vil si hele den statistiske populasjonen ) er følgende åtte verdier:

Disse åtte dataene har et gjennomsnitt (gjennomsnitt) på 5:

Først beregnes avvikene til hvert datum fra gjennomsnittet, og resultatet av hvert blir kvadrert :

Variansen er gjennomsnittet av disse verdiene:

og populasjonsstandardavviket er lik kvadratroten av variansen:

Denne formelen er bare gyldig hvis de åtte verdiene som arbeides med utgjør hele populasjonen. Hvis verdiene derimot var et tilfeldig utvalg trukket fra en stor populasjon av studenter (for eksempel var det 8 skårer valgt tilfeldig og uavhengig fra en folketelling på 2 millioner studenter), så ville resultatet blitt oppnådd ved å dele med 7 (som er N − 1) i stedet for med 8 (som er N ) i nevneren til den siste formelen. I så fall vil resultatet av den opprinnelige formelen bli kalt prøvestandardavviket . Å dele med N  - 1 i stedet for med N gir et objektivt estimat av variansen til en større populasjon. Denne modifikasjonen er kjent som Bessel-korreksjonen . [ 7 ]

Eksempel på standardavvik for alderen til seks barn

Slik beregner du standardavviket til et datasett . Dataene representerer alderen til medlemmene i en gruppe barn: {4, 1, 11, 13, 2, 7}

1. Beregn gjennomsnittet eller det aritmetiske gjennomsnittet

I dette tilfellet er n = 6:

      Bytter n med 6:

2. Beregn standardavviket

      Bytter n med 6:       Erstatter 6.33:

Standardavvik for gjennomsnittlig voksen mannlig høyde

Dersom populasjonen som er undersøkt har en tilnærmet normalfordeling, gir standardavviket informasjon om hvor stor andel av observasjonene som faller over eller under visse verdier. For eksempel er gjennomsnittshøyden til voksne menn i USA omtrent 177,8 cm, med et standardavvik på omtrent 7,62 cm. Dette betyr at flertallet av menn (ca. 68 %, forutsatt normalfordeling ) har en høyde innenfor et område på 7,62 cm rundt gjennomsnittet (mellom 170,18 og 185,42 cm), og at nesten alle menn (ca. 95 %) har en høyde innenfor 15,24 cm rundt gjennomsnittet (mellom 162,56 og 193,04 cm), et intervall på to standardavvik av radius. Hvis standardavviket var null, ville alle menn vært nøyaktig 177,8 cm høye (middelverdien). Hvis standardavviket var 50,8 cm, ville menn ha mye mer variable høyder, med et typisk område på omtrent 127 til 228,6 cm. Et intervall på tre standardavvik av radius representerer 99,7 % av populasjonen i utvalget som er studert, forutsatt at den har en normal (klokkeformet) fordeling. Se 68-95-99.7-regelen eller "tommelfingerregel" for mer informasjon.

Definere verdiene til en populasjon

Sannsynlighet

La X være en tilfeldig variabel med middelverdi:

Her betegner operatoren E gjennomsnittet eller den matematiske forventningen til X . Da er standardavviket til X mengden

(utledet ved å bruke egenskapene til gjennomsnittet ).

Med andre ord er standardavviket σ ( σ ) kvadratroten av variansen til X ; det vil si at det er kvadratroten av gjennomsnittsverdien av ( X  -  μ ) 2 .

Standardavviket til en sannsynlighetsfordeling (av en variabel) er det samme som for en tilfeldig variabel som har den fordelingen. Ikke alle tilfeldige variabler har et standardavvik, siden disse verdiene ikke alltid eksisterer. For eksempel er standardavviket til en tilfeldig variabel som følger en Cauchy-fordeling udefinert, fordi dens forventede verdi μ er udefinert.

Diskret tilfeldig variabel

I tilfellet hvor X tar tilfeldige verdier fra et begrenset datasett x 1 , x 2 , ..., x N , med hver verdi som har samme sannsynlighet, er standardavviket

eller ved å bruke notasjonen med en summering ,

Hvis verdiene har forskjellige sannsynligheter i stedet for å ha like sannsynligheter, så har x 1 sannsynlighet p 1 , x 2 har sannsynlighet p 2 , ..., x N har sannsynlighet p N . I dette tilfellet vil standardavviket være

Kontinuerlig tilfeldig variabel

Standardavviket til en reell kontinuerlig tilfeldig variabel X med en sannsynlighetstetthetsfunksjon p ( x ) er

der integralene på x strekker seg over hele settet med mulige verdier til den tilfeldige variabelen  X .

Når det gjelder en parametrisk familie av fordelinger , kan standardavviket uttrykkes i form av parametere. For eksempel, i tilfellet med log-normalfordelingen med parameterne μ og σ 2 , er standardavviket

Standardavvik for kjente sannsynlighetsfordelinger
Fordeling Parametere Beskrivelse Typisk avvik
Bernoulli distribusjon [ 8 ] Diskret fordeling av verdi 0 med sannsynlighet ; og av verdi med sannsynlighet .
Binomialfordeling [ 9 ] Y Fordeling av summen av uavhengige variabler i henhold til Bernoulli-fordelingen av parameter .
Geometrisk fordeling [ 10 ] Diskret fordeling på , slik at sannsynligheten for å oppnå et heltall er .
Kontinuerlig jevn fordeling [ 11 ] Kontinuerlig jevn fordeling på , hvis tetthet er et multiplum av indikatorfunksjonen til .
Eksponentialfordeling [ 11 ] Kontinuerlig jevn fordeling med støtte , hvis tetthet er funksjonen .
Giftfordeling [ 12 ] Fordeling i , hvis tetthet er funksjonen , der .
χ²-fordeling  [ 13 ] Fordeling på , hvis tetthet er funksjonen for alle positive, hvor er gammafunksjonen .
Gammadistribusjon [ 13 ] , og Kontinuerlig sannsynlighetsfordeling, hvis tetthet er funksjonen for alle positive, hvor er gammafunksjonen.

Standardavviket til en enkeltvariabel sannsynlighetsfordeling er lik standardavviket til en tilfeldig variabel med samme fordeling. Ikke alle tilfeldige variabler har et standardavvik, siden de forventede verdiene kanskje ikke eksisterer. For eksempel er standardavviket til en variabel som følger en Cauchy-fordeling udefinert, fordi verdien av gjennomsnittet av fordelingen er udefinert. [ 14 ]

Estimat

Se også: Varians

Det er mulig å finne standardavviket for en hel populasjon i tilfeller hvor verdien av hvert enkelt medlem av en populasjon er kjent. I tilfeller hvor dette ikke lar seg gjøre (vanligvis omhandler svært store populasjoner), estimeres standardavviket σ ved å undersøke et tilfeldig utvalg av populasjonen, og beregne en statistisk behandling av det gitte utvalget, som brukes som et estimat av populasjonen. standardavvik. En slik statistikk kalles en estimator , og estimatoren (eller verdien av estimatoren, nemlig estimatet) kalles utvalgets standardavvik og betegnes s (eventuelt med modifikatorer). I motsetning til tilfellet med å estimere populasjonsgjennomsnittet, der utvalgsgjennomsnittet er en enkel estimator med mange ønskelige egenskaper (uhildet , effektiv og mest sannsynlig), er det ingen enkelt estimator for standardavviket med alle disse egenskapene, og estimering av det objektive standardavviket er et problem med mange tekniske implikasjoner. Mesteparten av tiden beregnes standardavviket ved å bruke det korrigerte prøvestandardavviket (ved bruk av N  - 1, definert nedenfor), og blir ofte referert til som "prøvestandardavviket", uten kvalifikatorer. Andre estimatorer er imidlertid bedre i noen henseender: den ukorrigerte estimatoren (ved bruk av N ) gir en lavere gjennomsnittlig kvadratisk feil, mens bruk av N  − 1,5 (for en normalfordeling) fjerner skjevheten nesten fullstendig.

Ukorrigert standardavvik for en prøve

Formelen for standardavviket til en populasjon (av en endelig populasjon) kan brukes på utvalget ved å bruke utvalgsstørrelsen som populasjonsstørrelsen (selv om den faktiske størrelsen på populasjonen som utvalget er trukket fra er mye større). Denne estimatoren, betegnet med s N , er kjent som det ukorrigerte prøvestandardavviket , eller noen ganger som prøvestandardavviket (betraktet som den totale populasjonen), og er definert som følger:

hvor er de observerte verdiene av prøveelementene og er middelverdien av disse observasjonene, mens nevneren  N representerer prøvestørrelsen: dette er kvadratroten av prøvevariansen, som er gjennomsnittet av kvadrerte avvik fra prøven mener.

Dette er en konsistent estimator (fordi den konvergerer i sannsynlighet til populasjonsverdien når antall prøver når uendelig), og den har maksimal estimert sannsynlighet når populasjonen er normalfordelt.

Den har imidlertid en statistisk skjevhet , siden antallet observasjoner generelt er for lavt. Biasen avtar når prøvestørrelsen øker, avtar som 1/ N , og er dermed mer signifikant for små eller moderate prøvestørrelser; for bias er mindre enn 1 %. Derfor, for svært store prøvestørrelser, er det ukorrigerte prøvestandardavviket generelt akseptabelt. Denne estimatoren har også en gjennomsnittlig kvadratfeil som er jevnt mindre enn det korrigerte prøvestandardavviket.

Ett-utvalg korrigert standardavvik

Hvis den skjeve variansen (det andre sentrale momentet i utvalget, som er et nedadrettet estimat av populasjonsvariansen) brukes til å beregne et estimat av populasjonsstandardavviket, blir resultatet

Her introduserer kvadratroten en ytterligere nedadgående skjevhet, ved Jensens ulikhet , fordi kvadratroten er en konkav funksjon . Variansskjevheten er lett å korrigere, men kvadratrotskjevheten er vanskeligere å korrigere og avhenger av den aktuelle fordelingen.

En upartisk variansestimator oppnås ved å bruke Bessel-korreksjonen ved å bruke N  −1 i stedet for N for å oppnå den objektive utvalgsvariansen , angitt med s 2 :

Denne estimatoren er objektiv hvis variansen eksisterer og utvalgsverdiene trekkes uavhengig med erstatning (det vil si at hvert utvalgt element returneres til populasjonen før neste element velges). N  - 1 tilsvarer antall frihetsgrader til vektoren for avvik fra gjennomsnittet,

Beregning av kvadratroten gjeninnfører en skjevhet (fordi kvadratroten er en ikke-lineær funksjon, som ikke har den kommutative egenskapen med hensyn til gjennomsnittet), og gir det korrigerte prøvestandardavviket , betegnet med s :

Som forklart ovenfor, mens s 2 er en objektiv estimator av populasjonsvariansen, er s fortsatt en partisk estimator for populasjonsstandardavviket, selv om det er markant mindre partisk enn det ukorrigerte prøvestandardavviket. Denne estimatoren er ofte brukt og er generelt kjent ganske enkelt som "prøvestandardavviket". Forspenningen kan fortsatt være stor for små prøver ( N mindre enn 10). Etter hvert som prøvestørrelsen øker, synker biasverdien. Etter hvert som mer informasjon blir tilgjengelig, blir forskjellen mellom og mindre og mindre.

Ett-utvalg objektivt standardavvik

For estimatet av det objektive standardavviket er det ingen formel som fungerer for alle fordelinger, i motsetning til gjennomsnittet og variansen. I stedet brukes s som basis og skaleres med en korreksjonsfaktor for å produsere et objektivt estimat. For eksempel, for normalfordelingen, er en objektiv estimator gitt av s / c 4 , der korreksjonsfaktoren (som avhenger av N ) er gitt i form av gammafunksjonen , og er lik:

Dette er fordi utvalgets standardavviksfordeling følger en (skalert) χ-fordeling , og korreksjonsfaktoren er gjennomsnittet av χ-fordelingen.

En tilnærming kan gis ved å erstatte N  − 1 med N  − 1,5, noe som resulterer i:

Feilen i denne tilnærmingen avtar kvadratisk (som 1/ N 2 ), og er egnet for alle unntatt de minste prøvene eller når det kreves maksimal presisjon: for N = 3 er forspenningen lik 1,3 %, og for N = 9 er forspenningen allerede mindre enn 0,1 %.

En mer nøyaktig tilnærming er å erstatte ovenstående med . [ 15 ] For andre distribusjoner avhenger den riktige formelen av fordelingen, men en tommelfingerregel er å bruke den ytterligere raffineringen av tilnærmingen:

hvor γ 2 betegner kurtose av befolkningen. Den overskytende kurtosis kan være kjent på forhånd for visse distribusjoner, eller estimert fra dataene.

Ett-utvalg standardavvik konfidensintervall

Se også: Sampling error , Variance og Student's t-Distribution .

Standardavviket som oppnås fra et utvalg av en fordeling er ikke helt presist, av matematiske årsaker (i henhold til konfidensintervallet) og av praktiske målingsårsaker (målefeil). Den matematiske effekten kan beskrives ved konfidensintervallet eller CI.

For å vise hvordan et større utvalg gjør konfidensintervallet smalere, kan du vurdere følgende eksempler:

En liten populasjon på N = 2 har bare 1 grad av frihet til å estimere standardavviket. Resultatet er at en 95 % CI av standardavviket strekker seg fra 0,45 ×  s til 31,9 ×  s ; Faktorene her er følgende:

hvor er p -kvantilen til χ²-fordelingen med k frihetsgrader, og er konfidensnivået. Dette tilsvarer følgende:

Med k =1, og . De resiproke kvadratrøttene til disse to tallene gir faktorene 0,45 og 31,9 gitt ovenfor.

En populasjon større enn N = 10 har 9 frihetsgrader til å estimere standardavviket. De samme beregningene som ovenfor gir 95 % KI i dette tilfellet, fra 0,69 × SD til 1,83 × SD. Selv med en populasjon på 10 prøver kan altså det faktiske standardavviket være nesten dobbelt så stort som utvalget. For en populasjon med et utvalg på N = 100, reduseres dette til 0,88 × SD ved 1,16 ×  s . For å være mer sikker på at prøvens standardavvik er nær det virkelige, trengs en prøve med et stort antall datapunkter.

De samme formlene kan brukes til å oppnå konfidensintervaller på variansen av residualene fra minste kvadraters tilpasning i henhold til standard normalteori, der k vil være antall frihetsgrader for feilen.

Identiteter og matematiske egenskaper

Standardavviket er invariant under endringer i opprinnelsen til koordinatene som brukes til å samle inn dataene, og er direkte proporsjonal med skalaen til den tilfeldige variabelen. Derfor, for en konstant c og tilfeldige variabler X og Y :

Standardavviket til summen av to tilfeldige variabler kan relateres til deres individuelle standardavvik og kovariansen mellom dem:

hvor og representerer henholdsvis variansen og kovariansen .

Beregningen av summen av kvadrerte avvik kan relateres til momentene som beregnes direkte fra dataene. I følgende formel tolkes bokstaven E som forventet verdi, det vil si gjennomsnittet.

Prøvestandardavviket kan beregnes som:

For en begrenset populasjon med like sannsynligheter på alle punkter har vi

Dette betyr at standardavviket er lik kvadratroten av differansen mellom gjennomsnittet av kvadratene av verdiene og kvadratet av gjennomsnittsverdien.

Se variansberegningsformelen for et analogt resultat med prøvens standardavvik.

Tolkning og anvendelse

Se også: Prediksjonsintervall og konfidensintervall .

Et stort standardavvik indikerer at datapunktene kan spre seg langt fra gjennomsnittet, og et lite standardavvik indikerer at de er gruppert nær gjennomsnittet.

For eksempel har hver av de tre populasjonene {0, 0, 14, 14}, {0, 6, 8, 14} og {6, 6, 8, 8} et gjennomsnitt på 7. Standardavvikene deres er 7, 5 og 1, henholdsvis. Den tredje populasjonen har et mye mindre standardavvik enn de to andre fordi verdiene alle er nær 7. Standardavviket har de samme enhetene som selve dataene. Hvis for eksempel datasettet {0, 6, 8, 14} representerer alderen til en populasjon på fire søsken i år, er standardavviket 5 år. Som et annet eksempel kan populasjonen {1000, 1006, 1008, 1014} representere avstandene tilbakelagt av fire idrettsutøvere, målt i meter. Den har et gjennomsnitt på 1007 meter og et standardavvik på 5 meter.

Standardavviket kan tjene som et mål på usikkerhet. I fysikk, for eksempel , indikerer standardavviket til et sett med påfølgende målinger av samme størrelse (som lysets hastighet ), nøyaktigheten til disse målingene. For å avgjøre om målinger stemmer overens med en teoretisk prediksjon, er standardavviket til disse målingene av avgjørende betydning: hvis gjennomsnittet av målingene er for langt fra prediksjonen (med denne avstanden målt ved standardavviket), så er teorien som blir testet må trolig revideres. Dette er fornuftig, siden de er utenfor området av verdier som med rimelighet kunne forventes hvis prediksjonen var korrekt og standardavviket var riktig kvantifisert (se prediksjonsintervall ).

Mens standardavviket bestemmer hvor langt dataene er fra gjennomsnittet, er andre mål tilgjengelige. Et eksempel er gjennomsnittsavviket , som kan betraktes som et mer direkte mål på gjennomsnittsavstanden, sammenlignet med roten av kvadrerte avstander som ligger i standardavviket.

Grafisk tolkning

For et begrenset datasett beregnes standardavviket fra kvadratroten av gjennomsnittet av avvikene mellom verdiene og det kvadrerte gjennomsnittet av dataverdiene. [ 16 ]

Den numeriske utviklingen av det grafiske eksemplet vist i illustrasjonen til høyre er inkludert nedenfor:

La karakterene til 8 elever være ( ) 2, 4, 4, 4, 5, 5, 7, 9. Gjennomsnittet av karakterene til de 8 elevene er:

.

Avvikene mellom karakterene og gjennomsnittet av karakterene i annen er:

Variansen eller gjennomsnittet av alle verdier er:

.

Standardavviket eller kvadratroten av variansen er . Det vil si at standardavviket er lik 2. [ 16 ]

Geometrisk tolkning

For å få noen ideer og geometriske avklaringer foreslås en populasjon med tre verdier, x 1 , x 2 og x 3 . Dette definerer et punkt P = ( x 1 , x 2 , x 3 ) i R 3 . Tenk på linjen L = {( r , r , r ): r ∈ R }. Dette er "hoveddiagonalen" som går gjennom origo. Hvis de tre gitte verdiene alle var like, ville standardavviket være null og P ville være ved L . Derfor er det logisk å anta at standardavviket er relatert til avstanden til P fra L. Det er faktisk tilfelle. For å flytte ortogonalt fra L til punkt P , start ved punktet:

hvis koordinater er gjennomsnittet av startverdiene.

Demonstrasjon

Være . er derfor i med

Linjen må være ortogonal på vektoren til en . Derfor:

Ved hjelp av litt algebra vises det at avstanden mellom P og M (som er den samme som den ortogonale avstanden mellom P og linjen L ) er lik standardavviket til vektoren ( x 1 , x 2 , x 3 ), multiplisert med kvadratroten av antall dimensjoner til vektoren (3 i dette tilfellet).

Applikasjonseksempler

Den praktiske verdien av å forstå standardavviket til et sett med verdier ligger i å sette pris på hvor mye det varierer fra gjennomsnittet.

Eksperimenter, bransjetester og hypoteser

Standardavvik brukes ofte til å sammenligne virkelige data med en modell for å teste modellen. For eksempel, i industrielle applikasjoner, kan vekten av produkter som kommer fra en produksjonslinje må oppfylle en lovpålagt verdi. Ved å veie en brøkdel av produktene kan man bestemme en gjennomsnittsvekt som alltid vil være litt forskjellig fra langtidsgjennomsnittet. Ved å bruke standardavviket kan en minimums- og maksimumsverdi beregnes slik at gjennomsnittsvekten faller innenfor en svært høy prosentandel av tiden (99,9 % eller mer). Hvis det faller utenfor området, kan det hende at produksjonsprosessen må korrigeres. Statistiske tester som disse er spesielt viktige når målinger er relativt kostbare. For eksempel hvis produktet må åpnes og tømmes for veiing, eller hvis produktet er endret av testen.

I eksperimentell vitenskap brukes en teoretisk modell av virkeligheten. For eksempel bruker partikkelfysikk konvensjonelt en "5 sigma"-standard for å hevde en oppdagelse. [ 17 ] Et fem sigma-nivå tilsvarer en sjanse på 3,5 millioner for at en tilfeldig svingning vil gi det forutsagte resultatet. Dette nivået av sikkerhet var nødvendig for å hevde at en partikkel i samsvar med Higgs-bosonet hadde blitt oppdaget i to uavhengige eksperimenter utført av European Organization for Nuclear Research , [ 18 ] og dette var også nivået av relevans som førte til erklæringen av deteksjon av gravitasjonsbølger for første gang. [ 19 ]

Meteorologi

Som et enkelt eksempel kan du vurdere de gjennomsnittlige daglige maksimumstemperaturene i to byer, en i innlandet og en på kysten. Det er nyttig å forstå at rekkevidden av daglige høye temperaturer for byer nær kysten er mindre enn for innlandsbyer. Selv om disse to byene kan ha samme gjennomsnittlige maksimumstemperatur, vil standardavviket for den daglige maksimumstemperaturen for kystbyen være mindre enn for innlandsbyen, siden den faktiske maksimaltemperaturen på en bestemt dag er høyere sannsynligvis lenger unna den gjennomsnittlige maksimumstemperaturen i indre by enn i kystbyen.

Finans

I finans brukes standardavviket ofte som et mål på risikoen knyttet til svingninger i prisen på en gitt eiendel (aksjer, obligasjoner, eiendom, etc.), eller med risikoen for en portefølje av eiendeler [ 20 ] (aktivt forvaltede aksjefond, indeksfond eller børshandlede fond). Risiko er en viktig faktor for å bestemme hvordan man effektivt forvalter en investeringsportefølje fordi den bestemmer variasjonen i aktiva og/eller porteføljeavkastning og gir investorer et matematisk grunnlag for å ta investeringsbeslutninger (i henhold til en disiplin kjent som moderne porteføljeteori ). Det grunnleggende konseptet med risiko er at når den øker, bør den forventede avkastningen på en investering også øke, basert på en økning kjent som risikopremien. Med andre ord, investorer bør forvente en høyere avkastning på en investering når den investeringen har et høyere nivå av risiko eller usikkerhet. Ved vurdering av investeringer må investorer estimere både forventet avkastning og usikkerheten til fremtidig avkastning. Standardavviket gir et kvantifisert estimat på usikkerheten til fremtidig avkastning.

Anta for eksempel at en investor må velge mellom to aksjer. Aksje A de siste 20 årene hadde en gjennomsnittlig avkastning på 10 prosent, med et standardavvik på 20 prosentpoeng (pp), og aksje B i samme periode hadde en gjennomsnittlig avkastning på 12 prosent, men et standardavvik høyere enn 30 pp. . Som grunnlag for risiko og avkastning kan en investor bestemme at aksje A er det tryggere alternativet, siden de ytterligere to prosentpoengene av aksje B ikke er verdt de ytterligere 10 pp standardavviket (økt risiko eller avkastningsusikkerhet). Aksje B-er kommer sannsynligvis til kortere enn den opprinnelige investeringen (men overskrider også den opprinnelige investeringen) oftere enn aksje A under samme omstendigheter, og anslås å gi gjennomsnittlig avkastning bare to prosent mer. I dette eksemplet forventes aksje A å tjene rundt 10 prosent, pluss eller minus 20 pp (et område på 30 prosent til -10 prosent), omtrent to tredjedeler av fremtidige års avkastning. Når man vurderer mer ekstrem avkastning eller resultater fremover, bør en investor forvente avkastning på opptil 10 prosent pluss eller minus 60 pp, eller et område på 70 prosent til 50 prosent, som inkluderer resultater innenfor et område på tre avvik. gjennomsnittlig avkastning standard ( 99,7 prosent av sannsynlig avkastning).

Å beregne gjennomsnittet (eller det aritmetiske gjennomsnittet) av ytelsen til et verdipapir i en gitt periode vil generere den forventede ytelsen til eiendelen. For hver periode trekkes forventet avkastning fra de faktiske resultatene fra gjennomsnittet. Ved å kvadrere forskjellen i hver periode og ta gjennomsnittet, oppnås den totale variansen av eiendelens avkastning. Jo større variasjonen er, desto større er risikoen. Å beregne kvadratroten av denne variasjonen gir standardavviket til det aktuelle investeringsverktøyet.

Finansielle tidsserier er kjent for å være ikke-stasjonære serier, mens de ovennevnte statistiske beregningene som standardavvik kun gjelder for stasjonære serier. For å bruke de ovennevnte statistiske verktøyene på ikke-stasjonære serier, må serien først transformeres til en stasjonær serie, som tillater bruk av statistiske verktøy med en gyldig base å arbeide fra i homogene termer.

Regler for data med normalfordeling

Sentral grensesetning

Den sentrale grensesetningen sier at fordelingen av et gjennomsnitt av mange uavhengige og identisk distribuerte tilfeldige variabler tenderer mot den berømte klokkeformede normalfordelingen med en sannsynlighetstetthetsfunksjon

hvor μ er den matematiske forventningen til de tilfeldige variablene, σ er lik standardavviket til fordelingen delt på n 1/2 , og n er antallet tilfeldige variabler. Dermed er standardavviket ganske enkelt en skaleringsvariabel som justerer bredden på kurven, selv om den også vises i normaliseringskonstanten .

Hvis en datafordeling er tilnærmet normal, er andelen dataverdier innenfor z standardavvik av gjennomsnittet definert av:

hvor er feilfunksjonen . Andelen som er mindre enn eller lik et tall, x , er gitt av fordelingsfunksjonen : [ 21 ]

Hvis en datafordeling er tilnærmet normal, vil omtrent 68 prosent av dataverdiene være innenfor ett standardavvik fra gjennomsnittet (matematisk, μ  ±  σ , hvor μ er det aritmetiske gjennomsnittet), i størrelsesorden 95 prosent vil være innenfor to standardavvik, og om lag 99,7 prosent vil være innenfor tre standardavvik (3 σ ). Dette er kjent som 68-95-99.7-regelen , eller tommelfingerregelen .

For ulike verdier av z er prosentandelen av verdier som forventes å være innenfor og utenfor det symmetriske intervallet, CI = (- zσ ,  zσ ), som følger:

Konfidensintervall
_
proporsjon inni proporsjonere ut
Prosentdel Prosentdel Brøkdel
0,318639σ _ 25 % 75 % 3. 4
0,674490σ _ 50  % 50  % 1/2  _
0,994458σ _ 68 % 32 % 1 /  3.125
1σ _ 68,2689492  % 31,7310508  % 1 /  3,1514872
1,281552σ _ 80 % tjue % femten
1,644854σ _ 90 % 10 % 1/10
1,959964σ _ 95 % 5 % 1/20
2σ _ 95,4499736  % 4,5500264  % 1 /  21,977895
2,575829σ _ 99 % 1 % 1/100
3σ _ 99,7300204  % 0,2699796  % 1 /  370.398
3,290527σ _ 99,9  % 0,1  % 1 /  1000
3,890592σ _ 99,99  % 0,01  % 1/10  000
4σ _ 99,993666  % 0,006334  % 1/15  787
4,417173σ _ 99,999  % 0,001  % 1 /  100 000
4,5σ _ 99,9993204653751  % 0,0006795346249  % 3,4 /  1 000 000
( på hver side av gjennomsnittet )
4,891638σ _ 99,9999  % 0,0001  % 1 /  1 000 000
5σ _ 99,9999426697  % 0,0000573303  % 1/1  744 278
5,326724σ _ 99,99999  % 0,00001  % 1 /  10 000 000
5,730729σ _ 99,999999  % 0,000001  % 1 /  100 000 000
_ 99,9999998027  % 0,0000001973  % 1 /  506 797 346
6.109410σ _ 99,9999999  % 0,0000001  % 1 /  1 000 000 000
6,466951σ _ 99,99999999  % 0,00000001  % 1 /  10 000 000 000
6,806502σ _ 99,999999999  % 0,000000001  % 1 /  100 000 000 000
7σ _ 99,99999999997440  % 0,000000000256  % 1 /  390 682 215 445

Chebyshev ulikhet

Enhver gitt observasjon er sjelden mer enn noen få standardavvik fra gjennomsnittet. Chebyshevs ulikhet garanterer at for alle distribusjoner som standardavviket er definert for, er antallet data innenfor en serie standardavvik fra gjennomsnittet minst som angitt i følgende tabell.

Avstand fra gjennomsnittet Minimum Befolkning Dekket
femti%
2σ _ 75 %
3σ _ 89 %
4σ _ 94 %
5σ _ 96 %
6σ _ 97 %
[ 22 ]

Forholdet mellom standardavviket og gjennomsnittet

I beskrivende statistikk er gjennomsnittet og standardavviket til et datasett vanligvis gitt sammen. På en måte er standardavviket et "naturlig" mål på spredningsmål hvis sentrum av dataene måles rundt gjennomsnittet. Dette er fordi standardavviket fra gjennomsnittet er mindre enn fra noe annet punkt. Den nøyaktige uttalelsen er som følger:

Anta at x 1 , ..., x n er reelle tall og definer funksjonen:

Ved å bruke infinitesimalregning eller fullføre kvadratet , er det mulig å vise at σ ( r ) har et unikt minimum i gjennomsnittet:

Variabilitet kan også måles ved variasjonskoeffisienten , som er forholdet mellom standardavviket og gjennomsnittet. Det er en dimensjonsløs størrelse .

Standardavvik for gjennomsnittet

Informasjon om nøyaktigheten av det oppnådde gjennomsnittet er ofte nødvendig. Denne parameteren kan oppnås ved å bestemme standardavviket til prøvegjennomsnittet. Forutsatt statistisk uavhengighet av prøveverdiene, er standardavviket til gjennomsnittet relatert til standardavviket til fordelingen ved:

hvor N er antall observasjoner i utvalget som er brukt for å estimere gjennomsnittet. Dette kan enkelt bevises med (se grunnleggende egenskaper for varians ):

(det antas statistisk uavhengighet av dataene).

Og dermed

Herfra følger det at:

Det skal understrekes at for å estimere standardavviket til gjennomsnittet er det nødvendig å vite standardavviket for hele populasjonen på forhånd . Imidlertid er denne parameteren ukjent i de fleste applikasjoner. For eksempel, hvis en serie på 10 målinger av en tidligere ukjent mengde gjøres i et laboratorium, er det mulig å beregne det resulterende prøvegjennomsnittet og prøvens standardavvik, men det er umulig å beregne standardavviket til gjennomsnittet.

Raske beregningsmetoder

Se også: Algoritmer for beregning av varians

Følgende to formler lar deg beregne et standardavvik ved å legge til data. Et sett med to potenssummer s 1 og s 2 beregnes over et sett med N verdier av x , betegnet som x 1 , ... , x N :

Gitt resultatene av disse løpende summene, kan verdiene N , s 1 , s 2 brukes når som helst for å beregne gjeldende verdi av det løpende standardavviket:

Hvor N , som nevnt ovenfor, er størrelsen på settet med verdier (eller kan også betraktes som s 0 ).

På samme måte, for prøvens standardavvik,

I et dataprogram, når summene av tre s j blir store, må avrundingsfeil og aritmetisk overløp (fra overløp av store tall eller tap av mantisse) vurderes. Følgende metode beregner metoden for summer med reduserte avrundingsfeil. [ 23 ] Dette er en "one pass"-algoritme for å beregne variansen til n samples uten å måtte lagre tidligere data under beregningen. Bruk av denne metoden på en serie returnerer suksessive verdier av standardavviket for n data når n vokser med hver ny prøve, i stedet for en beregning som krever å analysere hele det nye datasettet.

For k = 1, ..., n :

hvor A er middelverdien.

Merk: fra eller

Eksempelavvik:

Befolkningsvariasjon:

Vektet beregning

Når verdiene x i er vektet med ulik vekt w i , beregnes potenssummene s 0 , s 1 , s 2 som:

og standardavviksligningene forblir uendret. Merk at s 0 nå er summen av vektene og ikke antall prøver N .

Den inkrementelle metoden med reduserte avrundingsfeil kan også brukes, med noe ekstra kompleksitet.

En sum av vekter må beregnes for hver k fra 1 til n :

og stedene der 1/ n er brukt ovenfor bør erstattes av w i / W n :

I den siste splitten,

Y

enten

hvor n er det totale antallet elementer, og n' er antallet elementer med vekt som ikke er null. Formlene ovenfor blir de samme som de enklere formlene gitt ovenfor hvis vektene tas til å være lik én.

Historikk

Begrepet standardavvik ble først brukt i en artikkel av Karl Pearson , [ 24 ] i en kommunikasjon til Royal Society [ 25 ] i 1894, selv om han allerede hadde brukt det i sine forelesninger. Denne betegnelsen erstattet andre tidligere navn for den samme ideen: Gauss brukte for eksempel uttrykket mean error . [ 26 ]

Se også

Referanser

  1. Bland, JM; Altman, D.G. (1996). "Statistiske notater: målefeil" . BMJ 312 (7047): 1654. PMC  2351401 . PMID  8664723 . doi : 10.1136/bmj.312.7047.1654 . 
  2. UPTC. Typisk avvik. Formler
  3. Gauss, Carl Friedrich (1816). «Bestimmung der Genauigkeit der Beobachtungen». Zeitschrift für Astronomie und verwandte Wissenschaften 1 : 187-197. 
  4. ^ Walker, Helen (1931). Studier i den statistiske metodens historie . Baltimore, MD: Williams & Wilkins Co.pp. 24-25. 
  5. Logan, Murray (2010), Biostatistical Design and Analysis Using R (Første utgave), Wiley-Blackwell  .
  6. Furness, R.W.; Bryant, D.M. (1996). "Vindens effekt på stoffskiftet til nordlige petrels". Ecology 77 : 1181-1188. doi : 10.2307/2265587 . 
  7. Weisstein, Eric W. Bessels rettelse . I Weisstein, Eric W, red. MathWorld (på engelsk) . WolframResearch . 
  8. Saporta, Gilbert (2006). Probabilités – Analyse des Données et Statistiques . Paris: Editions Technip. s. 30 av 662. 
  9. Saporta, Gilbert (2006). Probabilités – Analyse des Données et Statistiques . Paris: Editions Technip. s. 31 av 622. 
  10. Saporta, Gilbert (2006). Probabilités – Analyse des Données et Statistiques . Paris: Editions Technip. s. 38 av 622. 
  11. ^ a b Saporta, Gilbert (2006). Probabilités – Analyse des Données et Statistiques . Paris: Editions Technip. s. 39 av 622. 
  12. Saporta, Gilbert (2006). Sannsynligheter – Analyse des données et Statistiques . Paris: Editions Technip. s. 33 av 622. 
  13. ^ a b Dodge, Yadolah (2010). The Concise Encyclopaedia of Statistics . New York: Springer. s. 71 av 622. 
  14. Dodge, Yadolah (2010). The Concise Encyclopaedia of Statistics . New York: Springer. s. 60 av 622. 
  15. ^ John Gurland og Ram C. Tripathi (1971), "A Simple Approximation for Unbiased Estimation of the Standard Deviation", The American Statistician 25 (4): 30-32, doi : 10.2307/2682923  .
  16. ↑ a b Martins, Maria Eugénia Graça. "Amostral Padrão Omvei" . Journal of Elementary Science 1 (1) . Hentet 6. februar 2017 . 
  17. «CERN | Accelerating science» . Public.web.cern.ch . Hentet 10. august 2013 . 
  18. ^ "CERN-eksperimenter observerer partikkel i samsvar med lenge søkt Higgs-boson | CERN pressekontor» . Press.web.cern.ch. 4. juli 2012 . Hentet 30. mai 2015 . 
  19. ((LIGO Scientific Collaboration)), ((Virgo Collaboration)) (2016), "Observation of Gravitational Waves from a Binary Black Hole Merger", Physical Review Letters 116 (6): 061102, Bibcode : 2016PhRvL.1216f , 91PM 2216f,  91PM , arXiv : 1602.03837 , doi : 10.1103/PhysRevLett.116.061102  .
  20. ^ "Hva er standardavvik" . Uberørt . Hentet 29. oktober 2011 . 
  21. Eric W. Weisstein. «Distribusjonsfunksjon» . MathWorld – En Wolfram-nettressurs . Hentet 30. september 2014 . 
  22. Ghahramani, Saeed (2000). Fundamentals of Probability (2. utgave). Prentice Hall: New Jersey. s. 438.
  23. ^ Welford, BP (august 1962). "Merknad om en metode for å beregne korrigerte summer av kvadrater og produkter" . Technometrics 4 (3): 419-420. doi : 10.1080/00401706.1962.10490022 . Arkivert fra originalen 2. februar 2017 . Hentet 1. desember 2018 . 
  24. Dodge, Yadolah (2003). Oxford Dictionary of Statistical Terms . Oxford University Press. ISBN  0-19-920613-9 . 
  25. ^ Pearson, Karl (1894). "Om disseksjon av asymmetriske frekvenskurver". Philosophical Transactions of the Royal Society A 185 : 71-110. Bibcode : 1894RSPTA.185...71P . doi : 10.1098/rsta.1894.0003 . 
  26. Miller, Jeff. "Tidligste kjente bruk av noen av ordene i matematikk" . 

Eksterne lenker