Capitole de articole

Un interviu cu Sander Lestrade despre soluția sa la misterul vechi de secole al legii Zipf

Interviu cu Sander Lestrade despre soluția sa la o problemă lingvistică veche de un secol

Interviu cu Sander Lestrade despre soluția sa la o problemă lingvistică veche de un secol

Legea Zipf este cunoscută de mult timp. A rezistat explicației timp de aproape un secol și a devenit cel mai mare mister din lingvistica computațională. Recent, mass-media a raportat că Sander Lestrade de la Universitatea Radboud din Nijmegen a ajuns la o soluție. Într-un scurt interviu, el explică soluția sa legii Zipf.

lestrade

1. Ai putea, te rog, să descrii pe scurt legea Zipf cititorilor noștri?

Sander Lestrade: Legea lui Zipf prevede că frecvența unui cuvânt dintr-un text poate fi descrisă în funcție de rangul său de frecvență, astfel încât al doilea element cel mai frecvent utilizat este la jumătate la fel de frecvent ca primul (frecvența primul element/2), al treilea cuvânt are o treime din frecvența frecvenței primului articol (frecvența întâi/3) etc. Tot până la cel mai puțin folosit cuvânt care apare o singură dată!

2. Fiecare limbă respectă legea Zipf? Dacă nu, ce limbi nu respectă legea Zipf?

Sander Lestrade: Deși nu am verificat-o eu, lingviștii spun că legea este valabilă pentru fiecare limbă. (Aș prezice că nu este valabil pentru limbile pidgin, totuși, deoarece acestea nu au o gramatică adecvată.)

3. Ai putea, te rog, să ne explici descoperirea ta? Citând din anunț „Dacă înmulțești diferențele de semnificație în cadrul claselor de cuvinte, cu necesitatea fiecărei clase de cuvinte, vei găsi o distribuție Zipfiană magnifică”. Ai putea, te rog, să-l explici puțin mai aproape, care este diferența de sens, cum o cuantifici? Poate că un exemplu vă va ajuta.

Această probabilitate semantică ar trebui multiplicată (literalmente) cu necesitatea unui cuvânt din categoria respectivă. Limbile au reguli care spun cum ar trebui combinate cuvintele. Un verb necesită unul sau două sintagme nominale (sau pronume), o sintagmă nominală vine în general cu un articol etc. Acest lucru se reduce la un număr de clase de cuvinte (cum ar fi verbele, substantivele, pronumele, prepozițiile) care au toate frecvența de utilizare așteptată într-o limbă. Aproximativ, clasele sunt folosite la fel de des, dar diferă în mărime enorm: există doar trei articole în limba engleză, dar zeci de mii de substantive. În consecință, un articol va fi utilizat în medie mult mai frecvent decât un substantiv.

Având în vedere ceea ce tocmai s-a spus despre semnificație, totuși cuvintele nu sunt utilizate la fel de frecvent în clasa lor. Acest lucru depinde de specificația lor de semnificație.

4. Teoria explicării noastre ne spune o oarecare înțelegere de ce sunt limbile construite în acest fel? De ce au distribuție Zipfian și nu o altă distribuție?

Sander Lestrade: Având în vedere clasele de cuvinte care diferă în funcție de mărimea clasei în funcție de ordine sau magnitudine, ar putea fi de așteptat unele legi de putere foarte aspre, precum distribuția. Întrebarea este atunci de ce au limbile mici clase gramaticale și uriașe de lexic. Clasele lexicale sunt ușor de explicat: avem nevoie de multe cuvinte pentru a vorbi despre lucrurile care ne interesează. De ce se dezvoltă clasele gramaticale este mai puțin clar. În opinia mea, acestea sunt produse secundare accidentale ale utilizării limbajului care se dezvoltă numai în timp, nu o parte inerentă a limbajului. Dar nu toată lumea ar fi de acord cu acest lucru;)