مقالات

9.2: التحليل باستخدام فضاءات المتجهات - الرياضيات


لنبدأ بقياس المسافة ، إذا كان (X ) مساحة متجهية ، فإننا نقول إن دالة ذات قيمة حقيقية ( left lVert { cdot} right rVert ) هي القاعدة إذا: ( left ) l عكس {x} right rVert geq 0 ) ، مع ( left lVert {x} right rVert = 0 ) إذا وفقط إذا (x = 0 ). ( left lVert {cx} right rVert = left lvert {c} right rvert left lVert {x} right rVert ) للجميع (c in { mathbb {R}} ) و (x in X ). ( left lVert {x + y} right rVert leq left lVert {x} right rVert + left lVert {y} right rVert ) من أجل all (x، y in X ) (عدم مساواة المثلث). قبل تحديد المعيار القياسي في ({ mathbb {R}} ^ n ) ، دعونا نحدد حاصل الضرب القياسي القياسي على ({ mathbb {R}} ^ n ). لمتجهين إذا (x = (x ^ 1، x ^ 2، ldots، x ^ n) في { mathbb {R}} ^ n ) و (y = (y ^ 1، y ^ 2 ، ldots ، y ^ n) في { mathbb {R}} ^ n ) ، عرّف [x cdot y: = sum_ {j = 1} ^ nx ^ jy ^ j. ] الأمر سهل لنرى أن حاصل الضرب النقطي خطي في كل متغير على حدة ، أي أنه تخطيط خطي عندما تحتفظ بثابت أحد المتغيرات. ثم يتم تعريف القاعدة الإقليدية على أنها [ left lVert {x} right rVert: = sqrt {x cdot x} = sqrt {(x ^ 1) ^ 2 + (x ^ 2) ^ 2 + cdots + (x ^ n) ^ 2}. ] من السهل ملاحظة أن المعيار الإقليدي يلبي (i) و (ii). لإثبات أن (3) تثبت ، عدم المساواة الرئيسية في ما يسمى عدم المساواة كوشي شوارتز التي رأيناها من قبل. نظرًا لأن هذا التفاوت مهم جدًا ، فلنعيد صياغته وإعادة استنساخه باستخدام تدوين هذا الفصل. لنفترض (x، y in { mathbb {R}} ^ n ) ، ثم [ left lvert {x cdot y} right rvert leq left lVert {x} right rVert left lVert {y} right rVert = sqrt {x cdot x} ، sqrt {y cdot y}، ] بالمساواة إذا وفقط إذا كانت المتجهات مضاعفات عددية لبعضها البعض ، إذا كان (x = 0 ) أو (y = 0 ) ، فإن النظرية تظل تافهة. لذا افترض (x not = 0 ) و (y not = 0 ). إذا كان (x ) مضاعفًا عدديًا لـ (y ) ، فهذا هو (x = lambda y ) بالنسبة لبعض ( lambda in { mathbb {R}} ) ، فإن النظرية تنطبق على قدم المساواة: [ left lvert { lambda y cdot y} right rvert = left lvert { lambda} right rvert ، left lvert {y cdot y} right rvert = left lvert { lambda} right rvert ، left lVert {y} right rVert ^ 2 = left lVert { lambda y} right rVert left lVert {y} right rVert. ] بعد ذلك خذ (x + ty ) ، [ left lVert {x + ty} يمين rVert ^ 2 = (x + ty) cdot (x + ty) = x cdot x + x cdot ty + ty cdot x + ty cdot ty = left lVert {x} right rVert ^ 2 + 2t (x cdot y) + t ^ 2 left lVert {y} right rVert ^ 2. ] إذا لم يكن (x ) مضاعفًا عدديًا لـ (y ) ، إذن ( left lVert {x + ty} right rVert ^ 2> 0 ) للجميع (t ). لذا فإن كثير الحدود أعلاه في (t ) ليس صفرًا أبدًا. من الجبر الابتدائي ، يترتب على ذلك أن المميز يجب أن يكون سالبًا: [4 {(x cdot y)} ^ 2 - 4 left lVert {x} right rVert ^ 2 left lVert {y} right r عكس ^ 2 <0، ] أو بعبارة أخرى ({(x cdot y)} ^ 2 < left lVert {x} right rVert ^ 2 left lVert {y} right rVert ^ 2 ). يتبع العنصر (iii) ، متباينة المثلث ، عبر حساب بسيط: [ left lVert {x + y} right rVert ^ 2 = x cdot x + y cdot y + 2 (x cdot y) leq left l عكس {x} right rVert ^ 2 + left lVert {y} right rVert ^ 2 + 2 ( left lVert {x} right rVert + left l عكس {y} right rVert) = {( left lVert {x} right rVert + left lVert {y} right rVert)} ^ 2. ] المسافة (d (x، y): = left lVert {xy} right rVert ) هي دالة المسافة القياسية على ({ mathbb {R}} ^ n ) التي استخدمناها عندما تحدثنا عن المسافات المترية. أي مسافة متجهة (X ) ، بمجرد أن يكون لدينا معيار (أي معيار) ، نحدد المسافة (d (x، y): = left lVert {xy} right rVert ) التي تجعل ( X ) في مساحة مترية (تمرين سهل). دعنا (A in L (X، Y) ). حدد [ left lVert {A} right rVert: = sup { left lVert {Ax} right rVert: x in X ~ text {with} ~ left lVert {x} right rVert = 1 }. ] الرقم ( left lVert {A} right rVert ) يسمى معيار المشغل. سنرى أدناه أنه بالفعل معيار (على الأقل للمساحات ذات الأبعاد المحدودة). بالخطية نحصل على [ left lVert {A} right rVert = sup { left lVert {Ax} right rVert: x in X ~ text {with} ~ left lVert { x} right rVert = 1 } = sup _ { supack {x in X x neq 0}} frac { left lVert {Ax} right rVert} { left lVert { x} right rVert}. ] هذا يعني أنه [ left lVert {Ax} right rVert leq left lVert {A} right rVert left lVert {x} right rVert . ] ليس من الصعب أن نرى من التعريف أن ( left lVert {A} right rVert = 0 ) فقط إذا كان (A = 0 ) ، أي إذا (A ) يأخذ كل متجه إلى المتجه الصفري. بالنسبة للمسافات ذات الأبعاد المحدودة ، يكون ( left lVert {A} right rVert ) دائمًا محدودًا كما نثبت أدناه. هذا يعني أيضًا أن (A ) مستمر. بالنسبة للمساحات ذات الأبعاد اللانهائية ، لا يجب أن يكون أي بيان صحيحًا. للحصول على مثال بسيط ، خذ مساحة المتجه للوظائف القابلة للتفاضل باستمرار على ([0،1] ) وكمعيار استخدم القاعدة الموحدة. الدوال ( sin (nx) ) لها القاعدة 1 ، لكن المشتقات لها معيار (n ). لذا فإن التمايز (وهو عامل خطي) له قاعدة غير محدودة في هذه المساحة. لكن دعونا نتمسك بالمسافات المحدودة الأبعاد الآن. إذا (A in L ({ mathbb {R}} ^ n ، { mathbb {R}} ^ m) ) ، إذن ( left lVert {A } right r عكس < infty ) و (A ) مستمر بشكل منتظم (ليبشيتز مع ثابت ( يسار lVert {A} يمين rVert )). إذا (A، B in L ( { mathbb {R}} ^ n و { mathbb {R}} ^ m) ) و (c in { mathbb {R}} ) ، ثم [ left lVert {A + B} يمين r عكس leq يسار l عكس {A} right rVert + left lVert {B} right rVert ، qquad left lVert {cA} right rVert = left lvert {c} right rvert left lVert {A} right rVert. ] على وجه الخصوص (L ({ mathbb {R}} ^ n، { mathbb {R}} ^ m) ) هي مسافة مترية بمسافة ( left lVert {AB} right rVert ). إذا (A in L ({ mathbb {R}} ^ n ، { mathbb {R}} ^ m) ) و (B in L ({ mathbb {R}} ^ m، { mathbb {R}} ^ k) ) ، ثم [ left lVert {BA} right rVert leq left lVert { B} right r عكس اليسار l عكس {A} right rVert. ] من أجل (i) ، دعنا (x in { mathbb {R}} ^ n ). نحن نعلم أن (A ) يتم تعريفه من خلال عمله على أساس. اكتب [x = sum_ {j = 1} ^ nc ^ j e_j. ] ثم [ left lVert {Ax} right rVert = left lVert { sum_ {j = 1} ^ nc ^ j Ae_j} right r عكس leq sum_ {j = 1} ^ n left lvert {c ^ j} right rvert left lVert {Ae_j} right r back. ] If ( left l عكس {x} right rVert = 1 ) ، فمن السهل رؤية ( left lvert {c ^ j} right rvert leq 1 ) للجميع (j ) ، لذلك [ left lVert {Ax} right rVert leq sum_ {j = 1} ^ n left lvert {c ^ j} right rvert left lVert {Ae_j} right rVert leq sum_ {j = 1} ^ n left lVert {Ae_j} right rVert. ] الجانب الأيمن لا يعتمد على (x ) وهكذا انتهينا ، وجدنا حدًا علويًا محدودًا. بعد ذلك ، [ left lVert {A (x-y)} right rVert leq left lVert {A} right rVert left lVert {x-y} right rVert ] كما ذكرنا أعلاه. لذلك إذا كان ( left lVert {A} right rVert < infty ) ، فهذا يعني أن (A ) هو Lipschitz مع ثابت ( left lVert {A} right rVert ). بالنسبة إلى (ii) ، دعنا نلاحظ أن [ left lVert {(A + B) x} right rVert = left lVert {Ax + Bx} right rVert leq left lVert {Ax} يمين r عكس + يسار l انعكاس {Bx} يمين r عكس leq يسار l عكس {A} يمين r عكس يسار l انعكاس {x} يمين rVert + يسار l عكس {B} يمين r عكس يسار l عكس {x} يمين r عكس = ( left lVert {A} right rVert + left lVert {B} right rVert) left lVert {x} right rVert. ] لذا ( left lVert {A + B} right r عكس leq left lVert {A} right rVert + left lVert {B} right rVert ). وبالمثل [ left lVert {(cA) x} right rVert = left lvert {c} right rvert left lVert {Ax} right rvert leq ( left lvert {c} right rvert left l عكس {A} right rVert) left l عكس {x} right r عكس. ] هكذا ( left l عكس {cA} right r عكس leq اليسار lvert {c} right rvert يسار l انعكاس {A} يمين r انعكاس ). الملاحظة التالية [ left lvert {c} right rvert left lVert {Ax} right rVert = left lVert {cAx} right rVert leq left lVert {cA} right r عكس يسار l عكس {x} يمين r عكس. ] ومن ثم ( left lvert {c} right rvert left lVert {A} right r leq left lVert {cA} يمين r انعكاس ). أن لدينا مساحة مترية تتبعها بسهولة ، وتُترك للطالب. (3) اكتب [ يسار lVert {BAx} يمين r عكس leq يسار lVert {B} يمين r عكس يسار l عكس {المحور} يمين r عكس leq يسار l عكس {B} يمين r عكس يسار l عكس {A} يمين r عكس يسار l عكس {x} يمين r عكس. qedhere ] كقاعدة تحدد المقياس ، قمنا بتعريف طوبولوجيا الفضاء المترية على (L ({ mathbb {R}} ^ n، { mathbb {R}} ^ m) ) حتى نتمكن من التحدث عنها المجموعات المفتوحة / المغلقة والاستمرارية والتقارب. لاحظ أننا حددنا معيارًا فقط على ({ mathbb {R}} ^ n ) وليس على مساحة متجهية محدودة الأبعاد. ومع ذلك ، بعد اختيار القواعد ، يمكننا تحديد معيار على أي مساحة متجهية بنفس الطريقة. لذلك لدينا بالفعل هيكل على أي (L (X، Y) ) ، على الرغم من أن المقياس الدقيق سيعتمد على الأساس الذي تم اختياره. دعنا (U مجموعة فرعية L ({ mathbb {R}} ^ n) ) أن تكون مجموعة العوامل الخطية المعكوسة. إذا (A in U ) و (B in L ({ mathbb {R}} ^ n) ) ، و [ label {eqcontineq} left lVert {AB} right r عكس < frac {1} { left lVert {A ^ {- 1}} right rVert} ، ] ثم (B ) غير قابل للعكس. (U ) مفتوح و (A mapsto A ^ {- 1} ) دالة مستمرة على (U ). يقول الاقتراح أن (U ) مجموعة مفتوحة و (A mapsto A ^ {- 1} ) مستمر على (U ). يجب أن تفكر دائمًا في ({ mathbb {R}} ^ 1 ) ، حيث تكون العوامل الخطية مجرد أرقام (a ). عامل التشغيل (a ) قابل للعكس ( (a ^ {- 1} = nicefrac {1} {a} )) في أي وقت (a not = 0 ). بالطبع (a mapsto nicefrac {1} {a} ) مستمر. عندما (n> 1 ) ، فهناك عوامل أخرى غير قابلة للعكس ، والأشياء بشكل عام أكثر صعوبة ، دعنا نثبت (i). أول حساب مستقيم للأمام [ left lVert {x} right rVert = left lVert {A ^ {- 1} Ax} right rVert leq left lVert {A ^ {- 1}} يمين r عكس يسار l عكس {المحور} يمين r عكس leq اليسار l عكس {A ^ {- 1}} يمين r عكس ( يسار lVert {(AB) x} يمين rVert + يسار l انعكاس {Bx} يمين r عكسي) leq left l عكس {A ^ {- 1}} يمين r عكس يسار l عكس {AB} يمين r عكس يسار l عكس {x} يمين rVert + left lVert {A ^ {- 1}} right rVert left lVert {Bx} right rVert. ] الآن افترض (x neq 0 ) وهكذا ( left lVert {x} right r عكس neq 0 ). باستخدام [eqcontineq] نحصل على [ left lVert {x} right rVert < left lVert {x} right rVert + left lVert {A ^ {- 1}} right rVert left l إرجاع {Bx} يمين r ، ] أو بعبارة أخرى ( left lVert {Bx} right rVert not = 0 ) لجميع العناصر غير الصفرية (x ) ، وبالتالي (Bx ) ليس = 0 ) لجميع (س ) غير صفري. هذا يكفي لمعرفة أن (B ) هو واحد لواحد (إذا (Bx = By ) ، ثم (B (x-y) = 0 ) ، لذلك (x = y )). نظرًا لأن (B ) هو عامل تشغيل واحد لواحد من ({ mathbb {R}} ^ n ) إلى ({ mathbb {R}} ^ n ) فهو موجود وبالتالي غير قابل للعكس. انظر إلى (2). لنفترض أن (B ) يكون قابلاً للعكس وقريبًا من (A ^ {- 1} ) ، أي أن [eqcontineq] راضٍ. في الواقع ، افترض ( left lVert {A-B} right rVert left lVert {A ^ {- 1}} right rVert < nicefrac {1} {2} ). ثم أوضحنا أعلاه (باستخدام (B ^ {- 1} y ) بدلاً من (x )) [ left lVert {B ^ {- 1} y} right rVert leq left عكس {A ^ {- 1}} right r عكس left lVert {AB} right rVert left lVert {B ^ {- 1} y} right rVert + left lVert {A ^ { -1}} يمين r r يسار l انعكاس {y} يمين r عكس leq nicefrac {1} {2} left lVert {B ^ {- 1} y} right rVert + left l عكس {A ^ {- 1}} right r عكس اليسار lVert {y} right rVert، ] أو [ left lVert {B ^ {- 1} y} right rVert leq٪ frac {1} {1- norm {A ^ {- 1}} norm {AB}) norm {A ^ {- 1}} norm {y}. 2 left lVert {A ^ {- 1}} right rVert left lVert {y} right rVert. ] لذا ( left lVert {B ^ {- 1}} right rVert leq 2 left lVert {A ^ {- 1}} right rVert٪ frac { norm {A ^ {- 1}}} {1- norm {A ^ {- 1}} norm { AB})}. ). لاحظ الآن أن [A ^ {- 1} (AB) B ^ {- 1} = A ^ {- 1} (AB ^ {- 1} -I) = B ^ {- 1} -A ^ {- 1} و ] و [ left lVert {B ^ {- 1} -A ^ {- 1}} right rVert = left lVert {A ^ {- 1} (AB) B ^ {- 1}} right r انعكاس leq left l عكس {A ^ {- 1}} يمين r عكس يسار l عكس {AB} يمين r عكس يسار l عكس {B ^ {-1}} right rVert leq٪ frac { norm {A ^ {- 1}} ^ 2} {1- norm {A ^ {- 1}} norm {AB})}٪ القاعدة {AB}٪ leq 2 left lVert {A ^ {- 1}} right rVert ^ 2 left lVert {AB} right rVert. qedhere ] FIXME: استمرارية مصفوفات الفضاء المتجه أخيرًا دعنا نصل إلى المصفوفات ، والتي تعتبر طريقة ملائمة لتمثيل العوامل ذات الأبعاد المحدودة. إذا كان لدينا قواعد ( {x_1 ، x_2 ، ldots ، x_n } ) و ( {y_1 ، y_2 ، ldots ، y_m } ) لمسافات المتجهات (X ) و (Y ) ، فإننا نعلم أن عامل التشغيل الخطي يتم تحديده من خلال قيمه على أساس. بالنظر إلى (A in L (X، Y) ) ، حدد الأرقام ( {a_i ^ j } ) على النحو التالي [A x_j = sum_ {i = 1} ^ m a_j ^ i y_i ، ] واكتبها كمصفوفة [A = begin {bmatrix} a_1 ^ 1 & a_2 ^ 1 & cdots & a_n ^ 1 a_1 ^ 2 & a_2 ^ 2 & cdots & a_n ^ 2 vdots & vdots & ddots & vdots a_1 ^ m & a_2 ^ m & cdots & a_n ^ m end {bmatrix}. ] لاحظ أن أعمدة المصفوفة هي بالضبط المعاملات التي تمثل (A x_j ). دعونا نستمد القاعدة المألوفة لضرب المصفوفات. عندما [x = sum_ {j = 1} ^ n gamma ^ j x_j، ] ثم [A x = sum_ {j = 1} ^ n sum_ { i = 1} ^ m gamma ^ j a_j ^ i y_i ، = sum_ {i = 1} ^ m left ( sum_ {j = 1} ^ n gamma ^ j a_j ^ i right) y_i ، ] مما يؤدي إلى القاعدة المألوفة لضرب المصفوفات. هناك تطابق واحد لواحد بين المصفوفات والعوامل الخطية في (L (X، Y) ). أي بمجرد أن نصلح الأساس في (X ) وفي (Y ). إذا اخترنا أساسًا مختلفًا ، فسنحصل على مصفوفات مختلفة. هذا مهم ، عامل التشغيل (A ) يعمل على عناصر (X ) ، المصفوفة هي شيء يعمل مع (n ) - مجموعات من الأرقام. إذا كان (B ) هو (r ) ) -بواسطة - (م ) مصفوفة بإدخالات (b_k ^ j ) ، ثم مصفوفة (BA ) تحتوي على (i ، k ) الإدخال (c_k ^ i ) [ c_k ^ i = sum_ {j = 1} ^ m b_k ^ ja_j ^ i. ] لاحظ كيف تصطف المؤشرات العلوية والسفلية. التعيين الخطي الذي يغير أساسًا إلى آخر هو مجرد مصفوفة مربعة تمثل فيها الأعمدة الأساس عناصر الأساس الثاني من حيث الأساس الأول. نحن نسمي مثل هذا التعيين الخطي تغييرًا في الأساس. لنفترض الآن أن جميع القواعد هي مجرد القواعد القياسية و (X = { mathbb {R}} ^ n ) و (Y = { mathbb {R}} ^ م ). إذا تذكرنا عدم المساواة Cauchy-Schwarz ، نلاحظ أن [ left lVert {Ax} right rVert ^ 2 = sum_ {i = 1} ^ m { left ( sum_ {j = 1} ^ n جاما ^ j a_j ^ i right)} ^ 2 leq sum_ {i = 1} ^ m { left ( sum_ {j = 1} ^ n {( gamma ^ j)} ^ 2 right) يسار ( sum_ {j = 1} ^ n {(a_j ^ i)} ^ 2 right)} = sum_ {i = 1} ^ m left ( sum_ {j = 1} ^ n {(a_j ^ i)} ^ 2 right) left l انعكاس {x} right rVert ^ 2. ] بمعنى آخر ، لدينا قيد على معيار عامل التشغيل [ left lVert {A} right rVert leq sqrt { sum_ {i = 1} ^ m sum_ {j = 1} ^ n {(a_j ^ i)} ^ 2}. ] إذا انتقلت الإدخالات إلى الصفر ، فعندئذٍ ( left lVert { A} right rVert ) يذهب إلى الصفر. على وجه الخصوص ، إذا كان (A ) إذا تم إصلاحه و (B ) يتم تغييره بحيث تذهب إدخالات (A-B ) إلى الصفر ، فإن (B ) ينتقل إلى (A ) في قاعدة المشغل. هذا هو (B ) يذهب إلى (A ) في طبولوجيا الفضاء المترية التي يسببها معيار المشغل. لقد أثبتنا الجزء الأول من: إذا كانت (f Colon S to { mathbb {R}} ^ {nm} ) دالة مستمرة لمساحة مترية (S ) ، ثم أخذ مكونات (f ) كمدخلات مصفوفة ، (f ) هو تعيين مستمر من (S ) إلى (L ({ mathbb {R}} ^ n ، { mathbb {R}} ^ m ) ). على العكس من ذلك ، إذا كانت (f Colon S L ({ mathbb {R}} ^ n، { mathbb {R}} ^ m) ) دالة متصلة ، فإن إدخالات المصفوفة هي وظائف مستمرة. الجزء الثاني سهل إلى حد ما. خذ (f (x) e_j ) ولاحظ أنها دالة مستمرة لـ ({ mathbb {R}} ^ m ) بمعيار إقليدي قياسي (ملاحظة ( left lVert {(AB) e_j} ) يمين r عكس leq يسار l عكس {AB} يمين r عكس )). تذكر هذه الوظيفة من الفصل الدراسي الماضي أن هذه الوظيفة مستمرة إذا وفقط إذا كانت مكوناتها متصلة وهذه هي مكونات العمود (j ) من المصفوفة (f (x) ). المحددات ستكون من الجيد أن يكون لديك اختبار سهل لمعرفة متى تكون المصفوفة قابلة للعكس. هذا هو المكان الذي تأتي فيه المحددات. حدد أولاً الرمز ( اسم التشغيل {sgn} (x) ) لرقم محدد بواسطة [ operatorname {sgn} (x): = begin {cases} -1 & أرسل رسالة نصية {if $ x <0 $}، 0 & text {if $ x = 0 $}، 1 & text {if $ x> 0 $}. end {cases} ] افترض أن ( sigma = ( sigma_1، ldots، sigma_n) ) هو تبديل الأعداد الصحيحة ((1، ldots، n) ). ليس من الصعب أن نرى أنه يمكن الحصول على أي تبديل من خلال سلسلة من عمليات النقل (تبديل عنصرين). قم باستدعاء تبديل زوجي (على التوالي. فردي) إذا كان الأمر يتطلب عددًا زوجيًا (فرديًا على التوالي) من التحويلات للانتقال من ( سيجما ) إلى ((1 ، ldots ، n) ). يمكن إثبات أن هذا محدد جيدًا ، في الواقع ليس من الصعب إظهار أن [ operatorname {sgn} ( sigma): = operatorname {sgn} ( sigma_1، ldots، sigma_n) = prod_ {p

9.2 - التحليل التمييزي

دع متجه الميزة يكون X وتكون تسميات الفصل Y.

تنص قاعدة Bayes على أنه إذا كان لديك التوزيع المشترك لـ X و Y ، وإذا تم إعطاء X ، تحت 0-1 خسارة ، فإن القرار الأمثل على Y هو اختيار فئة ذات احتمالية لاحقة قصوى معطى X.

ينتمي التحليل التمييزي إلى فرع من طرق التصنيف يسمى النمذجة التوليدية ، حيث نحاول تقدير الكثافة داخل الفئة لـ X نظرًا لتسمية الفئة. بالاقتران مع الاحتمال السابق (الاحتمال غير المشروط) للفئات ، يمكن الحصول على الاحتمال الخلفي لـ Y بواسطة صيغة Bayes.

الرموز

افترض الاحتمال السابق أو pmf الهامشي للفصل ك يشار إليه كـ ( pi_k ) ، ( sum ^_ pi_k = 1 ).

πك عادة ما يتم تقديره ببساطة من خلال الترددات التجريبية لمجموعة التدريب:

لديك مجموعة بيانات التدريب وتحسب النسبة المئوية للبيانات التي تأتي من فصل دراسي معين.

ثم نحتاج إلى الكثافة الشرطية للفئة X. تذكر أن هذه هي كثافة X المشروطة في الفصل ك، أو فئة جي = ك يشار إليها ب (f _ (x) ).

وفقًا لقاعدة بايز ، ما نحتاجه هو حساب الاحتمال اللاحق:

هذا هو الاحتمال الشرطي للفئة جي معطى X.

بواسطة MAP (الحد الأقصى لاحقًا ، أي قاعدة Bayes للخسارة 0-1):

لاحظ أن المقام متطابق بغض النظر عن الفئة ك انت تستخدم. لذلك ، من أجل التعظيم ، لا يحدث فرقًا في اختيار ك. تحاول قاعدة MAP بشكل أساسي تكبير ( pi_k ) مرات (f_k (x) ).


التحليل في Vector Spaces

تعتبر مفاهيم ونظريات التفاضل والتكامل المتقدمة جنبًا إلى جنب مع الأساليب الحسابية ذات الصلة ضرورية لفهم جميع مجالات العلوم الكمية تقريبًا. التحليل في Vector Spaces يقدم النتائج المركزية لهذا الموضوع الكلاسيكي من خلال حجج ومناقشات وأمثلة صارمة. يهدف الكتاب إلى تنمية المعرفة ليس فقط بالنتائج النظرية الرئيسية ، ولكن أيضًا الحدس الهندسي اللازم لحل المشكلات الرياضية والنمذجة في العلوم الرسمية.

يبدأ المؤلفون بمخطط تفصيلي للمفاهيم الأساسية والمصطلحات والتدوين ، كما يقدمون مقدمة أساسية لنظرية المجموعات وخصائص الأعداد الحقيقية ومراجعة للجبر الخطي. نهج أنيق لمشكلات eigenvector والنظرية الطيفية يمهد الطريق لنتائج لاحقة على الحجم والتكامل. تقدم الفصول اللاحقة النتائج الرئيسية للحساب التفاضلي والتكامل لعدة متغيرات بالإضافة إلى نظرية المشعبات. تشمل التغطية الموضعية الإضافية:

  • المجموعات والوظائف
  • الأعداد الحقيقية
  • دالات المتجهات
  • المساحات المتجهية المعيارية
  • المشتقات من الدرجة الأولى والعالية
  • الاختلافات والتشعبات
  • تكاملات متعددة
  • التكامل على الفتحات
  • نظرية ستوكس
  • طوبولوجيا مجموعة النقاط الأساسية

يتم توفير العديد من الأمثلة والتمارين في كل فصل لتعزيز المفاهيم الجديدة ولتوضيح كيفية تطبيق النتائج على مشاكل إضافية. علاوة على ذلك ، يتم تقديم البراهين والأمثلة بأسلوب واضح يؤكد على الأفكار البديهية الأساسية. يتم تقديم أمثلة معاكسة في جميع أنحاء الكتاب للتحذير من الأخطاء المحتملة ، والملاحق الموسعة تحدد الخطوط العريضة لبناء الأرقام الحقيقية ، وتتضمن نتيجة أساسية حول البعد ، وتقدم نتائج عامة حول المحددات.

بافتراض الفهم الأساسي للجبر الخطي وحساب التفاضل والتكامل الفردي المتغير ، التحليل في Vector Spaces هو كتاب ممتاز لدورة ثانية في التحليل لتخصصات الرياضيات والفيزياء وعلوم الكمبيوتر والهندسة على مستوى البكالوريوس والدراسات العليا. كما أنه بمثابة مرجع قيم لمزيد من الدراسة في أي تخصص يتطلب فهمًا راسخًا للتقنيات والمفاهيم الرياضية.


무한 차원 벡터 공간 (فضاء متجه) 의 기저 (أساس)

일반적 으로 $ n $ 차원 벡터 공간(مساحة متجه) $ R ^ n $ 의 표준 기저(أساس قياسي)를 다음 과 같이 정의 한다.

여기서 각각 의 $ i = 1، ، ldots، ، n $ 에 대하여 $ e_i $ 는 $ i $ 번째 성분 이 $ 1 $ 이고 나머지 모든 성분 은 $ 인 $ n $ 차원 벡터 이다. 예 를 들어 $ 3 $ 차원 벡터 공간 $ R ^ 3 $ 는 다음 의 표준 $ B_3 = $ 를 갖는다.

이제 모든 실수 열 들 로 이루어진 벡터 공간 $ R ^ < infty> $ 에 대해 생각해 보자. 위에서 $ R ^ n $ 의 표준 기저 를 정의 했던 것과 유사 하게 ، 각각 의 $ i in N $ 에 대하여 $ e_i $ 를 $ i $ 번째 항이 $ 1 $ 이고 나머지 모든 항 은 $ 인 수열 로 정의 하여 و

를 $ R ^ < infty> $ 의 (표준) 기저 로 정의 하면 될 될 것이라 짐작 해 볼 수 있다. 하지만 이는 틀린 짐작 인데 ، 그 이유 를 확인 하기 위해서는 먼저 기저(أساس)의 정의 를 다시 살펴 보아야 한다. 일반적 으로 선형 대수학 에서 처음 접하는 기저 의 정의 는 다음 과 같다.

벡터 공간 $ V $ 의 원소 들 로 이루어진 "유한" 집합 $ B = $ 가 주어 졌다고 하자. 만약 $ V $ 의 임의 의 원소 $ x $ 에 대하여 ، 스칼라 $ t_1 ، ، t_2 ، ، ldots ، ، t_n $ 이 유일 하게 존재 하여

으로 나타낼 수 있으면، $ B $ 를 $ V $ 의 기저(أساس)라 하고 이 때 의 집합 $ B $ 의 원소 의 개수 를 $ V $ 의 차원(البعد)으로 정의 한다.

의 정의 를 보면 하나 이상한 점 을 발견 할 수 있다. 위 정의 에 의하면 어떤 벡터 공간 의 기저 는 유한 집합 이 여야 하는데 ، 만약 $ V $ 가 무한 차원 벡터 공간 $ V $ 를 생성 하는 유한 집합 이 존재 하지 않기 때문에 ، $ V $ 에 기저 가 존재 하지 않는다는 결론 을 얻는다. 하지만 초른 의 보조 정리(ليما زورن)를 사용 하면، (유한 차원، 무한 차원 에 상관 없이) 임의 의 벡터 공간 이 기저 를 가진다 는 사실 을 증명할 수 있다. [1]

. 그렇다면 무한 차원 벡터 공간 의 기저 어떻게 정의 해야 할까؟

위에서 기저 를 정의 할 때، 집합 $ B $ 가 유한 집합 인 것을 전제 로 하고 있음 을 살펴 보았다. 만약 에 $ B $ 가 무한 집합 이라면 다음 과 같은 무한 선형 결합

를 고려해 주어야 하는데 ، 위 식 의 우변 의 무한 합 을 정의 하기 위해서는 주어진 벡터 공간 에 최소한 위상(البنية)이 주어져야 하기 때문 이다. 따라서 (위상 을 정의 하지 않은) 일반적인 벡터 공간 $ V $ 에 대하여 ، $ V $ 의 부분 집합 $ B $ 가 무한 집합 인 경우 도 고려해 주기 위해 과 같이 기저 의 정의 를 확장 할 필요 가 있다.

정의. 벡터 공간 의 하멜 기저 (أساس هامل)

벡터 공간 $ V $ 의 원소 들 로 이루어진 집합 $ B $ 가 주어 졌다고 하자. (이 때، $ B $ 는 크기 는 유한 또는 무한 이 될 수 있다.) 만약 $ V $ 의 임의 의 원소 $ x $ 에 대하여 ، $ B $ 의 원소 $ e_، ، e_، ، ldots، ، e_$ 과 스칼라 $ t_1، ، t_2، ، ldots، ، t_n $ 이 유일 하게 존재 하여

으로 나타낼 수 있으면، $ B $ 를 $ V $ 의 하멜 기저(أساس هامل)라 하고 이 때 의 집합 $ B $ 의 기수(عدد العناصر في المجموعة)를 $ V $ 의 (하멜) 차원(البعد)으로 정의 한다.

를 택 하면، $ a $ 는 $ B _ < infty> $ 의 원소 들의 "유한" 선형 결합 으로 표현할 수 없음 을 쉽게 확인할 수 있고، 따라서 $ B _ < infty> $ 는 $ R ^ < infty> $ 가 되지 못함 을 보일 수 있다. 그렇다면 새로운 집합 $ B_ < infty> كوب $ 는 $ R ^ < infty> $ 의 기저 가 될 수 있을까؟ 다음 과 같이 실수 열

을 정의 하면، $ b $ 는 $ B_ < infty> cup $ 의 원소 들의 "유한" 선형 결합 으로 표현 이 불가능 하다. 물론 집합을 더 확장하여 $B_ cup $를 고려해 주더라도, 이 집합의 원소들의 "유한"선형결합으로 표현되지 않는 $R^$의 원소가 존재한다. 하지만 이와 같은 과정을 무한히 반복하다보면 언젠가는 $R^$의 (하멜) 기저를 구성할 수 있으리라는 사실 또한 (초른의 보조정리에 의해) 알 수 있다. 그렇다면 $R^$의 기저의 기수는 얼마나 커야 하는 것일까?

벡터공간 $R^$에 적당히 노름(norm)을 정의하면, ($R^$는 모든 수열을 포함하고 있으므로) 자명하게 바나흐 공간이 된다. 그러면 아래 정리에 의해서 $R^$의 기저의 기수는 가산일 수 없음을 보일 수 있다.

무한차원 바나흐 공간은 가산개의 하멜 기저를 가질 수 없다.

증명. $V$가 무한차원 바나흐 공간이라 하고, $V$에 가산개의 하멜 기저 $B$가 존재한다고 가정해 보자. $B$가 가산이므로 $B = < e_1,, e_2,, e_3,, ldots >$와 같이 나타낼 수 있다. 또한 임의의 $x in V$가 $B$의 원소들의 유한선형결합으로 표현이 가능하므로

이 성립한다. 이제 각각의 $n in N$에 대하여, $W_n = operatorname$으로 정의하자. 그러면 각각의 $W_n$은 $V$의 부분집합이면서 유한차원이므로, $V$의 진부분집합(proper subspace)이어야만 한다. 한 편, 임의의 노름공간(normed space)의 진부분집합의 내부(interior)는 공집합이므로, 각각의 $W_n$은 조밀한 곳이 없는 집합(nowhere dense set)임을 알 수 있다.

즉, $V$를 조밀한 곳이 없는 집합의 가산 합집합으로 나타낼 수 있고 이는 $V$가 제1범주(first category)에 속함을 의미한다. 하지만 $V$는 바나흐 공간이므로 제2범주(second category)여야만 하므로, 모순이 발생한다. 따라서 $V$는 가산개의 하멜 기저를 가질 수 없다. .

  1. 사실, 무한차원 바나흐 공간의 (하멜) 차원은 (연속체 가설(continuum hypothesis)의 참/거짓 여부에 상관 없이) 적어도 $abs$ 이상이어야 한다. 이와 같은 이유로, 무한차원 바나흐 공간에서 (하멜) 기저는 거의 이용되지 않는다.
  2. 위의 정리에 의하면, 만약 어떤 벡터공간 $V$의 (하멜) 차원이 가산이라면, $V$에 완비 노름(complete norm)을 정의할 수 없다. 예를 들어 $B_$로 생성되는 벡터공간 (즉, 유한개의 항을 제외한 모든 항이 $인 실수열들을 모아놓은 공간. 이는 다항식을 모두 모아 놓은 벡터공간과 동형이다.) 에는 완비 노름을 정의할 수 없다.

무한차원 벡터공간 $V$에 노름이 주어지지 않은 경우, 유한선형결합만을 이용할 수 밖에 없다는 사실로 인해 하멜 기저를 이용하여 $V$의 성질을 연구하는데 제약이 많다. 반면에, 벡터공간 $V$에 노름 $ orm$을 (좀 더 일반적으로, 위상을) 정의하고 나면, 다음과 같은 무한선형결합

을 정의할 수 있다. 따라서 노름이 정의된 벡터공간에는 위의 무한합을 이용하여 다음과 같이 샤우데르 기저(Schauder basis)를 정의할 수 있다.

정의. 바나흐 공간의 샤우데르 기저(Schauder basis)

가 있다고 하자. 만약 임의의 $x in V$에 대하여, 스칼라로 이루어진 수열 $(t_n)$이 유일하게 존재하여

로 나타낼 수 있을 때, 수열 $B$를 $V$의 샤우데르 기저(Schauder basis)라 한다.

위에서 식 $myblue<(ast)>$의 무한합의 수렴성은 주어진 노름에 의해 결정된다. 즉, 위 식은 스칼라 수열 $(t_n)$이 유일하게 존재하여


MATLAB ASSIGNMENTS (due in discussion session):

  • Assignment #1 Due Friday March 1
  • Assignment #2 Due Friday March 15
  • Assignment #3 Due Friday April 5
  • Assignment #4 Due Friday April 19
  • Assignment #5 Due Friday May 3
  • Midterm 1: Monday February 18th - Exam, Solution
  • Midterm 2: Monday April 1st - Exam, Solution
  • Midterm 3: Monday May 6th - Exam, Solution

Note: The homework assignments below are from the latest 4th edition of Lay's book. Unfortunately, the problems in the 3rd edition are different (so the 3rd edition لا تستطيع be used to complete homework assignments).


Analysis in Vector Spaces

A rigorous introduction to calculus in vector spaces The concepts and theorems of advanced calculus combined with related computational methods are essential to understanding nearly all areas of quantitative science. Analysis in Vector Spaces presents the central results of this classic subject through rigorous arguments, discussions, and examples. The book aims to cultivate.

A rigorous introduction to calculus in vector spaces The concepts and theorems of advanced calculus combined with related computational methods are essential to understanding nearly all areas of quantitative science. Analysis in Vector Spaces presents the central results of this classic subject through rigorous arguments, discussions, and examples. The book aims to cultivate not only knowledge of the major theoretical results, but also the geometric intuition needed for both mathematical problem-solving and modeling in the formal sciences. The authors begin with an outline of key concepts, terminology, and notation and also provide a basic introduction to set theory, the properties of real numbers, and a review of linear algebra. An elegant approach to eigenvector problems and the spectral theorem sets the stage for later results on volume and integration. Subsequent chapters present the major results of differential and integral calculus of several variables as well as the theory of manifolds. Additional topical coverage includes: Sets and functions Real numbers Vector functions Normed vector spaces First- and higher-order derivatives Diffeomorphisms and manifolds Multiple integrals Integration on manifolds Stokes' theorem Basic point set topology Numerous examples and exercises are provided in each chapter to reinforce new concepts and to illustrate how results can be applied to additional problems. Furthermore, proofs and examples are presented in a clear style that emphasizes the underlying intuitive ideas. Counterexamples are provided throughout the book to warn against possible mistakes, and extensive appendices outline the construction of real numbers, include a fundamental result about dimension, and present general results about determinants. Assuming only a fundamental understanding of linear algebra and single variable calculus, Analysis in Vector Spaces is an excellent book for a second course in analysis for mathematics, physics, computer science, and engineering majors at the undergraduate and graduate levels. It also serves as a valuable reference for further study in any discipline that requires a firm understanding of mathematical techniques and concepts.


9.2: Analysis with Vector spaces - Mathematics

Course description: Basic linear algebra matrix arithmetic and determinants. Vector spaces inner product spaces. Eigenvalues and eigenvectors linear transformations symmetric matrices and SVD. Homogeneous ordinary differential equations Fourier series and partial differential equations.

Instructor: Nikhil Srivastava, email: firstname at math.obvious.edu

Please come to office hours or consult with your GSI before sending me email about logistical concerns. As far as possible, please use Piazza for mathematical questions.

Lectures: TTh 5:00-6:30pm, Wheeler 150.

Section: MWF, see list for times

Office Hours: W 5-6:30pm, Th 12:30-2pm (1035 Evans)

Course Control Number: 20365

List of GSI's and Office Hours: txt

  • Thomas Brown, 965 Evans, brown@math.obvious.edu
  • Jennifer Sixt, 964 Evans, jensixt@math.obvious.edu

Online Guidelines, describing how the course will be delivered online

Textbook:Linear Algebra and Differential Equations, ثانية Third Custom Edition for UC Berkeley, by Lay, Nagle, Saff and Snider (includes 5e of Lay and 9e of NSS). picture of the cover

Grading: 5% HW, 15% quizzes, 20% x 2 midterms, 40% final. The bottom three HW and Quiz grades will be dropped, and the lower midterm score will be replaced by the final, if it helps. All exams will be curved. The median grade will be at least a B-. This is not an upperbound if everyone does extremely well, I will be happy to give everyone an A+.

Exams: There will be two in-class midterm exams on Thursday, 2/20، و Tuesday, 4/7. There will be no makeup exams, except for documented medical emergencies.

Quizzes will be held in section every Wednesday. They will cover material up to the preceding Thursday. The quizzes will be substantially easier than the exams, are and designed to regularly check basic understanding of the material, so that you know in case you are falling behind.


Product description

Review

From the Inside Flap

A rigorous introduction to calculus in vector spaces

The concepts and theorems of advanced calculus combined with related computational methods are essential to understanding nearly all areas of quantitative science. Analysis in Vector Spaces presents the central results of this classic subject through rigorous arguments, discussions, and examples. The book aims to cultivate not only knowledge of the major theoretical results, but also the geometric intuition needed for both mathematical problem-solving and modeling in the formal sciences.

The authors begin with an outline of key concepts, terminology, and notation and also provide a basic introduction to set theory, the properties of real numbers, and a review of linear algebra. An elegant approach to eigenvector problems and the spectral theorem sets the stage for later results on volume and integration. Subsequent chapters present the major results of differential and integral calculus of several variables as well as the theory of manifolds. Additional topical coverage includes:

  • Sets and functions
  • Real numbers
  • Vector functions
  • Normed vector spaces
  • First- and higher-order derivatives
  • Diffeomorphisms and manifolds
  • Multiple integrals
  • Integration on manifolds
  • Stokes' theorem
  • Basic point set topology

Numerous examples and exercises are provided in each chapter to reinforce new concepts and to illustrate how results can be applied to additional problems. Furthermore, proofs and examples are presented in a clear style that emphasizes the underlying intuitive ideas. Counterexamples are provided throughout the book to warn against possible mistakes, and extensive appendices outline the construction of real numbers, include a fundamental result about dimension, and present general results about determinants.

Assuming only a fundamental understanding of linear algebra and single variable calculus, Analysis in Vector Spaces is an excellent book for a second course in analysis for mathematics, physics, computer science, and engineering majors at the undergraduate and graduate levels. It also serves as a valuable reference for further study in any discipline that requires a firm understanding of mathematical techniques and concepts.

From the Back Cover

A rigorous introduction to calculus in vector spaces

The concepts and theorems of advanced calculus combined with related computational methods are essential to understanding nearly all areas of quantitative science. Analysis in Vector Spaces presents the central results of this classic subject through rigorous arguments, discussions, and examples. The book aims to cultivate not only knowledge of the major theoretical results, but also the geometric intuition needed for both mathematical problem-solving and modeling in the formal sciences.

The authors begin with an outline of key concepts, terminology, and notation and also provide a basic introduction to set theory, the properties of real numbers, and a review of linear algebra. An elegant approach to eigenvector problems and the spectral theorem sets the stage for later results on volume and integration. Subsequent chapters present the major results of differential and integral calculus of several variables as well as the theory of manifolds. Additional topical coverage includes:

  • Sets and functions
  • Real numbers
  • Vector functions
  • Normed vector spaces
  • First- and higher-order derivatives
  • Diffeomorphisms and manifolds
  • Multiple integrals
  • Integration on manifolds
  • Stokes' theorem
  • Basic point set topology

Numerous examples and exercises are provided in each chapter to reinforce new concepts and to illustrate how results can be applied to additional problems. Furthermore, proofs and examples are presented in a clear style that emphasizes the underlying intuitive ideas. Counterexamples are provided throughout the book to warn against possible mistakes, and extensive appendices outline the construction of real numbers, include a fundamental result about dimension, and present general results about determinants.

Assuming only a fundamental understanding of linear algebra and single variable calculus, Analysis in Vector Spaces is an excellent book for a second course in analysis for mathematics, physics, computer science, and engineering majors at the undergraduate and graduate levels. It also serves as a valuable reference for further study in any discipline that requires a firm understanding of mathematical techniques and concepts.

About the Author

PAUL F.A. BARTHA, PhD, is Associate Professor in the Department of Philosophy at The University of British Columbia, Canada. He has authored or coauthored journal articles on topics such as probability and symmetry, probabilistic paradoxes, and the general philosophy of science.

DZUNG MINH HA, PhD, is Associate Professor in the Department of Mathematics at Ryerson University, Canada. Dr. Ha focuses his research in the areas of ergodic theory and operator theory.


Table of Contents

This book introduces functional analysis to undergraduate mathematics students who possess a basic background in analysis and linear algebra. By studying how the Volterra operator acts on vector spaces of continuous functions, its readers will sharpen their skills, reinterpret what they already know, and learn fundamental Banach-space techniques&mdashall in the pursuit of two celebrated results: the Titchmarsh Convolution Theorem and the Volterra Invariant Subspace Theorem. Exercises throughout the text enhance the material and facilitate interactive study.

Undergraduate students interested in functional analysis and operator theory.

I would recommend this book to anyone seeking a pleasant read on functional analysis. The book elegantly and clearly traverses the varied paths of mathematics (algebraic and analytical, real and complex, finite and transfinite), gently leading the reader to profound and relevant results of modern analysis.

-- Daniel M. Pellegrino, Mathematical Reviews

The author has worked hard to make these topics accessible to undergraduates who have taken (good) courses in linear algebra and real analysis. The exposition is, throughout the book, of very high quality. Shapiro is a talented writer, and he knows how to explain things clearly and engagingly, in easily-digested pieces for an undergraduate audience. it will offer students an accessible, stimulating, and informative look at a beautiful branch of mathematics.


Practice Using Scikit-learn (sklearn)

* In this tutorial I’m using the Python 2.7.5 and Scikit-learn 0.14.1.

The first thing we need to do is to define our set of example documents:

And then we instantiate the Sklearn TF-IDF Vectorizer and transform our documents into the TF-IDF matrix:

Now we have the TF-IDF matrix (tfidf_matrix) for each document (the number of rows of the matrix) with 11 tf-idf terms (the number of columns from the matrix), we can calculate the Cosine Similarity between the first document (“The sky is blue”) with each of the other documents of the set:

ال tfidf_matrix[0:1] is the Scipy operation to get the first row of the sparse matrix and the resulting array is the Cosine Similarity between the first document with all documents in the set. Note that the first value of the array is 1.0 because it is the Cosine Similarity between the first document with itself. Also note that due to the presence of similar words on the third document (“The sun in the sky is bright”), it achieved a better score.

If you want, you can also solve the Cosine Similarity for the angle between vectors:

We only need to isolate the angle () and move the to the right hand of the equation:

The is the same as the inverse of the cosine ().

58.5 is the angle between the first and the third document of our document set.


شاهد الفيديو: أساس الفضاء الجزئي. الرياضيات. المتجهات والفضاء (شهر اكتوبر 2021).