این هفته‌ی اخیر پوست‌ام بگی Ù†Ú¯ÛŒ کنده شد. در واقع قانون Ú©Ù„ÛŒ این است Ú©Ù‡ هر Ú†Ù‡ به آخر ترم نزدیک‌تر می‌شوم، سرعت پوست‌کندگی هم بیش‌تر می‌شود. البته این برای یک برنامه‌ی تحصیلات تکمیلی تقریبا طبیعی است (مثلا در دانش‌گاه تهران هم همین‌طور بود دقیقا. یک ماه اول اولین ترم‌ام بسیار زندگی شیرین بود، بعد به تدریج فشرده‌تر شد). طبیعی می‌نماید Ú©Ù‡ در لیسانس هم همین‌طوری باشد اما تا جایی Ú©Ù‡ به خاطر دارم دقیقا این‌طوری نبود. آخرهای ترم‌ها معمولا خیلی کار داشتم ولی قابل مقایسه با دوره‌های بعدی نبود. در دوران لیسانس کلا کارهای خیلی بیش‌تری می‌کردم: انجمن علمی، فلان جلسات ادبی Ùˆ … ! بگذریم …
آخرین پروژه‌ی این دست بهینه‌سازی مربوط می‌شد بهینه‌سازی‌ی مقید. باید یک SVM را تعلیم می‌دادیم که تعلیم آن منجر می‌شد به یک quadratic problem با قیدهای تساوی و ناتساوی‌ی خطی. تا به حال مسایل بهینه‌سازی‌ی مقید را با روش‌های کلاسیک حل نکرده بودم. تجربه‌ی جالبی بود و البته کمی دردسردار. چند نکته باعث شده بود که این تکلیف کمی بیش‌تر از تکلیف‌های پیشین اذیت‌ام کند: چند جلسه‌ای دیر رفته بودم سر جلسه‌ها و جزوه‌های‌ این بخش‌ام خیلی کامل و دقیق نبود. هم‌چنین کم‌تر از بخش‌های دیگر هم بلدش بودم. به نظر می‌رسد پیاده‌سازی‌ی مناسب این روش‌ها پیچیده‌تر باشد از روش‌های بهینه‌سازی‌ی بدون قید. یعنی برای این‌که این روش‌ها درست کار کند نه تنها الگوریتم‌های نامقیدتان باید درست کار کند (که مثلا برای روش‌ای مثل نیوتون همیشه آسان نیست)، بلکه با دردسرهای طبیعی‌ی روش‌های مقید -که باعث می‌شود مسایل از نظر عددی پیچیده و بدرفتار- نیز سر و کار داریم. مهم‌تر از این‌ها این که وقت خیلی کم‌تری برای این تکلیف داشتم. عملا چهارشنبه شب شروع کردم به برنامه‌نوشتن و گزارش‌اش را هم بعد از تمام شدن مهلت مقرر شروع کردم به نوشتن!!! نتیجه‌اش این شد که تا هفت صبح بیدار بودم. دفعه‌ی اول حدود یک هفته قبل از سر رسیدن مهلت، برنامه‌های‌ام کار می‌کردند. البته خیلی هم تقصیر من نیست چون نمی‌شود گفت خیلی تنبلی هم کرده‌ام.
اما خوش‌بختانه در آخرین لحظات روش‌های‌ام تا حدود قابل قبولی کار کردند. البته باز هم باید مقایسه شود ولی فکر کنم قابل قبول باشند.
اندکی راجع به روش‌هایی که پیاده‌سازی کردم بنویسم. با این‌که با این کارم از فرم معمول ضدخاطرات خارج می‌شوم اما تا این‌جای‌اش هم به اندازه‌ی کافی متفاوت شده است که نوشتن دو تا اسم عجیب و غریب را توجیه کند. یکی از روش‌های‌ام استفاده از augmented Lagrangian بود که یک روش exterior point بر اساس penalization است. این را با دو بهینه‌سازی‌ی نامقید steepest descent و damped newton حل کردم. روش دیگر اسم‌اش خارق‌العاده است: primal-dual interior point log-barrier!!! روش دوست‌داشتنی و هوش‌مندانه‌ای است که خیلی هم خوب کار می‌کند اما عیب‌اش این است که باید از یک راه‌حلی شروع کرد که قیدها را از همان ابتدا تامین کند. در نتیجه به کارگیری‌ی این روش کمی مشکل‌دار می‌شود. اما گویا ملت از این روش خوش‌شان می‌آید و اتفاقا جدیدا بسیار استفاده می‌شود.
به‌ترین پاسخ به دست آمده از آن روش دوم بود Ùˆ روش augmented Lagrangian با damped Newton هم به‌تر از آن دیگری -Ú©Ù‡ تقریبا پرت بود- کار کرد. دیگر چه؟! همین! آها … یک مقدار خاطره‌ی بی‌ربط:
این‌جا سرد شده است. در حدود -۱۵ تا -۲۲ درجه‌ی سانتیگراد است. خب، جالب است! هوا جوری سرد است که به نظرم می‌اید در بینی‌ام کریستال تشکیل می‌شود. حالا باید یک‌بار آینه با خودم ببرم بیرون ببینم دقیقا چه اتفاقی می‌افتد اما حس‌اش این‌طوری است و به نظر یک چیزهایی جدا آن تو یخ می‌زند. خب، البته خیلی هم بد نیست. فعلا می‌توان زنده ماند.