هوش مصنوعی واقعا به چه معناست؟ - مجله Smashing

در سال 2024، هوش مصنوعی (AI) با پیشرفت های بزرگ در کانون توجه قرار گرفت. مشکل دستیابی به دانش عمومی و توجه عمومی بسیار سریع این است که این اصطلاح مبهم می شود. در حالی که همه ما تقریبی از معنای "استفاده از هوش مصنوعی" در چیزی داریم، به طور گسترده درک نشده است که داشتن هوش مصنوعی در پروژه، محصول یا ویژگی شما مستلزم چه زیرساختی است.

بنابراین، بیایید مفاهیمی را که هوش مصنوعی را می سازند، تجزیه کنیم تیک بزنید. چگونه داده ها ذخیره و مرتبط می شوند و چگونه روابط به منظور الگوریتم ایجاد می شوند برای یادگیری چگونه به تفسیر کنید آن داده ها؟ مانند اکثر معماری های داده گرا، همه چیز با یک پایگاه داده شروع می شود.

داده ها به عنوان مختصات

ایجاد هوش، چه مصنوعی و چه طبیعی، به روشی بسیار مشابه عمل می کند. ما تکه هایی از اطلاعات را ذخیره می کنیم، و سپس اتصال آنها چندین ابزار تجسم و استعاره این را در یک فضای 3 بعدی با نقاطی که با خطوط روی یک نمودار به هم متصل شده اند نشان می دهد. این ارتباطات و تلاقی آنها چیزی است که هوش را می سازد. مثلاً «شکلات شیرین و خوب است» و «نوشیدن شیر داغ شما را گرم می کند» و «شکلات داغ» را می سازیم.

ما به عنوان انسان، زیاد نگران این نیستیم که مطمئن شویم اتصالات در نقطه درستی قرار می گیرند. مغز ما فقط به این شکل کار می کند، به صورت اظهاری. با این حال، برای ساختن هوش مصنوعی، باید صریح تر باشیم. پس به آن به عنوان یک نقشه فکر کنید. برای اینکه یک هواپیما کشور A را ترک کند و به CountryB برسد، به یک سیستم دقیق نیاز دارد: ما مختصات داریم، 2 محور در نقشه هایمان داریم و می توان آنها را به صورت یک بردار نشان داد: (28.3772, 81.5707).

برای هوش ما به سیستم پیچیده تری نیاز داریم. 2 بعد کافی نیست. ما نیاز داریم هزاران. همین است پایگاه های داده برداری هستند. هوش ما اکنون می تواند عبارات را بر اساس فاصله و/یا زاویه بین آنها به هم مرتبط کند، ارجاعات متقابل ایجاد کند و الگوهایی را ایجاد کند که در آن هر عبارت رخ می دهد.

یک پایگاه داده تخصصی که داده ها را به صورت بردارهایی با ابعاد بالا ذخیره و مدیریت می کند. کارآمد را قادر می سازد جستجوهای شباهت و تطبیق معنایی.

پرس و جو در هر تقریب

همانطور که در جلسه گذشته بیان شد، تطبیق عبارات جستجو (تغییر شما) با داده ها تمرین تطبیق معنایی است (الگویی را ایجاد می کند که در آن کلمات کلیدی در اعلان شما در داده های خود استفاده می شوند) و جستجوی شباهت، فاصله. (زاویه ای یا خطی) بین هر ورودی. این در واقع یک نمایش تقریباً دقیق است. کاری که جستجوی شباهت انجام می دهد این است که هر یک از اعداد را در یک بردار (که هزاران مختصات طول دارد)، یک نقطه در این فضای چند بعدی عجیب تعریف می کند. در نهایت، برای ایجاد شباهت بین هر یک از این نقاط، فاصله و/یا زوایای بین آنها اندازه گیری می شود.

این یکی از دلایلی است که چرا هوش مصنوعی قطعی نیست - ما هم چنین نیستیم - به همین دلیل، جستجو ممکن است بر اساس نحوه تعریف امتیازات در آن لحظه، خروجی های متفاوتی تولید کند. اگر در حال ساختن یک سیستم هوش مصنوعی هستید، الگوریتم هایی وجود دارد که می توانید برای تعیین نحوه ارزیابی داده های خود استفاده کنید.

این می تواند نتایج دقیق و دقیق تری را بسته به نوع داده ایجاد کند. الگوریتم های اصلی مورد استفاده 3 عدد هستند و هر یک از آنها برای نوع خاصی از داده ها عملکرد بهتری دارند، بنابراین درک شکل داده ها و نحوه ارتباط هر یک از این مفاهیم برای انتخاب صحیح مهم است. به روشی بسیار موج دار، در اینجا قانون سرانگشتی برای ارائه سرنخی برای هر یک به شما ارائه می شود:

• شباهت کسینوس
  زاویه بین بردارها را اندازه گیری می کند. بنابراین اگر قدر (عدد واقعی) اهمیت کمتری دارد. برای شباهت متن/معنی عالی است
• محصول نقطه ای
  همبستگی و تراز خطی را می گیرد. برای ایجاد روابط بین چندین نقطه/ویژگی عالی است.
• فاصله اقلیدسی
  فاصله خط مستقیم را محاسبه می کند. برای فضاهای عددی متراکم خوب است زیرا فاصله مکانی را برجسته می کند.

اطلاعات

هنگام کار با داده های غیرساخت یافته (مانند ورودی های متنی: توییت های شما، یک کتاب، چندین دستور غذا، مستندات محصول شما)، شباهت کسینوس راهی برای رفتن است

اکنون که می دانیم چگونه حجم داده ها ذخیره می شوند و روابط ایجاد می شوند، می توانیم درباره نحوه عملکرد هوش صحبت کنیم - اجازه دهید آموزش شروع شود!

مدل های زبان

مدل زبان سیستمی است که برای درک، پیش بینی و در نهایت تولید متنی شبیه انسان با یادگیری الگوهای آماری و روابط بین کلمات و عبارات در مجموعه داده های متنی بزرگ آموزش دیده است. برای چنین سیستمی، زبان به صورت نمایش داده می شود دنباله های احتمالی.

به این ترتیب، یک مدل زبان فوراً قادر به تکمیل کارآمد است (از این رو نقل قول می دهد که 90 درصد کد در گوگل توسط هوش مصنوعی نوشته شده است - تکمیل خودکار)، ترجمه و مکالمه. این وظایف، ثمرات کم اهمیت هوش مصنوعی هستند، زیرا به تخمین احتمال ترکیب کلمات بستگی دارند و با تأیید مجدد و تنظیم الگوها بر اساس بازخورد استفاده (تعادل مجدد نمرات شباهت) بهبود می یابند.

در حال حاضر، ما می دانیم که مدل زبان چیست و می توانیم آنها را به عنوان دسته بندی کنیم بزرگ و کوچک.

مدل های زبان بزرگ (LLM)

همانطور که از نامش می گوید، از مجموعه داده های &mdash در مقیاس بزرگ با میلیاردها پارامتر، مانند تا 70 میلیارد استفاده کنید. این به آنها امکان می دهد متنوع باشند و قادر به ایجاد متنی شبیه انسان در حوزه های مختلف دانش باشند. آنها را به عنوان کلی گرایان بزرگ در نظر بگیرید. این باعث می شود آنها نه تنها همه کاره باشند، بلکه بسیار قدرتمند هستند. و در نتیجه، آموزش آنها مستلزم کار محاسباتی زیادی است.

مدل های زبان کوچک (SLM)

با مجموعه داده کوچکتر، با اعدادی از 100 میلیون تا 3 میلیارد پارامتر. آنها تلاش محاسباتی قابل توجهی کمتری انجام می دهند، که باعث می شود آنها کمتر همه کاره باشند و برای کارهای خاص با محدودیت های تعریف شده تر مناسب تر باشند. SLM ها همچنین می توانند کارآمدتر مستقر شوند و هنگام پردازش ورودی کاربر، استنتاج سریع تری داشته باشند.

تنظیم دقیق

تنظیم دقیق یک LLM شامل تنظیم وزن مدل از طریق آموزش تخصصی اضافی بر روی یک مجموعه داده خاص (با کیفیت بالا) است. اساسا، تطبیق یک مدل از پیش آموزش دیده برای عملکرد بهتر در یک حوزه یا کار خاص.

همانطور که آموزش از طریق اکتشافی در مدل تکرار می شود، درک دقیق تری را امکان پذیر می کند. این بدون ایجاد یک مدل زبان سفارشی برای هر کار منجر به خروجی های دقیق تر و متناسب با زمینه می شود. در هر تکرار آموزشی، توسعه دهندگان نرخ یادگیری، وزن ها و اندازه دسته ای را تنظیم می کنند در حالی که مجموعه داده ای متناسب با آن حوزه دانش خاص ارائه می کنند. البته، هر تکرار به محک زدن مناسب عملکرد خروجی مدل نیز بستگی دارد.

همانطور که در بالا ذکر شد، تنظیم دقیق به ویژه برای به کارگیری یک کار تعیین شده با یک حوزه دانش خاص، به عنوان مثال، ایجاد خلاصه مقالات علمی تغذیه، مرتبط کردن علائم با زیر مجموعه ای از شرایط ممکن و غیره مفید است.

تنظیم دقیق چیزی نیست که بتوان آن را به طور مکرر یا سریع انجام داد و به تکرارهای متعدد نیاز دارد، و برای اطلاعات واقعی در نظر گرفته نشده است، به خصوص اگر به رویدادهای جاری یا اطلاعات جریانی وابسته باشد.

تقویت زمینه با اطلاعات

بیشتر گفتگوهایی که ما داریم مستقیماً به زمینه بستگی دارد. با هوش مصنوعی، تفاوت چندانی ندارد. در حالی که قطعاً موارد استفاده وجود دارد که کاملاً به رویدادهای جاری (ترجمه، خلاصه سازی، تجزیه و تحلیل داده ها و غیره) بستگی ندارد، بسیاری موارد دیگر نیز به آن بستگی دارند. با این حال، هنوز کاملا امکان پذیر نیست که LLM ها (یا حتی SLM ها) به صورت روزانه آموزش ببینند.

برای این، یک تکنیک جدید می تواند کمک کند: بازیابی-نسل افزوده شده (RAG). این شامل تزریق یک مجموعه داده کوچکتر به LLMها به منظور ارائه اطلاعات خاص (و/یا فعلی) بیشتر است. با RAG، LLM بهتر آموزش داده نمی شود. هنوز هم تمام آموزش های عمومی قبلی را دارد - اما اکنون، قبل از اینکه خروجی تولید کند، اطلاعات جدیدی را دریافت می کند تا مورد استفاده قرار گیرد.

اطلاعات

RAG زمینه LLM را بهبود می بخشد و درک جامع تری از موضوع را برای آن فراهم می کند.

برای اینکه RAG به خوبی کار کند، داده ها باید به گونه ای آماده/فرمت شوند که LLM بتواند به درستی آن ها را هضم کند. راه اندازی آن یک فرآیند چند مرحله ای است:

1. بازیابی
   پرس و جو از داده های خارجی (مانند صفحات وب، پایگاه های دانش و پایگاه های داده).
2. پیش پردازش
   اطلاعات تحت پیش پردازش قرار می گیرند، از جمله نشانه گذاری، ریشه یابی و حذف کلمات توقف.
3. نسل پایه
   سپس اطلاعات بازیابی شده از پیش پردازش شده به طور یکپارچه در LLM از پیش آموزش دیده گنجانده می شود.

RAG ابتدا اطلاعات مربوطه را از پایگاه داده با استفاده از پرس و جوی ایجاد شده توسط LLM بازیابی می کند. ادغام یک RAG به یک LLM زمینه آن را افزایش می دهد و درک جامع تری از موضوع را برای آن فراهم می کند. این زمینه افزوده شده، LLM را قادر می سازد تا پاسخ های دقیق، آموزنده و جذاب تری تولید کند.

از آنجایی که دسترسی به اطلاعات تازه را از طریق سوابق پایگاه داده با به روز رسانی آسان فراهم می کند، این رویکرد بیشتر برای پاسخ های داده محور است. از آنجایی که این داده ها مبتنی بر زمینه هستند، دقت بیشتری برای حقایق فراهم می کنند. RAG را به عنوان ابزاری برای تبدیل LLM از یک متخصص عمومی به یک متخصص در نظر بگیرید.

بهبود زمینه LLM از طریق RAG به ویژه برای چت ربات ها، دستیاران، عوامل یا سایر کاربردهایی که کیفیت خروجی مستقیماً به دانش دامنه مرتبط است مفید است. اما، در حالی که RAG استراتژی جمع آوری و «تزریق» داده ها به بافت مدل زبان است، این داده ها به ورودی نیاز دارند، و به همین دلیل است که به معنی نیز نیاز دارد. تعبیه شده است.

جاسازی

برای قابل هضم کردن داده ها توسط LLM، ما باید معنای معنایی هر ورودی را دریافت کنیم تا مدل زبان بتواند الگوها را تشکیل دهد و روابط را برقرار کند. این فرآیند نامیده می شود تعبیه کردن، و با ایجاد یک نمایش برداری استاتیک از داده ها کار می کند. مدل های زبانی مختلف سطوح مختلفی از تعبیه دقیق دارند. به عنوان مثال، می توانید از ابعاد 384 تا 3072 تعبیه هایی داشته باشید.

به عبارت دیگر، در مقایسه با مختصات دکارتی ما در یک نقشه (به عنوان مثال، (28.3772, 81.5707)) تنها با دو بعد، یک ورودی تعبیه شده برای یک LLM از 384 تا 3072 ابعاد دارد.

بیایید بسازیم

امیدوارم این به شما کمک کرده باشد که معنی آن عبارات و فرآیندهایی که اصطلاح "AI" را در بر می گیرد را بهتر درک کنید. اگرچه این فقط سطح پیچیدگی را خراش می دهد. ما هنوز باید در مورد عوامل هوش مصنوعی صحبت کنیم و اینکه چگونه همه این رویکردها برای ایجاد تجربیات غنی تر در هم تنیده می شوند. شاید بتوانیم این کار را در مقاله بعدی انجام دهیم - اگر مایلید در نظرات به من اطلاع دهید!

در ضمن نظرتون رو به من بگید و با این چی میسازید!

مطالعه بیشتر در SmashingMag

(il)