کد خبر: ۵۴۱۶۸
تاریخ انتشار: ۱۳ آذر ۱۴۰۳ - ۱۸:۰۰

هوش مصنوعی با شنیدن صدا عکس می‌سازد

سیستم هوش مصنوعی جدید تصاویری با دقت بالا را براساس کلیپ‌های صوتی از خیابان‌ها می‌سازد.
هوش مصنوعی با شنیدن صدا عکس می‌سازد

مخاطب۲۴- هم اکنون سیستم‌های هوش مصنوعی جلوه‌های صوتی برای تصاویر ساکن از خیابان‌های شهر و اماکن دیگر می‌سازند، اما یک فناوری آزمایشی جدید برعکس این فرایند را انجام می‌دهد.

«یوهائو کانگ» و همکارانش در دانشگاه تگزاس «مدل انتشار صدا به تصویر» (Soundscape-to-Image Diffusion Model) را براساس مخزن داده‌ای از کلیپ‌های صوتی و تصویری ۱۰ ثانیه‌ای آموزش دادند.

بیشتر بخوانید

این کلیپ‌ها شامل تصاویر ثابت و صدا‌های محیطی از ویدئو‌های یوتیوب مربوط به خیابان‌های شهری و حومه‌ای در آمریکای شمالی، آسیا و اروپا بودند. محققان با استفاده از الگوریتم‌های یادگیری عمیق نه تنها به سیستم آموزش دادند چه اصواتی به چه آیتم‌هایی در تصاویر مرتبط است، بلکه چه کیفیت اصواتی با محیط‌های بصری مطابقت دارد.

پس از تکمیل آموزش به سیستم دستور داده شد تصاویری را فقط براساس صدای محیطی ضبط شده از ۱۰۰ ویدئو چشم انداز خیابان بسازد. این سیستم به ازای هر ویدئو یک عکس ساخت.

در مرحله هریک از عکس‌ها همراه ۲ تصویر تولید شده از خیابان‌های دیگر به پنلی از داوران انسانی نشان داده شد و همزمان صدایی که عکس‌ها براساس آن تولید شده بودند نیز پخش شد. هنگامیکه از داوران خواسته شد ۳ عکس مرتبط با صدای شنیده شده را شناسایی کنند، آنها با دقت متوسط ۸۰ درصد این کار را انجام دادند.

همچنین هنگامیکه تصاویر تولید شده با رایانه تحلیل شدند، شباهت نسبی آسمان، سرسبزی محیط و ساختمان‌ها نیز به شدت با نمونه‌هایی در ویدئو‌های اصلی بودند، همخوانی داشت. در واقع حتی در بسیاری از موارد تصاویر شرایط روشنایی در منبع ویدئویی مانند آب وهوای آفتابی، ابری یا آسمان شب را نشان می‌داد.

برچسب ها: هوش مصنوعی
آخرین اخبار
پربازدید ها
تصاویر
صفحه خبر بالای تصاویر
اخبار داغ
وقتی جوانان دل زده، داوطلبِ خیانت می‌شوند! وقتی جوانان دل زده، داوطلبِ خیانت می‌شوند!
موساد هیچ عملیات نفوذ پیچیده‌ای ترتیب نداد؛ هدف، خودش به در زد. پژوهش مشترک «نیروی زمینی آمریکا و دانشگاه کینگ کالج لندن» (۲۰۲۳) نشان می‌دهد ۵۷ ٪ از افشاگران اطلاعاتی خاورمیانه طی دهه اخیر، ابتدا داوطلب تماس بوده‌اند.
جنیفر لارنس و افسردگی پس از زایمان جنیفر لارنس و افسردگی پس از زایمان
جنیفر لارنس در نشست خبری فیلم تازه‌اش در جشنواره کن، با صداقتی بی‌پرده از تجربه شخصی‌اش با مادری و افسردگی پس از زایمان گفت؛ احساسی عمیق از انزوا که به گفته خودش، «شبیه زندگی در سیاره‌ای دیگر» است.
شکار جدید قرمزها! شکار جدید قرمزها!
باشگاه پرسپولیس در ادامه روند سریع نقل و انتقالاتی خود، امشب هم از یک خرید جدید رونمایی خواهد کرد.
اعجوبه ۲۲ ساله‌ای که همه به دنبالش هستند! اعجوبه ۲۲ ساله‌ای که همه به دنبالش هستند!
باشگاه استقلال هم به صف مشتریان جذب محمدمهدی زارع، مدافع جوان گل‌گهر اضافه شد
کارتال حسابی آب و جارو کرد پرسپولیس را! کارتال حسابی آب و جارو کرد پرسپولیس را!
با تصمیم کادر فنی پرسپولیس، امروز نام چهار بازیکن در فهرست خروجی این تیم قرار گرفت.
برهنگی ممنوع برهنگی ممنوع
با تصمیمی که دیروقت اعلام شد، برگزارکنندگان جشنواره فیلم کن ممنوعیت رسمی برهنگی و لباس‌های حجیم را در این مراسم اعلام کردند.
خط‌ونشان کشیدن بابک زنجانی برای خواستگاران سایپا خط‌ونشان کشیدن بابک زنجانی برای خواستگاران سایپا
۲ میلیارد بدهی زنجانی به شرکت نفت بر اساس اعلام رسمی قوه قضائیه تسویه شده و سرمایه او که تا دم اعدام هم رفت، بر سر جای خود باقی ماند. اگر رقم ۳ میلیارد دلار باقی مانده اموال زنجانی درست باشد، او با قیمت دلار ۸۰هزار تومانی، باید حدود ۲۴۰ همت سرمایه داشته باشد. اگر این سرمایه بیش از ۳ میلیارد دلار نباشد.
برگزیده
وقتی جوانان دل زده، داوطلبِ خیانت می‌شوند! وقتی جوانان دل زده، داوطلبِ خیانت می‌شوند!
موساد هیچ عملیات نفوذ پیچیده‌ای ترتیب نداد؛ هدف، خودش به در زد. پژوهش مشترک «نیروی زمینی آمریکا و دانشگاه کینگ کالج لندن» (۲۰۲۳) نشان می‌دهد ۵۷ ٪ از افشاگران اطلاعاتی خاورمیانه طی دهه اخیر، ابتدا داوطلب تماس بوده‌اند.
ایران‌گرایی برای توسعه ایران ایران‌گرایی برای توسعه ایران
جامعه ایرانی امروز به دلایل مختلف از جمله برآمدن نسل‌های تازه و دور شدن از فضای پرشور آرمان‌ها و انقلاب و مقتضیات فضای جنگ، به دنبال بازتعریف خود به عنوان جامعه ایرانی است. این مساله‌ای منحصر به نسل جوان نیست. مساله‌ای پیش روی ایران در مختصات امروز است.
نوکیسه گان مشغول خرابکاری‌اند! نوکیسه گان مشغول خرابکاری‌اند!
نوکیسه‌گی و پیامد‌های مخرب آن نوکیسه‌گانی که فاقد تجربه، دانش و تخصص کافی هستند، با ورود ناگهانی به عرصه‌های تصمیم‌گیری و اقتصادی، موجب بی‌ثباتی سیستم و تغییر معیار‌های ارزش‌گذاری اجتماعی می‌شوند.
صفحه خبر بالای تصاویر