هوش مصنوعی با شنیدن صدا عکس میسازد
سیستم هوش مصنوعی جدید تصاویری با دقت بالا را براساس کلیپهای صوتی از خیابانها میسازد.
مخاطب۲۴- هم اکنون سیستمهای هوش مصنوعی جلوههای صوتی برای تصاویر ساکن از خیابانهای شهر و اماکن دیگر میسازند، اما یک فناوری آزمایشی جدید برعکس این فرایند را انجام میدهد.
«یوهائو کانگ» و همکارانش در دانشگاه تگزاس «مدل انتشار صدا به تصویر» (Soundscape-to-Image Diffusion Model) را براساس مخزن دادهای از کلیپهای صوتی و تصویری ۱۰ ثانیهای آموزش دادند.
بیشتر بخوانید
این کلیپها شامل تصاویر ثابت و صداهای محیطی از ویدئوهای یوتیوب مربوط به خیابانهای شهری و حومهای در آمریکای شمالی، آسیا و اروپا بودند. محققان با استفاده از الگوریتمهای یادگیری عمیق نه تنها به سیستم آموزش دادند چه اصواتی به چه آیتمهایی در تصاویر مرتبط است، بلکه چه کیفیت اصواتی با محیطهای بصری مطابقت دارد.
پس از تکمیل آموزش به سیستم دستور داده شد تصاویری را فقط براساس صدای محیطی ضبط شده از ۱۰۰ ویدئو چشم انداز خیابان بسازد. این سیستم به ازای هر ویدئو یک عکس ساخت.
در مرحله هریک از عکسها همراه ۲ تصویر تولید شده از خیابانهای دیگر به پنلی از داوران انسانی نشان داده شد و همزمان صدایی که عکسها براساس آن تولید شده بودند نیز پخش شد. هنگامیکه از داوران خواسته شد ۳ عکس مرتبط با صدای شنیده شده را شناسایی کنند، آنها با دقت متوسط ۸۰ درصد این کار را انجام دادند.
همچنین هنگامیکه تصاویر تولید شده با رایانه تحلیل شدند، شباهت نسبی آسمان، سرسبزی محیط و ساختمانها نیز به شدت با نمونههایی در ویدئوهای اصلی بودند، همخوانی داشت. در واقع حتی در بسیاری از موارد تصاویر شرایط روشنایی در منبع ویدئویی مانند آب وهوای آفتابی، ابری یا آسمان شب را نشان میداد.
خبرهای مرتبط
0
لینک کپی شد
آخرین اخبار
پربازدید ها
بیانیه باشگاه پرسپولیس پس از شکستهای اخیر 
هیئت مدیره باشگاه پرسپولیس در بیانیهای ، مدیرعامل خود را مامور بررسی علل نتایج کرده و به او اختیار هرگونه تصمیمی را داده است. البته که حدادی از چنین اختیاری برخوردار است اما اشاره به آن کمی مشکوک و سوال برانگیز است
مرحله دوم سهنرخی شدن بنزین
به گفته شرکت ملی پخش فرآوردههای نفتی ایران، در مرحله دوم اجرای مصوبه سهنرخی شدن بنزین، مالکان چند خودرویی باید تا ۲۷ بهمن ۱۴۰۴ خودروی مشمول دریافت سهمیه را در سامانه معرفی کنند.
فیلم| تمرینات سخت نظامی ملکه هلند
ملکه ماکسیما، همسر آرژانتینیتبار پادشاه ویلم-الکساندر، در ۵۴ سالگی آموزش نظامی را آغاز کرده تا بهعنوان عضو ذخیره ارتش هلند فعالیت کند.
نسل جدید قایقهای تهاجمی ایران، چرا ناوهای آمریکا از «زنبورهای سرخ» میترسند؟
شناورهای تندرو ایرانی موسوم به «زنبورهای سرخ» با تاکتیک ازدحامی خود معادلات نبرد دریایی در خلیج فارس را تغییر داده و ناوهای آمریکا را غافلگیر کردهاند
رئیس مجلس: حقوقها میتواند سالی ۲ بار افزایش پیدا کند
قالیباف در جريان بررسی بودجه ۱۴۰۵ با تأکید بر اینکه حقوقها میتواند ۲ بار در سال افزایش پیدا کند؛ گفت: مالیات حقوق بگیران زیر ۴۰ میلیون تومان از سال آینده صفر خواهد شد و بخش عمده کارمندان و کارگران مشمول کالابرگ میشوند. مالیات بر ارزش افزوده قشر ضعیف می تواند صفر شود
آغاز فروش بدون قرعهکشی ایرانخودرو
طبق وعده ایرانخودرو در این مرحله از فروش هر متقاضی که زودتر مراحل ثبتنام را انجام دهد، بدون قرعهکشی صاحب خودرو میشود.
تیم اماراتی برای بازیکن جوان پرسپولیس پیشنهاد داد
تیم شارجه در ادامه مسیر جذب بازیکنان ایرانی، به دنبال آن است تا یعقوب براجعه را به عضویت تیم خود در بیاورد.
برگزیده
بحث مجری تلوزیون با کارشناس هواشناسی در خصوص پیش بینی غلط
تصاویر لحظات بحث مجری تلوزیون با کارشناس هواشناسی بخش خبر صدا و سیما
مجری تلویزیون گفت: آقای سرکرده پیشبینی شما درمورد بارشهای هفتۀ گذشته درست از آب درنیامد.
موتورسواری بانوان آزاد شد!
معاون امور خانواده و زنان ریاستجمهوری از نهایی شدن موضوع صدور گواهینامه موتورسواری برای زنان خبر داد.
فیلم+ اظهارات رئیس بیمارستان فارابی در مورد مجروحان چشمی ناآرامیهای اخیر
رئیس بیمارستان فارابی درباره مجروحان حوادث اخیر گفت: در مجموع، حدود ۱۰۰۰ بیمار مراجعه کردهاند که پارگی چشم داشتند و نیازمند عمل اورژانسی بودند. این آمار به جز پارگی پلک و بیمارانی است که در حال حاضر به عمل جراحی نیاز ندارند.