چرا دستگاه‌های لبه‌ای بیشتری در مورد NPUها و پردازنده‌های کمکی صحبت می‌کنند؟ RK3588 در حال حاضر یک SoC قدرتمند 6 TOPS (INT8) است، اما در صحنه‌های پیچیده‌ای مانند استنتاج چند وظیفه‌ای، موازی‌سازی مدل و تجزیه و تحلیل ویدئویی-AI، سقف محاسباتی یک تراشه واحد همچنان وجود دارد. RK1820 دقیقاً برای به عهده گرفتن این بخش از بار و کاهش «اضطراب محاسباتی» SoC اصلی ایجاد شده است. در تجهیزات edge-AI، پردازنده میزبان دیگر به تنهایی مبارزه نمی‌کند. هنگامی که وظایف هوش مصنوعی از ظرفیت زمان‌بندی CPU/NPU سنتی فراتر می‌روند، پردازنده کمکی بی‌صدا وارد عمل می‌شود و بخشی از حجم کاری هوشمند را بر عهده می‌گیرد.
پردازنده کمکی RK1820
RK1820 یک پردازنده کمکی است که برای استنتاج هوش مصنوعی و گسترش محاسبات ساخته شده است. این پردازنده به طور انعطاف‌پذیری با SoCهای میزبان مانند RK3588 و RK3576 جفت می‌شود و از طریق رابط‌های PCIe یا USB با آنها ارتباط کارآمدی برقرار می‌کند.
| دسته بندی قابلیت |
پارامترها و عملکردهای کلیدی |
| معماری پردازنده |
3 هسته RISC-V 64 بیتی؛ 32 کیلوبایت حافظه پنهان L1 I-cache + 32 کیلوبایت حافظه پنهان L1 D-cache در هر هسته، 128 کیلوبایت حافظه پنهان L2 مشترک؛ RISC-V H/F/D-precision FPU |
| حافظه |
2.5 گیگابایت DRAM با پهنای باند بالا روی تراشه + 512 کیلوبایت SRAM؛ پشتیبانی خارجی از eMMC 4.51 (HS200)، SD 3.0، SPI Flash |
| کدک |
رمزگذاری JPEG: 16×16–65520×65520، YUV400/420/422/444؛ رمزگشایی JPEG: 48×48–65520×65520، فرمت‌های YUV/RGB متعدد |
| NPU |
20 TOPS INT8؛ دقت ترکیبی INT4/INT8/INT16/FP8/FP16/BF16؛ چارچوب‌ها: TensorFlow/MXNet/PyTorch/Caffe؛ Qwen2.5-3B (INT4) 67 توکن/ثانیه، YOLOv8n (INT8) 125 FPS |
| ارتباطات |
PCIe 2.1 (2 خط، 2.5/5 گیگابیت بر ثانیه)، USB 3.0 (5 گیگابیت بر ثانیه، مشترک با PCIe) |
| عملکردهای اصلی |
استنتاج Edge-AI (تشخیص / طبقه‌بندی / LLM)، محاسبات عمومی RISC-V، شتاب‌دهی گرافیکی 2 بعدی (مقیاس / چرخش)، امنیت AES/SM4 |
از منظر معماری سیستم تقسیم کار: چه کسی چه کاری انجام می‌دهد؟
در سیستم RK3588 + RK1820، خط لوله وظیفه هوش مصنوعی به یک معماری چهار لایه تجزیه می‌شود:
برنامه → میان‌افزار → اجرای پردازنده کمکی → کنترل و ارائه.
میزبان RK3588: زمان‌بندی وظایف، پیش‌پردازش داده‌ها و خروجی نتایج را انجام می‌دهد و کل گردش کار را مدیریت می‌کند.
پردازنده کمکی RK1820: اختصاص داده شده به استنتاج هوش مصنوعی با محاسبات بالا، متصل به میزبان از طریق PCIe، تشکیل یک مدل همکاری «کنترل سبک + محاسبات سنگین».
| مرحله |
بازیگر |
عمل |
| درخواست برنامه |
RK3588 |
فراخوانی وظیفه هوش مصنوعی از لایه برنامه (تشخیص/شناسایی) |
| اعزام |
ارسال کننده RK3588 |
تصمیم بگیرید که آیا به پردازنده کمکی واگذار شود یا خیر |
| استنتاج |
RK1820 |
محاسبات مدل یادگیری عمیق را اجرا کنید |
| بازگشت |
RK1820 → RK3588 |
نتایج استنتاج را برمی‌گرداند؛ میزبان نمایش می‌دهد یا منطق را ادامه می‌دهد |
1. لایه برنامه: «شروع‌کننده» وظایف هوش مصنوعی
لایه برنامه جایی است که هر وظیفه هوش مصنوعی از آن شروع می‌شود. این لایه، الزامات کاربر - تجزیه و تحلیل تصویر، تشخیص اشیاء، پرسش و پاسخ LLM در لبه و غیره - را به دستورات وظیفه قابل اجرا توسط سیستم ترجمه می‌کند و آنها را از طریق APIهای استاندارد شده به لایه میان‌افزار منتقل می‌کند. این لایه کاملاً توسط میزبان RK3588 مدیریت می‌شود که تعامل کاربر، منطق تجاری و داده‌های جانبی را مدیریت می‌کند.
دریافت وظیفه: دستورات کاربر را از طریق دوربین‌ها، پنل‌های لمسی، اترنت، UART و غیره دریافت می‌کند.
- امنیت هوشمند: تشخیص افراد در فریم‌های ویدئویی
- بازرسی صنعتی: شناسایی عیوب سطحی روی محصولات
- Edge LLM: ورودی صوتی را به متن تبدیل کرده و یک وظیفه پرسش و پاسخ ایجاد می‌کند
استانداردسازی دستور: ورودی غیرساختاری را به پارامترهای وظیفه ساختاری تبدیل می‌کند
- وظیفه دیداری: وضوح ورودی، نسخه مدل، الزامات خروجی
- وظیفه LLM: توکن‌های ورودی، نسخه مدل، حداکثر طول خروجی
2. لایه میان‌افزار: «ارسال‌کننده» وظایف هوش مصنوعی
لایه میان‌افزار، مرکز همکاری است: هر وظیفه را قضاوت می‌کند، منابع را تخصیص می‌دهد، داده‌ها را از قبل پردازش می‌کند و ترافیک اتوبوس را مدیریت می‌کند. این لایه تصمیم می‌گیرد که آیا وظیفه روی میزبان اجرا شود یا به پردازنده کمکی واگذار شود.
فقط RK3588؛ RK1820 هیچ نقشی در پیکربندی PCIe یا مدیریت وقفه ندارد - این پردازنده به سادگی کارهای استنتاجی را که توسط میزبان ارسال شده‌اند، اجرا می‌کند.
طبقه‌بندی و زمان‌بندی وظایف
- پردازش محلی: وظایف با محاسبات کم یا حساس به تأخیر (مقیاس‌بندی تصویر، استنتاج هوش مصنوعی سبک وزن) توسط CPU/NPU/RGA RK3588 انجام می‌شوند.
- واگذاری به RK1820: وظایف با محاسبات بالا (تشخیص چند کلاسه YOLOv8، استنتاج LLM، تقسیم‌بندی معنایی) به RK1820 ارسال می‌شوند. هنگامی که RK1820 وارد عمل می‌شود، CPU/NPU میزبان برای کارهای دیگر آزاد می‌شود.
پیش پردازش داده ها
- دیداری: برش، حذف نویز، نرمال‌سازی، مرتب‌سازی مجدد کانال.
- متن: نشانه‌گذاری، پر کردن، رمزگذاری.
کنترل ارتباطات اتوبوس
- پیوند را از طریق PCIe یا USB3 برقرار می‌کند.
- انتقال داده از DMA استفاده می‌کند، بدون مداخله CPU.
- دستورات کنترل استنتاج را صادر می‌کند: NPU را راه‌اندازی کنید، دقت را تنظیم کنید، وقفه تکمیل را افزایش دهید.
3. لایه اجرای پردازنده کمکی: «موتور محاسباتی» وظایف هوش مصنوعی
این لایه، هسته استنتاج است که منحصراً توسط پردازنده کمکی RK1820 هدایت می‌شود و به استنتاج هوش مصنوعی با محاسبات بالا اختصاص دارد.
RK1820 فعال؛ RK3588 در استنتاج دخالت نمی‌کند، فقط منتظر نتایج است. زمان‌بندی یا استثنائات توسط RK3588 از طریق دستورات بازنشانی PCIe مدیریت می‌شوند.
دریافت و آماده‌سازی وظیفه
داده‌ها، وزن‌های مدل و دستورات ارسال شده توسط RK3588 را دریافت می‌کند. آنها را در DRAM با پهنای باند بالا محلی می‌نویسد، مدل را بارگذاری می‌کند و NPU را پیکربندی می‌کند.
محاسبات استنتاج NPU
- تشخیص اشیاء (YOLOv8n): conv → BN → فعال‌سازی → pool → پس‌پردازش NMS.
- استنتاج LLM (Qwen2.5 3B): توکن‌های ورودی از پیش پر شده → تولید توکن به توکن رمزگشایی.
- بهینه‌سازی استنتاج: ادغام اپراتور، فشرده‌سازی وزن.
بازگشت نتیجه
- مختصات کادر محدودکننده، شناسه کلاس‌ها و نمرات اطمینان را برای تشخیص برمی‌گرداند.
- آرایه توکن را برای LLM برمی‌گرداند.
4. لایه کنترل و ارائه: «خروجی‌دهنده» وظایف هوش مصنوعی
این لایه، پایانه هر وظیفه هوش مصنوعی است: نتایج استنتاج خام را از RK1820 به خروجی بصری یا آماده برای کسب و کار تبدیل می‌کند و حلقه را می‌بندد.
RK3588 فعال؛ RK1820 فقط داده‌های استنتاج خام را ارائه می‌دهد.
پس‌پردازش نتیجه
- مختصات را به اندازه تصویر اصلی ترسیم کنید.
- توکن‌ها را به زبان طبیعی رمزگشایی کنید.
- عیوب را در بازرسی صنعتی بشمارید.
کنترل سیستم و خروجی بازخورد
- امنیت هوشمند: نمایش ویدئو با همپوشانی تشخیص، راه‌اندازی آلارم.
- بازرسی صنعتی: خط فرمان برای رد محصولات معیوب.
- Edge LLM: متن + اعلامیه صوتی را نشان دهید.
ارزش هم‌افزایی: نه فقط سریع‌تر، بلکه هوشمندتر
| مرحله |
بازیگر |
عمل |
| درخواست برنامه |
RK3588 |
فراخوانی وظیفه هوش مصنوعی از لایه برنامه (تشخیص/شناسایی) |
| اعزام |
ارسال کننده RK3588 |
تصمیم بگیرید که آیا به پردازنده کمکی واگذار شود یا خیر |
| استنتاج |
RK1820 |
محاسبات مدل یادگیری عمیق را اجرا کنید |
| بازگشت |
RK1820 → RK3588 |
نتایج استنتاج را برمی‌گرداند؛ میزبان نمایش می‌دهد یا منطق را ادامه می‌دهد |
به زبان ساده: RK3588 نمایش را اجرا می‌کند و همه چیز را در مسیر نگه می‌دارد، در حالی که RK1820 محاسبات خام را ارائه می‌دهد. آنها با هم دستگاه‌های edge-AI را «هوشمندتر، سریع‌تر و بدون دردسر» می‌کنند.
ما را برای اخبار بیشتر RK1820 و به‌روزرسانی‌های SDK، آموزش‌های جدید و نسخه‌های نمایشی آماده اجرا دنبال کنید.
پیام شما باید بین 20 تا 3000 کاراکتر باشد!
