الگوریتم تصمیم می‌گیرد و یک انسان زیر چرخ‌های بی‌رحم آن جان می‌دهد؛ این روایت تاریک از اولین قربانیان فناوری است که قرار بود جاده‌ها را امن کند.
مارس ۲۰۱۸، تمپه، آریزونا. ساعت از ۱۰ شب گذشته بود و خیابان‌های خلوت با نور چراغ‌های خیابان خط کشیده شده بودند. در یکی از همین خیابان‌ها، «ایلین هِرزبرگ»، زنی ۴۹ ساله، راهش را می‌پیمود و دوچرخه‌اش را هل می‌داد؛ کیسه‌های خرید روی دوچرخه آویزان بود. هیچ‌کس نمی‌دانست این آخرین عبور او خواهد بود.خودروی آزمایشی اوبر که در حالت تمام‌خودران حرکت می‌کرد، با سرعت حدود ۶۵ کیلومتر در ساعت به او برخورد کرد. سیستم هوش مصنوعی خودرو در آن لحظه نتوانست حضور هِرزبرگ را شناسایی کند؛ الگوریتم او را به عنوان «شیء ناشناس» و سپس «دوچرخه» دسته‌بندی کرد و هیچ ترمزی برای جلوگیری از برخورد انجام نداد. راننده‌ی حفاظتی داخل خودرو هم در همان لحظه مشغول نگاه به تلفن همراه خود بود.

این تازه آغاز ماجراست!

در پی آن حادثه، رئیس پلیس تمپه، سیلویا مویر، در مصاحبه‌ای با سان‌فرانسیسکو کرونیکل گفت که به‌صورت مقدماتی «ظاهراً این تصادف اجتناب‌ناپذیر به‌نظر می‌رسد» و اشاره کرد که او (پلیس) شرایط را بر اساس فیلم کابین خودرو بررسی کرده؛ اما همین اظهار نظر اولیه بعدها از سوی ناظران به‌عنوان قضاوتی شتاب‌زده خوانده شد و تحلیل‌های بعدی ضعف‌های فنی و نقش «راننده‌ی حفاظتی» داخل خودرو را پررنگ کردند.پرونده‌ی هِرزبرگ فقط یک رخداد تلخ نبود؛ نشانگر یک گسست عمیق میان تبلیغاتِ بی‌پروا دربارهٔ «خودرانِ کامل» و واقعیتِ فنیِ پیچیده در خیابان‌های واقعی بود. و بعد، اوبر توافقی با خانواده برقرار کرد و پرونده‌ها تا حدی به‌صورت مالی حل‌وفصل شد؛ نشانه‌ای که در بسیاری از این پرونده‌ها مسئله اصلی یعنی عدالت عمومی و پاسخگویی شفاف، به‌ نفع توافق‌های خصوصی کنار گذاشته می‌شود. وکیل خانواده در بیانیه‌ای کوتاه اعلام کرد:«این ماجرا حل و فصل شده است.»
این جمله ساده، نشان‌دهنده‌ی پایان رسمی پرونده بود، اما همچنان پرسش‌های اخلاقی و قانونی باقی ماند: چه کسی مسئول بود؟ نرم‌افزار یا انسان؟ و چه تدابیری می‌توانست جلوی این تراژدی را بگیرد؟کارشناسان هوش مصنوعی و حمل و نقل می‌گویند این حادثه، یک هشدار جدی به جامعه جهانی است. لورل میجر ، مدیر فنی شرکت موشنال در این خصوص می‌گوید: «مردم فکر می‌کنند خودروهای خودران باید بسیار بهتر از رانندگان انسانی باشند، زیرا وقتی تصادفی رخ می‌دهد و یک کامپیوتر در آن دخیل است، همدلی یا درک کمتری وجود دارد.» این انتظار عمومی، فشار بیشتری بر فناوری وارد می‌کند و هر خطای آن، به شدت زیر ذره‌بین قرار می‌گیرد.این نقطه‌ی آغاز بحران اعتماد به فناوری خودران بود. رسانه‌ها، کارشناسان و فعالان حقوق مصرف‌کننده همگی بر این موضوع تاکید کردند که خودروهای خودران هنوز نمی‌توانند به‌طور کامل پیچیدگی و غیرقابل‌پیش‌بینی بودن جاده‌های واقعی را مدیریت کنند.در همان روزها، تحلیلگران هشدار دادند که شرکت‌های فناوری نباید تنها به وعده‌های بازاریابی و تبلیغاتی متکی باشند، بلکه باید شفافیت کامل در عملکرد و محدودیت‌های سیستم ارائه کنند.

وقتی اتوپایلوت قاتل می‌شود: پرونده تسلا و درس‌های تلخ

چند سال پیش از هِرزبرگ، در می ۲۰۱۶، تصادف جان‌سوز دیگری رخ داد که ماهیت تهدیدآمیز این فناوری را برملا کرد. «جاشوا براون»، افسر سابق نیروی دریایی آمریکا، پشت فرمان تسلا مدل اس (S) نشسته بود و حالت خلبان خودکار را فعال کرده بود.براون که ۴۰ ساله بود، از فناوری جدید برای کاهش خستگی رانندگی استفاده می‌کرد و به قول خودش «به تکنولوژی اعتماد داشت». ناگهان، خودرو در بزرگراه فلوریدا به سمت یک تریلر ۵۳ فوتی سفید که جلوی آن پیچیده بود، رفت. سیستم سنسور و الگوریتم تسلا قادر به تشخیص تریلر در پس‌زمینه آسمان نبود؛ ترمز به‌موقع اعمال نشد و براون در همان لحظه جان خود را از دست داد.گزارش اداره ملی ایمنی حمل و نقل (NTSB) تصریح کرد که «راننده توجه کافی نداشته و سیستم اتوپایلوت در شرایط روشنایی بالا محدودیت داشته است.» اما خانواده براون دیدگاه متفاوتی داشتند. مادر او، کاترین براون، در مصاحبه با گاردین گفت:«پسرم به خودرو اعتماد داشت. او باور داشت که این فناوری برای حفظ امنیتش در آنجا است. و این فناوری، او را ناکام گذاشت.»این جمله کوتاه عمق درد و بی‌اعتمادی خانواده به وعده‌های شرکت تسلا را آشکار می‌کرد. تسلا در پاسخ به این حادثه اعلام کرد که «اتوپایلوت یک سیستم کمکی است و جایگزین راننده نمی‌شود.»اما این توضیح برای بسیاری از کاربران کافی نبود؛ بسیاری از رانندگان، به‌ویژه کسانی که به تبلیغات «خودران کامل» و اصطلاحاتی مثل «فول سلف درایوینگ» اعتماد کرده بودند، تصور می‌کردند خودرو قادر به مدیریت کامل رانندگی است. این اختلاف میان بازاریابی و واقعیت فنی، باعث ایجاد حس امنیت کاذب شد و به گفته کارشناسان، عامل اصلی برخی حوادث بعدی بوده است.
حادثه براون باعث شد که اداره ایمنی ترافیک آمریکا (NHTSA) و دیگر نهادهای فدرال تحقیقات گسترده‌ای را آغاز کنند. این بررسی‌ها شامل تحلیل داده‌های ثبت شده در خودرو، دوربین‌های کابین، و عملکرد سیستم اتوپایلوت در شرایط نور و محیط مختلف بود.نتایج اولیه نشان داد که سیستم هنوز در تشخیص برخی موانع، رنگ‌ها و ابعاد اجسام محدودیت دارد. اما مسئله اصلی، خلأ قانونی بود: وقتی خودروی نیمه‌خودران کسی را می‌کشد، چه کسی باید مسئول شناخته شود؟ راننده، شرکت سازنده، یا توسعه‌دهنده نرم‌افزار؟حقوق‌دانان آمریکایی اصطلاح «منطقه خاکستری مسئولیت» را برای این موقعیت ابداع کردند و تاکید کردند که قوانین فعلی قادر به تعیین مسئولیت دقیق نیستند.جاشوا براون تنها نبود؛ در سال‌های بعد، چند مورد دیگر تصادف تسلا در حالت اتوپایلوت رخ داد، از جمله دو مرد در تگزاس که خودرو در حالت بدون راننده به درخت برخورد کرد. واکنش شرکت‌ها معمولاً تکراری است: تأکید بر عملکرد سیستم، تقصیر راننده و ارائه غرامت محدود.خانواده‌ها اما به دنبال عدالت و پاسخگویی مستقیم هستند، نه صرفا جبران مالی. در همین حال، کارشناسان هوش مصنوعی می‌گویند که این تصادفات یک درس مهم دارد: «خودروهای خودران می‌توانند به طور کلی تصادفات را کاهش دهند، اما موارد حاشیه‌ای و رفتارهای غیرقابل پیش‌بینی انسانی همچنان سناریوهای مرگبار ایجاد می‌کنند.»همزمان با حوادث، موجی از رسانه‌ها و فعالان حقوق مصرف‌کننده وارد عمل شدند. انتقاد اصلی آن‌ها بر شفاف نبودن داده‌ها، تبلیغات گمراه‌کننده، و نبود چارچوب قانونی مشخص بود. آن‌ها می‌گفتند: «تا زمانی که پاسخگویی و شفافیت وجود نداشته باشد، هر خودروی خودران، آزمایشی بالقوه بر جان انسان‌هاست.»