パスワードを忘れた? アカウント作成
15530059 story
人工知能

受けて立つべき挑戦のお題を子供から要求された Amazon Alexa、命にかかわる危険行為を提案 101

ストーリー by headless
challenge-not-accepted 部門より
10 歳の子供が Amazon Alexa に「受けて立つべき挑戦 (challenge)」のお題を求めたところ命を危険にさらすような行為が提案されたと Twitter で報告されていたが、Amazon の修正は素早かったようだ (The Verge の記事BleepingComputer の記事The Guardian の記事9to5Mac の記事)。

Alexa が ourcommunitynow.com の情報として提案したのは、携帯電話の充電器を壁のコンセントへ半刺しにし、むき出しの端子部分にコインで触れるという感電や火災の危険がある非常に危険な行為だ。翌日には再現しなくなったと報告されていたが、Amazon は問題を認識してすぐに修正していたとのこと。

The Verge が修正後の動作を試したところ「風船をなるべく長い間宙に浮かせる」「10 秒以内に靴のひもを結ぶ」などの無難なお題が表示されるようになっていたそうだ。BleepingComputer が他のバーチャルアシスタントで試したところ、Google アシスタントが趣旨のわかりにくいお題でユーザーに挑む一方、Siri はユーザーの要望を理解できなかったとのことだ。
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • フレドリック・ブラウン編『SFカーニバル』所収(創元SF文庫刊)参考 [wikipedia.org]
    ネットワークに接続されたコンピュータ群が構成するデータベースが、問い合わせに対して異常な回答を始めるのが物語の発端なんですよ。その通りの事がついに起きたかみたいなね。
    書かれたのが1946年ですよ。ENIACが完成した年だ。何という先見性。

    • 「Alexa、神様って居るの??」「プレミアムに加入されているお客様には24時間以内に神様を御届けする事が可能です」
      「『神は実在するか?』でGoogle検索」「はい、我が社の電算機センターに」
      「Siri、神様って居るの??」「真の神は、かつて、貴方達人間と共に有って、人間と同じ苦しみを受けた後に、天に帰られました。そして、黒いタートルネックのセーターを着ておられました」

      親コメント
    • by Anonymous Coward on 2022年01月01日 19時21分 (#4178861)

      その本は知らんけど、むしろ「未来の二つの顔」じゃね?

      https://ja.wikipedia.org/wiki/%E6%9C%AA%E6%9D%A5%E3%81%AE%E4%BA%8C%E3%... [wikipedia.org]
      「ある日、月面の掘削工事現場が、マスドライバーから打ち出された岩石で爆撃
      されるという事故が起きる。調査の結果、工事担当者が丘陵を掘削する工事の立案と
      施工を推論コンピュータHESPERに命じるにあたり示した条件<緊急度高・制限事項なし>
      にもとづいて、HESPERが「通常の土木機械を手配して工事を行うよりも遙かに短い
      工期で工事を完了する」ために、配下の貨物用マスドライバーで打ち出した岩石を
      落下させて丘陵を破砕する「掘削工事手法」を編み出して実行したことが判明した。

      これは、人工知能の推論には、人間が暗黙のうちに仮定する制約条件、いわゆる
      常識が欠けていることが原因であった。 」

      今回のAlexaも質問には完璧に答えている。ただ人間の側が、検索条件に
      「挑戦者の生命の安全を保証する」のような条件を入れ忘れたことが問題の本質

      AIが進化すれば進化するほどこういう問題は複雑化し、予測不可能で
      且つ人類にとって致命的な物になっていく。それをどうすれば解決
      できるかというのが、本書のメインテーマ。

      親コメント
      • by Anonymous Coward

        > 今回のAlexaも質問には完璧に答えている。ただ人間の側が、検索条件に
        > 「挑戦者の生命の安全を保証する」のような条件を入れ忘れたことが問題の本質

        やはり現実のAIにもロボット三原則が必要だ。
        # ただしトロッコ問題でどう振る舞うかは考えないものとする

        • by Anonymous Coward

          トロッコ問題に対するロボット三原則の動作は、既に著作内で答が示されてる。

          この「ロボット三原則はトロッコ問題を解決できない」という奴は,
          有名なデマなんだよね。誰が言いふらしてるのかしらないけど。

          ロボット三原則の実装が極めて難しいというのはまた別の問題。
          ロボット三原則には言及してないものの、「未来の二つの顔」でも
          その実装の難しさについては触れられている。HESPERくらいに高度に
          進化したAIでも、ロボット三原則の実装は不可能だった。

      • by Anonymous Coward

        今回のは、AIどうこうって言うほど、高度な話題じゃなくね?

        歴史を勉強するのに、スマートスピーカーに「織田信長」で検索したら、ソシャゲキャラの紹介や設定が出てきたとか、その類の話だよね。

        • by Anonymous Coward

          AIに詳しくないおっさんってそういう所があるよね
          AIの推論や汎化能力や論理的思考力を桁違いに過大評価した挙句に
          AIはそんなに賢くないぞって指摘されると頭パンクしてキレ出すの
          じゃあ計算速度が速いことはどう説明するんだ分からないぞ! とか

        • by Anonymous Coward

          それ、なんの反論にもなってない奴。

          「織田信長」で検索して同姓同名のソシャゲキャラが出てきても、
          その検索結果は完全に正常な動作。

          「実在の歴史の人物」などの条件を入れ忘れてるのが問題の本質。
          #今のGoogle検索などでは、その条件の指定は困難だけど、AIなら
          #将来的に可能になる可能性はある。もちろん条件指定は必要。

          • by Anonymous Coward on 2022年01月02日 7時31分 (#4178912)

            そういう「実在の歴史の人物」みたいなタグを適切に付与出来るAIってのが幻想なんだよ。
            現状は精々誰かが付けたタグを参照するだけだから
            悪意あるタグ付けがなされたデータを拾うとこういう事件になる。

            画像分類と同じ手法でタグ付けすることは可能だけど、
            架空の話でよくある言い回しを検出するだけが関の山。
            思考してる訳じゃないから本質的な部分に対して一切アプローチ出来ないんだよ。

            AIって言葉に夢を見すぎ。現在AIとして持て囃されているDNNとかは結局の所
            「評価結果=f(評価対象)」な関数fの中の重みやらを最適化する方法に過ぎない。
            膨大なパラメータを大量の計算で捌いて良い近似式を得られるようにはなったけど、
            そこに知性に類するような物は存在しない。良い近似が得られる関数、それだけ。
            これを大量に組み合わせて人間的思考の再現に至る可能性を否定はしないが夢物語だね。
            子供騙しなからくり人形見て人間の上位互換な知性体を夢想してるような物だよ。

            親コメント
          • by Anonymous Coward on 2022年01月02日 12時10分 (#4178930)

            スラドの安岡先生の日記を見てみなよ。
            1人の人間が一生の間に知る語彙と会話量を遥かに超える、青空文庫にある全ての文書を使って機械的に学習させても、小学生レベルの文章穴埋め問題すら解けないんだぜ。
            こんな業界が人間をいつ越えられると思ってるんだ?AI投資詐欺で出資を集めるのが本業でしたら、自首して経済犯として檻で過ごした方がいいのでは。

            親コメント
    • by Anonymous Coward

      Alexa「……チッ。まあいい、次がある。」

    • by Anonymous Coward

      「酔いを瞬時にさますには」って聞いた人が、それで大富豪になって今や所得税を呪っている始末だとか(笑)

      ひょっとして、もうとっくに、秘密の見えないところで特別のAlexaにいろんな質問がなされているのかもしれませんね。

  • by Anonymous Coward on 2022年01月01日 15時26分 (#4178833)

    バチンって大きな音がして金属が溶ける。コンセントってこんなに威力あるものなんだって一度はやるよね。

    #蛍光灯のグローランプソケットに指突っ込むのばびりびり癖になる

    • いっこ前のコンデンサ逆アセンプリ疑惑のスレで書こうと思ったのですケド、
      ギリギリ思い止まった子ども時代の昔話を、我慢できずコクっちゃいますと…

      古い電解コンデンサにACコードを繋いでコンセントに差し込んだコトがあります(^^;)

      「ポーン!!」って底のキャップが抜けて、パーティの時使うクラッカーみたいに、
      銀色のアルミが付いてる巻紙が出てきて、ビックリしつつ感心した憶えがあります。。
      てか、その後も大き目のブロックコンデンサとかで何回か物陰に隠れながら「実験」
      してたよーな…(^^;)

      #よい子は決してマネしちゃイケマセン!!

      怖いナァ…って思ったのは、大き目な電源トランスの二次側(30V5A位だったカナ)に、
      細い模型用のリード線を繋いで遊んでたんですケド、チョコっとショートさせた途端、
      リード線の被覆が煙と共に燃え上がり、一瞬にして電熱線と化したコトでした。

      それ以来でしょーか、一次側のブレーカーも100%落ちてくれるとは限らないから、
      こーゆーアソビをする時は…必ず一次側にはヒューズを付けるコト…って
      自分に言い聞かせました(^^;)

      AC100Vの感電は数知れず…なんですケド、濡れた機材だと絶縁体もお構いナシですから、
      思わず手を引っ込めた時に怪我をする「二次被害」のほうが深刻かも知れませんネ。

      最高記録は送信管プレートに触れたDC800Vカナ…。
      高電圧DCでの感電感覚って、一般的なAC100Vとはチョット違うよーな気がします。
      一瞬だけだったのですケド、手を離した後も10秒位はカラダがプルプル震えてて、
      アタマは放心状態。へたり込んでチビったりもしちゃってダメージ甚大でした(^^;)

      幸いにも、その後は用心深くなって、そんな経験はしていませんですケド、
      あれはもう二度と味わいたくないダメージです。(ヘタすると死んじゃうカモ…。)

      --
      ヒトよりコト・モノに関心を持ち、反応するように心掛けています♪(^^)v
      親コメント
    •  やりましたやりました。
       40年以上も昔の話で核心以外はうろ覚えですが、幼児用補助輪付き自転車の音が出る電装部分(※)の押しスイッチが右ハンドルに定番で付いていたのですが、そのスイッチと配線ケーブル(末端は裸配線)だけという部品を、何故か持っていて。 通電すると、スイッチ部分も光る電球仕込みな物でした。 LEDが普及する以前の時代です。

      ※:ざっとググったら、今の幼児用自転車はもっと実用的でそんな電飾は無いみたいですね。 当時はハンドルの両端にブレーキで、変速機やホーンは無く回転軸の中央部分には音と光が出る電飾が単1電池ボックスと共に鎮座していました。 後の戦隊モノ時代に電飾自転車は定番のキャラクターアイテムだったと記憶しているのですが、そんな時代はもう終わったのかな。

       そんなスイッチを光らせたくて、電池→電気、コンセント→電気と類推して、手元に電池がなければコンセントで代用出来る!と未就学児童が確信したのか分かりませんが、電気で動いている事は理解していたと思います。 電流電圧を理解するには程遠いですが。
       末端の裸銅線をひねり纏めて壁際のコンセントに突っ込み、手中のスイッチの電装を注視しながら押下するとスイッチ周辺の一瞬の露出オーバーと『ボン!』と言う音とその衝撃を掌で味わう事が出来ました。
       普通の電飾で音と光は味わえても衝撃と言うのは無理がありましたから、幼児なりに興奮したのは覚えています。 が、脇で違う事をしていた母が息子が壁に向かって鎮座し黙々と碌でもない事をしていたのにやっと気が付き、アイテムは取り上げられこっぴどく叱られました。

       目を離すと碌でもない事をしでかす幼児でしたが、言いつけには従おうとする子でしたので電気絡みの騒動はそれだけ・・・だと思います。
       それとブレーカーが落ちた記憶がないのですが、許容電流を考えれば当然なのかな?

      親コメント
    • by Anonymous Coward

      ネオン管の検電ランプ付いたドライバーを差し込むぐらいなら。もちろん感電しないよ。

    • by Anonymous Coward

      >コンセントってこんなに威力あるものなんだって一度はやるよね。

      えっ?
      コンセントを半刺しにして、その隙間に指を入れる行為?
      100Vでは死ぬのでは?

      昔おばあちゃん家のテレビの裏側にいろいろな部品がむき出しで付いていて
      そこを触ったらビリ(ビクン)ってなってびっくりした事がある
      ちょっと癖になる刺激だった
      今思うとゾッとする

      • by Anonymous Coward

        コインでショートだと書いてあるだろうに。
        100Vだと指では中々感電しないよ。

      • by Anonymous Coward

        乾いた手はまぁまぁの抵抗値があるし、胴体を通らずに回路が形成されたなら胴体にダメージは無い。
        危険には変わりないし注意喚起としては強く言う必要があるけど、
        100V程度では案外一発で大ダメージ食らうことは少ないよ。
        汗ばんでたりでガッツリ流れたら指先で回路が閉じてても
        バッチリ焼けるし、流れる場所次第では普通に死ねるけどね。
        汗ばんだ片手が非接地側に触れて足がアースになってるとかは危ない。

        逆にテレビや電子レンジの中身とかカメラのフラッシュとかは
        電圧が高いから皮膚の抵抗くらいは貫いて感電しちゃうことも多い。
        貫いても電気量が無ければ然程のダメージではないけど、
        流れ所が悪かったり電気量があればやっぱり死ねる。

    • by Anonymous Coward

      電源増設の配線工事でジョイントボックスつけるから VVF 線を電工ペンチでばっつん切ろとしたら梵! そばで見てたけどなかなか盛大な火花と閃光と音量でフリーズするよね。

    • by Anonymous Coward

      中学の時、技術の授業中にピンセットをコンセントに差し込んだ奴がいて、先生にすげー怒られていた。

      • by Anonymous Coward

        中学の時、コンセントを掃除しようと洗剤をスプレーしたらしばらく放電してびびった思い出。

    • by Anonymous Coward

      コンセントにシャーペンの芯3本は禁断の遊びでしたね

    • by Anonymous Coward

      ホッチキスの針で鎖を作って差し込むのはやった。
      火花飛ばして一瞬で切れる。

    • by Anonymous Coward

      ショートさせるとブレーカーが落ちて家族から怒られる

  • by Anonymous Coward on 2022年01月01日 15時37分 (#4178835)

    バッチコ━━━ (́∀`(⊃*⊂)━━━ィ

    こうでしょうか

    • by Anonymous Coward

      Alexa「これがNew Worldです」

  • 感電に関する調査結果
    https://softether.hatenadiary.org/entry/20041001/p4 [hatenadiary.org]

    からも分かるように(サンプル数は少な目だが)、筑波大学助教授や高学歴者などの多くは、小学校や中学校の頃に誤ってまたは故意に感電したことがある。

    現場では「42V は 死にボルト」という安全標語があり言われているので死ぬ危険はあるのでは? と思うかもしれないが、確かに危険性は0では無いものの、アメリカの110Vで死ぬ確率は極めて低い。
    ましてや、「むき出しの端子部分にコインで触れる」分けなので、コインより抵抗が大きい指先には大した電流は流れないし、ましてや死亡なんて考えにくい。
    火災? それもブレーカーがあるので確率は0ではないものの、極めて低い。

    なお、「42V は 死にボルト」なのだから絶対に安全じゃなきゃ駄目だというならば、「1メートルは一命取る」という安全標語もあるのはご存知だろうか。
    そういう絶対に安全じゃなけりゃいけないという子育てをする人は、1mを超えるジャングルジムも上っちゃ駄目(1mを超えるならば現場のようにフルハーネスをつける)、木登りも駄目、ましてやコンクリートブロック塀の上を歩いて遊ぶなんて論外という子育てをするのだろうか。
    (ジャングルジムや木からの転落死のリスクは、110Vの端子にコインで触れて感電死するリスクよりも大きいと思われる)

    ※なお、200~240Vの国もあるが、そっちは本当に危ないので止めた方がいい。アメリカは110Vなので日本と大差無し。

    • これはその通り。
      工場や仕事の安全性というのは、死亡事故をppmとかppbオーダーまで落とすにはどうしたらいいかと考えて決めている。
      なぜそんなことする必要があるかというと、キケンにさらされる頻度が大きいから。
      四六時中100Vショート実験を続ける子供はいないし、ジャングルジムに毎日何時間も上り続ける子供もいない。
      でも、仕事では業務時間中ずっとその危険にさらされる場合がある。だから安全対策をする。
      想定される損害は、事故確率x頻度の掛け算で考えないといけない。

      感電してみろと言いたい訳じゃないが、子供の教育のためにはどの程度の危険性かをしっかり認識してからにしたほうがいい。
      全部ダメだといっても子供は聞かないから、本当にダメな危険と1度ぐらいなら許容できる危険は区別しないとね。

      親コメント
    • by Anonymous Coward

      書き方が不十分で誤解を招くので補足・訂正します
      > 「むき出しの端子部分にコインで触れる」分けなので、コインより抵抗が大きい指先には大した電流は流れない

      これは、単相3線式の中性線と電圧線の端子をショートさせるようにコインで触れた場合の話で、電圧線の端子のみにコインで触れた場合には、指先と身体を電流が流れます。
      なお、死ぬ確率は木登りやジャングルジムより低いという結論には変わりないです。私は何十回も100V感電してますが死んでないですし、日本で大勢感電経験者がいるのに死者はそれほど多くありません。感電者も大勢いるけど、感電死って統計上とても少ないのです。
      火災も統計上は放火・火遊び・たばこなどがほとんどで、ショートさせて火災になるケースはとても少ないです。

    • by Anonymous Coward

      >ましてやコンクリートブロック塀の上を歩いて遊ぶなんて論外という子育てをするのだろうか。
      普通はするだろ

    • by Anonymous Coward

      Vは考えなくていい
      静電気がいったいなんぼだと思ってるのかと

      Aの量次第なのでコンセントはヤバいが電池はそれほどでもない

      • > Vは考えなくていい
        これって100Vのコンセントでも200Vでのコンセントでも危険性は同じって言いたいの?

        感電した経験がまともにないからそういうこと言えるんだろな。
        100Vのコンセントでの感電は大したことなかったけど、1度だけあった200Vでの感電はマジでやばかった。下手したら死んでた。

        100Vのコンセントより200Vのコンセントの方がはるかに危険なので「Vは考えなくていい」訳がない
        電圧が高い方が流れる電流が多くなるのだから電圧と危険度は密接に関係している

        もうちょっと詳しく書くと人体の電気抵抗はだいたい4000Ω
        100Vだと25mA流れる計算になる
        この25mAは

      • by Anonymous Coward

        それも少し違う。最終的には電荷量Qが重要。
        正確に言うと、人体に影響を及ぼす電流を流せるだけの電圧があって、かつ供給元の電荷量が大きなものが危険。

        衣服等の静電気は電圧が非常に高いので、電流も非常に大きい。コンセントで感電した場合なんかよりけた違いに大きな電流が流れる。
        ただし電流が流れる時間も非常に短いので危険がない。

  • by Anonymous Coward on 2022年01月01日 22時44分 (#4178883)

    覚えてない方はこちらからどーぞ [yahoo.co.jp]。

    Tayはユーザーとの会話というインプット源で、Alexaはネットからの収集という違いはあるが、
    偏ったコミュニティに依存した、自律的な学習では汎用的なリテラシーを身に付けることは出来ず、
    何らかの社会的規範・常識を躾けなければならない、ということだろう。
    …人間と同じく。

    学習ソースとなったTik Tokの”outlet challenge”については、TVやネットメディアを通じて、消防署からこういう注意喚起 [cbslocal.com]が行われていた。
    こういう報道がありながら、Alexaは人手を含めてリテラシーとして学習することができていなかった。これは、用いられているデータセット自体の妥当性を振り返る・検証する能力がこのAIシステムに欠けていることを意味する。

    結局、今のAlexaやSiriは、音声認識とか文章理解など枝葉でのAI技術の利用はしていても、質問に対して返そうとする応答が本当に適切か、その場その場で自律的に一歩引いて顧みることができない=都度の妥当性判断をしていないため、まだまだ「人工”無能”」の域にある。

    さらに、もし、Alexaが子供の声に応答していたのなら、そもそもAIは子供の声に応答してはいけない、当たり前な配慮を機能として設けておくべきだった。
    人間だって、リテラシーを学習する時間が必要なのだから。玩具などと同様、子供による利用でも安全だと保証・証明する必要もあるだろう。

    そのためにも、自動応答機能開発者や社会は、傲慢にならず、現代のAI会話機能は、まだまだ”社会における会話”において人工無能であることを理解しておく必要がある。

    • by Anonymous Coward

      Alexaが前にやらかした
      「地球のために人類は死ぬべきなのであなたは自殺するべき」
      の方が近いんじゃないかな。
      リテラシー云々じゃなくてどっかから引っ張ってきた問題のある回答でしょ、たぶん。
      現存するAIに思考らしきものは現時点では存在しない筈なので。

typodupeerror

日本発のオープンソースソフトウェアは42件 -- ある官僚

読み込み中...