mysql एसक्यूएल परिणामों को एक-से-थ्रू रिलेशनशिप में कैसे फ़िल्टर करें




postgresql sql-match-all (11)

मान लीजिए मेरे पास टेबल, student , और student_club :

student {
    id
    name
}
club {
    id
    name
}
student_club {
    student_id
    club_id
}

मैं जानना चाहता हूं कि सॉकर (30) और बेसबॉल (50) क्लब दोनों में सभी छात्रों को कैसे ढूंढें।
हालांकि यह क्वेरी काम नहीं करती है, यह अब तक की सबसे नज़दीकी चीज है:

SELECT student.*
FROM   student
INNER  JOIN student_club sc ON student.id = sc.student_id
LEFT   JOIN club c ON c.id = sc.club_id
WHERE  c.id = 30 AND c.id = 50

-- EXPLAIN ANALYZE
WITH two AS (
    SELECT c0.student_id
    FROM tmp.student_club c0
    , tmp.student_club c1
    WHERE c0.student_id = c1.student_id
    AND c0.club_id = 30
    AND c1.club_id = 50
    )
SELECT st.* FROM tmp.student st
JOIN two ON (two.student_id=st.id)
    ;

प्रश्न योजना:

 Hash Join  (cost=1904.76..1919.09 rows=337 width=15) (actual time=6.937..8.771 rows=324 loops=1)
   Hash Cond: (two.student_id = st.id)
   CTE two
     ->  Hash Join  (cost=849.97..1645.76 rows=337 width=4) (actual time=4.932..6.488 rows=324 loops=1)
           Hash Cond: (c1.student_id = c0.student_id)
           ->  Bitmap Heap Scan on student_club c1  (cost=32.76..796.94 rows=1614 width=4) (actual time=0.667..1.835 rows=1646 loops=1)
                 Recheck Cond: (club_id = 50)
                 ->  Bitmap Index Scan on sc_club_id_idx  (cost=0.00..32.36 rows=1614 width=0) (actual time=0.473..0.473 rows=1646 loops=1)                     
                       Index Cond: (club_id = 50)
           ->  Hash  (cost=797.00..797.00 rows=1617 width=4) (actual time=4.203..4.203 rows=1620 loops=1)
                 Buckets: 1024  Batches: 1  Memory Usage: 57kB
                 ->  Bitmap Heap Scan on student_club c0  (cost=32.79..797.00 rows=1617 width=4) (actual time=0.663..3.596 rows=1620 loops=1)                   
                       Recheck Cond: (club_id = 30)
                       ->  Bitmap Index Scan on sc_club_id_idx  (cost=0.00..32.38 rows=1617 width=0) (actual time=0.469..0.469 rows=1620 loops=1)
                             Index Cond: (club_id = 30)
   ->  CTE Scan on two  (cost=0.00..6.74 rows=337 width=4) (actual time=4.935..6.591 rows=324 loops=1)
   ->  Hash  (cost=159.00..159.00 rows=8000 width=15) (actual time=1.979..1.979 rows=8000 loops=1)
         Buckets: 1024  Batches: 1  Memory Usage: 374kB
         ->  Seq Scan on student st  (cost=0.00..159.00 rows=8000 width=15) (actual time=0.093..0.759 rows=8000 loops=1)
 Total runtime: 8.989 ms
(20 rows)

तो यह अभी भी छात्र पर सीक स्कैन चाहता है।


WITH RECURSIVE two AS
    ( SELECT 1::integer AS level
    , student_id
    FROM tmp.student_club sc0
    WHERE sc0.club_id = 30
    UNION
    SELECT 1+two.level AS level
    , sc1.student_id
    FROM tmp.student_club sc1
    JOIN two ON (two.student_id = sc1.student_id)
    WHERE sc1.club_id = 50
    AND two.level=1
    )
SELECT st.* FROM tmp.student st
JOIN two ON (two.student_id=st.id)
WHERE two.level> 1

    ;

ऐसा लगता है कि सीटीई-स्कैन दो अलग-अलग सबक्वायरी की आवश्यकता से बचाता है।

पुनरावर्ती प्रश्नों का दुरुपयोग करने का हमेशा एक कारण है!

(बीटीडब्लू: mysql में पुनरावर्ती प्रश्न नहीं लगते हैं)


select *
from student
where id in (select student_id from student_club where club_id = 30)
and id in (select student_id from student_club where club_id = 50)

चूंकि किसी ने इसे (क्लासिक) संस्करण जोड़ा नहीं है:

SELECT s.*
FROM student AS s
WHERE NOT EXISTS
      ( SELECT *
        FROM club AS c 
        WHERE c.id IN (30, 50)
          AND NOT EXISTS
              ( SELECT *
                FROM student_club AS sc 
                WHERE sc.student_id = s.id
                  AND sc.club_id = c.id  
              )
      )

या इसी के समान:

SELECT s.*
FROM student AS s
WHERE NOT EXISTS
      ( SELECT *
        FROM
          ( SELECT 30 AS club_id  
          UNION ALL
            SELECT 50
          ) AS c
        WHERE NOT EXISTS
              ( SELECT *
                FROM student_club AS sc 
                WHERE sc.student_id = s.id
                  AND sc.club_id = c.club_id  
              )
      )

एक और थोड़ा अलग दृष्टिकोण के साथ प्रयास करें। विस्तारित समझाए गए लेख में एक लेख से प्रेरित : ईएवी तालिका में एकाधिक विशेषताएं: ग्रुप बाय बनाम EXISTS :

SELECT s.*
FROM student_club AS sc
  JOIN student AS s
    ON s.student_id = sc.student_id
WHERE sc.club_id = 50                      --- one option here
  AND NOT EXISTS
      ( SELECT *
        FROM
          ( SELECT 30 AS club_id           --- all the rest in here
                                           --- as in previous query
          ) AS c
        WHERE NOT EXISTS
              ( SELECT *
                FROM student_club AS scc 
                WHERE scc.student_id = sc.id
                  AND scc.club_id = c.club_id  
              )
      )

एक और दृष्टिकोण:

SELECT s.stud_id
FROM   student s

EXCEPT

SELECT stud_id
FROM 
  ( SELECT s.stud_id, c.club_id
    FROM student s 
      CROSS JOIN (VALUES (30),(50)) c (club_id)
  EXCEPT
    SELECT stud_id, club_id
    FROM student_club
    WHERE club_id IN (30, 50)   -- optional. Not needed but may affect performance
  ) x ;   

SELECT s.*
FROM student s
INNER JOIN student_club sc_soccer ON s.id = sc_soccer.student_id
INNER JOIN student_club sc_baseball ON s.id = sc_baseball.student_id
WHERE 
 sc_baseball.club_id = 50 AND 
 sc_soccer.club_id = 30

यदि आप सिर्फ student_id चाहते हैं तो:

    Select student_id
      from student_club
     where club_id in ( 30, 50 )
  group by student_id
    having count( student_id ) = 2

यदि आपको छात्र से नाम की भी आवश्यकता है तो:

Select student_id, name
  from student s
 where exists( select *
                 from student_club sc
                where s.student_id = sc.student_id
                  and club_id in ( 30, 50 )
             group by sc.student_id
               having count( sc.student_id ) = 2 )

यदि आपके पास क्लब_ चयन तालिका में दो से अधिक क्लब हैं तो:

Select student_id, name
  from student s
 where exists( select *
                 from student_club sc
                where s.student_id = sc.student_id
                  and exists( select * 
                                from club_selection cs
                               where sc.club_id = cs.club_id )
             group by sc.student_id
               having count( sc.student_id ) = ( select count( * )
                                                   from club_selection ) )

@ erwin-brandstetter कृपया, यह बेंचमार्क करें:

SELECT s.stud_id, s.name
FROM   student s, student_club x, student_club y
WHERE  x.club_id = 30
AND    s.stud_id = x.stud_id
AND    y.club_id = 50
AND    s.stud_id = y.stud_id;

यह संख्या 6 की तरह है) @sean द्वारा, बस क्लीनर, मुझे लगता है।


तो बिल्ली को त्वचा के एक से अधिक तरीके हैं
मैं इसे और अधिक पूरा करने के लिए दो और जोड़ना चाहूंगा।

1) ग्रुप पहले, बाद में शामिल हों

एक (student_id, club_id) डेटा मॉडल मानते हैं जहां (student_id, club_id) में अद्वितीय है। मार्टिन स्मिथ का दूसरा संस्करण कुछ हद तक समान है, लेकिन वह बाद में समूह में शामिल हो जाता है। यह तेज़ होना चाहिए:

SELECT s.id, s.name
  FROM student s
  JOIN (
   SELECT student_id
     FROM student_club
    WHERE club_id IN (30, 50)
    GROUP BY 1
   HAVING COUNT(*) > 1
       ) sc USING (student_id);

2) EXISTS

और निश्चित रूप से, क्लासिक EXISTSIN साथ डेरेक के संस्करण के समान। सरल और तेज़ (MySQL में, यह IN साथ संस्करण की तुलना में काफी तेज होना चाहिए):

SELECT s.id, s.name
  FROM student s
 WHERE EXISTS (SELECT 1 FROM student_club
               WHERE  student_id = s.student_id AND club_id = 30)
   AND EXISTS (SELECT 1 FROM student_club
               WHERE  student_id = s.student_id AND club_id = 50);

क्वेरी 2 में अलग-अलग क्वेरी योजनाएं) और 10)

मैंने एक वास्तविक जीवन डीबी में परीक्षण किया, इसलिए नाम बिल्स्किन सूची से अलग हैं। यह एक बैकअप प्रति है, इसलिए सभी टेस्ट रनों के दौरान कुछ भी नहीं बदला (कैटलॉग में मामूली परिवर्तन को छोड़कर)।

प्रश्न 2)

SELECT a.*
FROM   ef.adr a
JOIN (
    SELECT adr_id
    FROM   ef.adratt
    WHERE  att_id IN (10,14)
    GROUP  BY adr_id
    HAVING COUNT(*) > 1) t using (adr_id);

Merge Join  (cost=630.10..1248.78 rows=627 width=295) (actual time=13.025..34.726 rows=67 loops=1)
  Merge Cond: (a.adr_id = adratt.adr_id)
  ->  Index Scan using adr_pkey on adr a  (cost=0.00..523.39 rows=5767 width=295) (actual time=0.023..11.308 rows=5356 loops=1)
  ->  Sort  (cost=630.10..636.37 rows=627 width=4) (actual time=12.891..13.004 rows=67 loops=1)
        Sort Key: adratt.adr_id
        Sort Method:  quicksort  Memory: 28kB
        ->  HashAggregate  (cost=450.87..488.49 rows=627 width=4) (actual time=12.386..12.710 rows=67 loops=1)
              Filter: (count(*) > 1)
              ->  Bitmap Heap Scan on adratt  (cost=97.66..394.81 rows=2803 width=4) (actual time=0.245..5.958 rows=2811 loops=1)
                    Recheck Cond: (att_id = ANY ('{10,14}'::integer[]))
                    ->  Bitmap Index Scan on adratt_att_id_idx  (cost=0.00..94.86 rows=2803 width=0) (actual time=0.217..0.217 rows=2811 loops=1)
                          Index Cond: (att_id = ANY ('{10,14}'::integer[]))
Total runtime: 34.928 ms

प्रश्न 10)

WITH two AS (
    SELECT adr_id
    FROM   ef.adratt
    WHERE  att_id IN (10,14)
    GROUP  BY adr_id
    HAVING COUNT(*) > 1
    )
SELECT a.*
FROM   ef.adr a
JOIN   two using (adr_id);

Hash Join  (cost=1161.52..1261.84 rows=627 width=295) (actual time=36.188..37.269 rows=67 loops=1)
  Hash Cond: (two.adr_id = a.adr_id)
  CTE two
    ->  HashAggregate  (cost=450.87..488.49 rows=627 width=4) (actual time=13.059..13.447 rows=67 loops=1)
          Filter: (count(*) > 1)
          ->  Bitmap Heap Scan on adratt  (cost=97.66..394.81 rows=2803 width=4) (actual time=0.252..6.252 rows=2811 loops=1)
                Recheck Cond: (att_id = ANY ('{10,14}'::integer[]))
                ->  Bitmap Index Scan on adratt_att_id_idx  (cost=0.00..94.86 rows=2803 width=0) (actual time=0.226..0.226 rows=2811 loops=1)
                      Index Cond: (att_id = ANY ('{10,14}'::integer[]))
  ->  CTE Scan on two  (cost=0.00..50.16 rows=627 width=4) (actual time=13.065..13.677 rows=67 loops=1)
  ->  Hash  (cost=384.68..384.68 rows=5767 width=295) (actual time=23.097..23.097 rows=5767 loops=1)
        Buckets: 1024  Batches: 1  Memory Usage: 1153kB
        ->  Seq Scan on adr a  (cost=0.00..384.68 rows=5767 width=295) (actual time=0.005..10.955 rows=5767 loops=1)
Total runtime: 37.482 ms

SELECT *
FROM   student
WHERE  id IN (SELECT student_id
              FROM   student_club
              WHERE  club_id = 30
              INTERSECT
              SELECT student_id
              FROM   student_club
              WHERE  club_id = 50)  

या n क्लबों में विस्तार करने के लिए एक और सामान्य समाधान आसान है और जो इंटरसेक्ट से बचाता है (MySQL में उपलब्ध नहीं है) और IN (जैसा कि मेरा प्रदर्शन MySQL में बेकार है )

SELECT s.id,
       s.name
FROM   student s
       join student_club sc
         ON s.id = sc.student_id
WHERE  sc.club_id IN ( 30, 50 )
GROUP  BY s.id,
          s.name
HAVING COUNT(DISTINCT sc.club_id) = 2  

मैं उत्सुक था। और जैसा कि हम सभी जानते हैं, जिज्ञासा बिल्लियों को मारने की प्रतिष्ठा है।

तो, बिल्ली को त्वचा का सबसे तेज़ तरीका कौन सा है?

इस परीक्षण के लिए सटीक बिल्ली-स्किनिंग पर्यावरण:

  • सभ्य रैम और सेटिंग्स के साथ डेबियन निचोड़ पर PostgreSQL 9.0
  • 6.000 छात्र, 24,000 क्लब सदस्यता (डेटा वास्तविक जीवन डेटा के साथ एक समान डेटाबेस से कॉपी किया गया।)
  • प्रश्न में नामकरण स्कीमा से थोड़ा मोड़: student.id student.stud_id और club.id club.club_id है।
  • मैंने इस धागे में अपने लेखक के बाद प्रश्नों का नाम दिया, जिसमें एक इंडेक्स है जहां दो हैं।
  • मैंने कैश को पॉप्युलेट करने के लिए दो बार सभी प्रश्नों को चलाया, फिर मैंने एक्स्पिन एनालिज के साथ 5 में से सर्वश्रेष्ठ चुना।
  • प्रासंगिक अनुक्रमणिका (इष्टतम होना चाहिए - जब तक हमें पूर्व ज्ञान की कमी हो, जहां क्लबों की पूछताछ की जाएगी):

    ALTER TABLE student ADD CONSTRAINT student_pkey PRIMARY KEY(stud_id );
    ALTER TABLE student_club ADD CONSTRAINT sc_pkey PRIMARY KEY(stud_id, club_id);
    ALTER TABLE club       ADD CONSTRAINT club_pkey PRIMARY KEY(club_id );
    CREATE INDEX sc_club_id_idx ON student_club (club_id);
    

    यहां अधिकांश प्रश्नों से club_pkey की आवश्यकता नहीं है।
    प्राथमिक कुंजी स्वचालित रूप से PostgreSQL में अद्वितीय अनुक्रमणिका लागू करते हैं।
    अंतिम सूचकांक PostgreSQL पर बहु-स्तंभ अनुक्रमणिका के इस ज्ञात कमी के लिए तैयार करना है:

एक बहुआयामी बी-पेड़ इंडेक्स का उपयोग क्वेरी परिस्थितियों के साथ किया जा सकता है जिसमें इंडेक्स के कॉलम का कोई सबसेट शामिल होता है, लेकिन प्रमुख (बाएं) कॉलम पर बाधा होने पर सूचकांक सबसे प्रभावी होता है।

परिणाम:

EXPLAIN विश्लेषण से कुल रनटाइम।

1) मार्टिन 2: 44.5 9 4 एमएस

SELECT s.stud_id, s.name
FROM   student s
JOIN   student_club sc USING (stud_id)
WHERE  sc.club_id IN (30, 50)
GROUP  BY 1,2
HAVING COUNT(*) > 1;

2) इरविन 1: 33.217 एमएस

SELECT s.stud_id, s.name
FROM   student s
JOIN   (
   SELECT stud_id
   FROM   student_club
   WHERE  club_id IN (30, 50)
   GROUP  BY 1
   HAVING COUNT(*) > 1
   ) sc USING (stud_id);

3) मार्टिन 1: 31.735 एमएस

SELECT s.stud_id, s.name
   FROM   student s
   WHERE  student_id IN (
   SELECT student_id
   FROM   student_club
   WHERE  club_id = 30
   INTERSECT
   SELECT stud_id
   FROM   student_club
   WHERE  club_id = 50);

4) डेरेक: 2.287 एमएस

SELECT s.stud_id,  s.name
FROM   student s
WHERE  s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 30)
AND    s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 50);

5) इरविन 2: 2.181 एमएस

SELECT s.stud_id,  s.name
FROM   student s
WHERE  EXISTS (SELECT * FROM student_club
               WHERE  stud_id = s.stud_id AND club_id = 30)
AND    EXISTS (SELECT * FROM student_club
               WHERE  stud_id = s.stud_id AND club_id = 50);

6) शॉन: 2.043 एमएस

SELECT s.stud_id, s.name
FROM   student s
JOIN   student_club x ON s.stud_id = x.stud_id
JOIN   student_club y ON s.stud_id = y.stud_id
WHERE  x.club_id = 30
AND    y.club_id = 50;

पिछले तीन वही प्रदर्शन करते हैं। 4) और 5) परिणामस्वरूप एक ही प्रश्न योजना में परिणाम।

देर से जोड़:

फैंसी एसक्यूएल, लेकिन प्रदर्शन जारी नहीं रख सकता है।

7) ypercube 1: 148.649 एमएस

SELECT s.stud_id,  s.name
FROM   student AS s
WHERE  NOT EXISTS (
   SELECT *
   FROM   club AS c 
   WHERE  c.club_id IN (30, 50)
   AND    NOT EXISTS (
      SELECT *
      FROM   student_club AS sc 
      WHERE  sc.stud_id = s.stud_id
      AND    sc.club_id = c.club_id  
      )
   );

8) ypercube 2: 147.497 एमएस

SELECT s.stud_id,  s.name
FROM   student AS s
WHERE  NOT EXISTS (
   SELECT *
   FROM  (
      SELECT 30 AS club_id  
      UNION  ALL
      SELECT 50
      ) AS c
   WHERE NOT EXISTS (
      SELECT *
      FROM   student_club AS sc 
      WHERE  sc.stud_id = s.stud_id
      AND    sc.club_id = c.club_id  
      )
   );

जैसा कि उम्मीद है, वे दोनों लगभग समान प्रदर्शन करते हैं। टेबल स्कैन में प्रश्न योजना परिणाम, योजनाकार को इंडेक्स का उपयोग करने का कोई तरीका नहीं मिलता है।

9) wildplasser 1: 49.849 एमएस

WITH RECURSIVE two AS (
   SELECT 1::int AS level
        , stud_id
   FROM   student_club sc1
   WHERE  sc1.club_id = 30
   UNION
   SELECT two.level + 1 AS level
        , sc2.stud_id
   FROM   student_club sc2
   JOIN   two USING (stud_id)
   WHERE  sc2.club_id = 50
   AND    two.level = 1
   )
SELECT s.stud_id, s.student
FROM   student s
JOIN   two USING (studid)
WHERE  two.level > 1;

फैंसी एसक्यूएल, एक सीटीई के लिए सभ्य प्रदर्शन। बहुत विदेशी क्वेरी योजना।
फिर, दिलचस्प होगा कि 9.1 इसे कैसे संभालता है। मैं जल्द ही 9.1 पर इस्तेमाल डीबी क्लस्टर को अपग्रेड करने जा रहा हूं। शायद मैं पूरे शेबांग फिर से कर दूंगा ...

10) wildplasser 2: 36.986 एमएस

WITH sc AS (
   SELECT stud_id
   FROM   student_club
   WHERE  club_id IN (30,50)
   GROUP  BY stud_id
   HAVING COUNT(*) > 1
   )
SELECT s.*
FROM   student s
JOIN   sc USING (stud_id);

प्रश्न 2 के सीटीई संस्करण)। हैरानी की बात यह है कि इसके परिणामस्वरूप सटीक डेटा के साथ थोड़ा अलग प्रश्न योजना हो सकती है। मुझे student पर अनुक्रमिक स्कैन मिला, जहां सबक्वायरी-संस्करण ने इंडेक्स का उपयोग किया था।

11) ypercube 3: 101.482 एमएस

एक और देर से जोड़ा @ypercube। यह सकारात्मक आश्चर्यजनक है, कितने तरीके हैं।

SELECT s.stud_id, s.student
FROM   student s
JOIN   student_club sc USING (stud_id)
WHERE  sc.club_id = 10                 -- member in 1st club ...
AND    NOT EXISTS (
   SELECT *
   FROM  (SELECT 14 AS club_id) AS c  -- can't be excluded for missing the 2nd
   WHERE  NOT EXISTS (
      SELECT *
      FROM   student_club AS d
      WHERE  d.stud_id = sc.stud_id
      AND    d.club_id = c.club_id
      )
   )

12) इरविन 3: 2.377 एमएस

@ ypercube's 11) वास्तव में इस सरल संस्करण के दिमाग-घुमावदार रिवर्स दृष्टिकोण है, जो अभी भी गायब था। शीर्ष बिल्लियों के रूप में लगभग तेज़ प्रदर्शन करता है।

SELECT s.*
FROM   student s
JOIN   student_club x USING (stud_id)
WHERE  sc.club_id = 10                 -- member in 1st club ...
AND    EXISTS (                        -- ... and membership in 2nd exists
   SELECT *
   FROM   student_club AS y
   WHERE  y.stud_id = s.stud_id
   AND    y.club_id = 14
   )

13) इरविन 4: 2.375 एमएस

विश्वास करना मुश्किल है, लेकिन यहां एक और, वास्तव में नया संस्करण है। मैं दो से अधिक सदस्यता के लिए संभावित देखता हूं, लेकिन यह केवल दो बिल्लियों के साथ शीर्ष बिल्लियों में से एक है।

SELECT s.*
FROM   student AS s
WHERE  EXISTS (
   SELECT *
   FROM   student_club AS x
   JOIN   student_club AS y USING (stud_id)
   WHERE  x.stud_id = s.stud_id
   AND    x.club_id = 14
   AND    y.club_id = 10
   )

क्लब सदस्यता की गतिशील संख्या

दूसरे शब्दों में: फ़िल्टर की अलग-अलग संख्या। इस सवाल ने वास्तव में दो क्लब सदस्यता के लिए कहा। लेकिन कई उपयोग मामलों को एक अलग संख्या के लिए तैयार करना है।

इस संबंधित बाद के उत्तर में विस्तृत चर्चा:





relational-division